Gemini 4 przez ostatnie dwa dni naprawdę przeciekał jak sito w mediach społecznościowych.
Nowe checkpointy, nowe prace, nowe obrazy porównawcze, pojawiają się jeden po drugim.
Właśnie teraz Lumina opublikowała kolejny zestaw całkiem zabawnych testów:
Ten sam „pelikan jadący na rowerze”, z dwoma checkpointami przed i po Gemini 4 Pro, bezpośrednio wyciągnął dwa zupełnie różne style.
Checkpoint 1 poszedł w żywy styl kreskówkowy; Checkpoint 2 był zauważalnie bardziej powściągliwy, jak szkic struktury mechanicznej.
Zestawiając oba checkpointy razem, ślady pozostawione przez post-training są już wyraźnie widoczne: linie, struktura i obsługa szczegółów – wszystko się zmienia. Możliwości modelu widocznie skoczyły o poziom wyżej.
A to jest już niezliczonym entym podejrzanym nowym checkpointem Gemini 4 Pro, który pojawił się w Arena.
Podczas gdy społeczność wciąż gorączkowo drąży szczegóły, sam Google już tego nie ukrywa.
W tym tygodniu nowy szef Google DeepMind, Koray Kavukcuoglu, po raz pierwszy potwierdził mediom: Gemini 4 wszedł już w wczesną fazę post-trainingu.
△
A jego celem jest wydanie go tak szybko, jak to możliwe.
Widzieliśmy wyniki, jesteśmy bardzo podekscytowani i będziemy kontynuować prace w sposób szybkiej iteracji.
No proszę. Więc checkpointy pojawiające się runda po rundzie rozgrzewają scenę dla Gemini 4 z wyprzedzeniem?
W każdym razie z tonu Koraya wynika, że główny punkt jest taki: jeśli można wydać wcześniej, absolutnie nie zostanie wydane później.
A tym razem nie tylko model przyspiesza. Google przygotowuje się również do wysłania chipów TPU w kosmos.
Nowy projekt wkrótce rozpocznie testy prototypów, a nawet infrastruktura obliczeniowa AI zaczyna wykraczać poza Ziemię.
Gemini 4, wchodzi w fazę sprintu
Nie jest zaskoczeniem, że wszyscy tak uważnie obserwują Gemini 4.
W końcu od poprzedniego flagowego modelu Gemini 3 do teraz Google przeszedł całkiem sporo.
Pierwotnie, zgodnie z planem, w czerwcu tego roku powinien najpierw pojawić się Gemini 3.5 Pro. CEO Google, Sundar Pichai, nawet zapowiedział go wcześniej na majowej konferencji dla deweloperów I/O.
Ostatecznie nie został wydany.
Chociaż w międzyczasie kolejno aktualizowano Gemini 3.1 i kilka modeli Flash, 3.5 Pro nigdy nie pojawił się oficjalnie.
Koray wyjaśnił również tym razem, że zespół zdecydował się „na chwilę wstrzymać” i najpierw skupić energię na serii Flash.
A teraz rytm znów wyraźnie się zmienił.
Koray dał jasno do zrozumienia, że chcą osiągnąć maksymalną prędkość uczenia się w możliwie najkrótszym czasie.
Posłuchaj tonu. To niemal wyjaśnia obecne podejście Google.
Chociaż nie powiedziano wprost, czy Google oficjalnie anulowało projekt Gemini 3.5 Pro, pewne jest to, że zespół przeniósł całą swoją uwagę na Gemini 4.
Gemini 3.5 Pro można na razie odłożyć na bok, ale trening, testowanie, informacje zwrotne i ponowne iteracje Gemini 4 muszą przebiegać runda po rundzie tak szybko, jak to możliwe.
W tym celu Google już rozpoczęło jednoczesne budowanie wewnętrznych zabezpieczeń i procesów testowych Gemini 4. Obecnie ten mechanizm działa już najpierw na wewnętrznych narzędziach do kodowania AI.
W tym momencie ponowne spojrzenie na podejrzane punkty kontrolne Gemini 4, które niedawno pojawiły się w Arena, staje się jeszcze ciekawsze.
Wraz z najnowszym wydaniem „pelikan jadący na rowerze” przez Luminę, centrum dyskusji wszystkich przeniosło się z „który punkt kontrolny jest lepszy” na „Jak daleko Gemini 4 faktycznie dogoniło?”
Niektórzy bezpośrednio krzyczeli: Gemini wróciło do gry, wierząc, że jeśli te punkty kontrolne są prawdziwe, Google szybko zmniejsza lukę do OpenAI /Anthropic.
Inni uważają, że obecnie nie może stanąć w szranki z GPT-6 SOL, a w porównaniu z serią Mythos, którą Anthropic wprowadziło tej wiosny i niedawno zaktualizowało, nie można powiedzieć, że ma przytłaczającą przewagę.
W obliczu wątpliwości Koray jest całkiem pewny siebie.
Mam pełne zaufanie do tego zespołu. Z pewnością zawsze będziemy na czele.
W sierpniu tego roku, po tym jak Hassabis zrezygnował z codziennego zarządzania Google DeepMind, Koray oficjalnie przejął tę działalność, jednocześnie nadal pełniąc funkcję głównego architekta AI Google.
Jak Gemini będzie działać dalej i jak szybko, Koray jest teraz jednym z najważniejszych decydentów.
W każdym razie, jego słowa już poszły w świat, a teraz zależy, czy sam Gemini 4 zdoła je dogonić.
Rzucając wyzwanie Nvidii, TPU po raz pierwszy leci w kosmos
Jeśli spojrzysz tylko na Gemini 4, łatwo pomyśleć, że zespół modeli Google dopiero zaczyna ponownie przyspieszać w tej rundzie.
Właściwie jeszcze bardziej przesadne jest to, że nawet moc obliczeniowa zaczęła synchronizować się z przyspieszaniem.
Koray niedawno wyraźnie wspomniał, że badania i rozwój modeli frontier w DeepMind teraz również bezpośrednio „oddziałują zwrotnie” na własny biznes sprzętowy Google.
Wcześniej TPU było głównie ukryte za Google Cloud, a klienci kupowali usługi chmurowe. Ale teraz Google zaczął sprzedawać chipy TPU bezpośrednio!
Cel jest dość jasny, rzucić wyzwanie Nvidii.
Co więcej, zespół modeli i zespół chipów również stają się coraz bardziej ściśle powiązane.
Nowe wymagania generowane, gdy DeepMind tworzy modele nowej generacji, będą przekazywane inżynierom sprzętowym z wyprzedzeniem, pozwalając im planować kolejne dwie do trzech generacji TPU.
Model: Bracie, przygotowuję się do ponownego zużycia ✕✕ mocy obliczeniowej w następnej rundzie. Chip: Rozumiem, zaczynam budować.
Google współpracuje z amerykańską komercyjną firmą satelitarną Planet, planując wystrzelenie prototypowych satelitów za pomocą SpaceX Falcon 9, które będą przenosić 4 TPU, aby przetestować ich zdolność do działania na orbicie.
Projekt nazywa się „Project Suncatcher”.
Pomysł jest również bardzo w stylu Google: skoro naziemne centra danych AI zużywają energię elektryczną, zajmują ziemię i wymagają dużych ilości chłodzenia wodnego, dlaczego nie przenieść części infrastruktury uczenia maszynowego na orbitę, gdzie energia słoneczna jest obfitsza?
Jednak obecnie to tylko pierwszy krok.
W kosmosie nie ma sposobu na rozpraszanie ciepła przez konwekcję powietrza jak w naziemnych centrach danych, a chipy działające nieprzerwanie pod dużym obciążeniem szybko napotkają problemy z zarządzaniem ciepłem.
Zgodnie z planem chipy mogą działać w kosmosie przez około 15 minut, po czym muszą zostać wyłączone, aby się ochłodzić.
Więc tym razem bardziej chodzi o zweryfikowanie jednej rzeczy: czy TPU może najpierw przetrwać i działać na orbicie.
Jeśli chodzi o prawdziwe połączenie dziesiątek satelitów w sieć za pomocą laserów i przekształcenie jej w „kosmiczne centrum danych AI”, to wciąż sprawa na później.
Inni wciąż walczą o pokoje w centrach danych, podczas gdy Google już zaczął myśleć o ziemi na niebie.
Jednak gdy wszyscy w Google krzyczeli o przyspieszeniu, ktoś z zespołu odszedł.
Były inżynier Mozilli Robert O'Callahan, który później dołączył do DeepMind, ogłosił wczoraj swoją rezygnację.
Powód okazał się nie taki, że gardził rozwojem AI w Google jako zbyt wolnym, ale raczej „zbyt szybkim”?
Robert nie trenował bezpośrednio modeli, ale był odpowiedzialny za narzędzia do projektowania chipów sprzętowych.
Ale gdy nad tym pracował, odkrył, że te narzędzia przyspieszą projektowanie chipów AI nowej generacji, jeszcze bardziej zmniejszając koszt i opóźnienie AI.
Jego zdaniem oznaczało to, że sztuczna inteligencja stanie się tańsza, wydajniejsza, a tym samym bardziej rozpowszechniona i potężniejsza.
Robert rozmawiał z kolegami z DeepMind o zagrożeniach związanych ze sztuczną inteligencją, i niemal wszyscy byli tym głęboko zaniepokojeni, ale wielu nie wyrażało tego publicznie.
Co więcej, Koray nie zamierzał się zatrzymywać, a nawet uważał, że „to musi być jeszcze szybsze”.
Na początku Robert nie myślał o bezpośrednim odejściu, w końcu wynagrodzenie było całkiem hojne. Chciał jedynie przenieść się na stanowisko inżynierskie, które w ogóle nie przyspieszałoby rozwoju AI.
Ale ograniczony swoim regionem i dostępnymi opcjami pracy, ta droga ostatecznie nie wypaliła.
Jeszcze jedno
Punkty kontrolne pojawiają się masowo, TPU szybują, inżynierowie odchodzą. Patrząc na te rzeczy w tym tygodniu, jest w tym coś w rodzaju czarnego humoru.
Wtedy wydajność Gemini 3 wpędziła OpenAI w „czerwony alarm”, ale sam Google następnie został o pół kroku w tyle w rytmie swoich flagowych produktów.
Teraz, gdy Koray przewodzi zespołowi, wybiera ponowne przyspieszenie i doprowadzenie szybkości uczenia się do maksimum. I to nie tylko jedna linia produktów przyspiesza; modele, chipy i rytm organizacyjny zaczynają parć naprzód.
Google: naprawdę nie może już dłużej czekać.
Ten artykuł pochodzi z publicznego konta WeChat „Quantum Bit”, autor: Focus on Frontier Technology
