Rozwój GPT-5 napotyka na poważne komplikacje, ponieważ OpenAI skończyły się dane treningowe

Prace OpenAI nad GPT-5zwanym Projektem Orion, natrafiły na poważną przeszkodę. Projekt jest znacznie opóźniony i kosztuje fortunę. Po ponad 18 miesiącach pracy nad nim, Microsoft pierwotnie myślał, że będzie gotowy do uruchomienia w połowie 2024 roku, ale tak się nie stało.

Włożyli w to dużo pieniędzy - każdy przebieg treningowy kosztuje około 500 milionów dolarów tylko w mocy obliczeniowej - ale nie widzieli skoków wydajności, na które liczyli w porównaniu do GPT-4. Choć zauważalna jest pewna poprawa, nie jest ona wystarczająca, by uzasadnić takie wydatki.

Jednym z największych problemów jest brak wysokiej jakości danych do trenowania modelu. Publiczny Internet po prostu nie ma wystarczającej ilości zróżnicowanych, wysokiej jakości danych potrzebnych do zrobienia różnicy. Aby temu zaradzić, OpenAI zatrudniło ekspertów do tworzenia nowych materiałów szkoleniowych, takich jak kod oprogramowania i problemy matematyczne. Jest to jednak powolny proces. Dla porównania, GPT-4 potrzebował do treningu aż 13 bilionów tokenów. Aby umieścić to w kontekście, nawet gdyby 1000 osób pisało 5000 słów dziennie, zajęłoby im miesiące, aby osiągnąć jeden miliard - skalowanie do bilionów jest jak próba napełnienia oceanu wężem ogrodowym.

Co więcej, firma została dotknięta wewnętrznymi problemami. Ponad dwa tuziny kluczowych menedżerów odeszło w 2024 roku, w tym główny naukowiec Ilya Sutskever i CTO Mira Murati. OpenAI żongluje również innymi projektami, takimi jak "o1" i "Sora", wciąż próbując wymyślić, jak posunąć naprzód GPT-5.

Dyrektor generalny, Sam Altman, potwierdził już, że GPT-5 nie zostanie wydany w 2024 roku, co jest znaczącym niepowodzeniem dla ich ambitnych planów związanych ze sztuczną inteligencją.