OpenAI ma trudności z gromadzeniem danych szkoleniowych dla nowych modeli

Wydaje się, że OpenAI osiągnęło wąskie gardło w wydajności swoich modeli sztucznej inteligencji nowej generacji. Kolejny duży model firmy - "Orion", podobno osiąga gorsze wyniki w określonych zadaniach w porównaniu ze starszymi modelami.

Wydaje się, że ma on przewagę w zadaniach opartych na języku, takich jak tłumaczenie, generowanie tekstu itp. ale okazał się rozczarowujący w zadaniach takich jak kodowanie.

Według raportu https://www.theinformation.com/articles/openai-shifts-strategy-as-rate-of-gpt-ai-improvements-slows przez The Information (za pośrednictwem Gadgets360), wydaje się, że istnieje problem z gromadzeniem danych szkoleniowych dla nowych modeli. Model ten jest również droższy do uruchomienia w centrach danych w porównaniu do GPT-4 i GPT-4o.

Skok jakościowy jest również słabszy w porównaniu do postępów poczynionych przez GPT-4 w stosunku do GPT-3. OpenAI podobno stworzyło zespół fundacji, aby rozwiązać kwestię danych szkoleniowych, ale nadal nie jest jasne, czy uda im się uzyskać wystarczającą ilość danych dla modelu AI na czas przed premierą.

Nie tylko OpenAI odnotowuje znikome zwroty w wydajności. Inni konkurenci, tacy jak Anthropic i Mistral, również wykazują jedynie iteracyjne zyski z każdą nową wersją. Jedną z sugerowanych metod poprawy wydajności jest dalsze trenowanie modelu po wydaniu poprzez dostrojenie danych wyjściowych, ale jest to obejście, a nie trwałe rozwiązanie.