Elon Musk twierdzi, że sztuczna inteligencja wyczerpała rzeczywiste dane treningowe

W niedawnym wywiadzie na targach CES Elon Musk wspomniał, że sztuczna inteligencja w zasadzie wykorzystała wszystkie dostępne dane treningowe z rzeczywistego świata wszystkie dostępne w świecie rzeczywistym dane treningowe, wskazując na generowanie danych syntetycznych jako główną drogę naprzód. Pomysł ten jest zgodny z tym, co były główny naukowiec OpenAI, Ilya Sutskever, powiedział o osiągnięciu "szczytu danych" w rozwoju sztucznej inteligencji.

Musk uważa, że w 2024 roku skończyły się dane generowane przez ludzi. Jako dyrektor generalny Tesli i właściciel xAI podkreślił, że skłonienie sztucznej inteligencji do tworzenia własnych danych treningowych jest najbardziej praktycznym rozwiązaniem dla rozwoju sztucznej inteligencji. Ta metoda pozwala systemom sztucznej inteligencji sprawdzać siebie i uczyć się na bieżąco.

Wiele dużych firm technologicznych już wskoczyło do pociągu z syntetycznymi danymi. Na przykład nowo udostępniony model Phi-4 Microsoftu opiera się na połączeniu informacji syntetycznych i rzeczywistych, podczas gdy Google stosuje podobną strategię dla swoich modeli Gemma. Claude 3.5 Sonnet firmy Anthropic i najnowsza seria Llama firmy Meta również opierają się na danych generowanych przez sztuczną inteligencję.

Tymczasem analitycy z firmy Gartner przewidują, że do 2024 roku około 60 procent danych wykorzystywanych w projektach AI i analitycznych będzie syntetycznych. Jednym z głównych powodów tej zmiany są koszty. Startup zajmujący się sztuczną inteligencją, Writer, twierdzi, że wydał około 700 000 dolarów na opracowanie modelu Palmyra X 004 - znacznie taniej niż szacowane 4,6 miliona dolarów na zbudowanie porównywalnego modelu OpenAI.

Syntetyczne dane nie są jednak pozbawione problemów. Naukowcy ostrzegają przed ryzykiem "załamania modelu", w którym sztuczna inteligencja może stać się mniej pomysłowa i bardziej stronnicza. Problem ten może pojawić się, jeśli jakiekolwiek uprzedzenia w oryginalnym zbiorze danych zostaną wzmocnione, gdy sztuczna inteligencja zacznie samodzielnie generować nowe dane.