Llama 4 firmy Meta działa na ponad 100 000 procesorów graficznych Nvidia H100

Meta opublikowała niedawno nową aktualizację dotyczącą Llama 4, swojego nadchodzącego dużego modelu językowego. W niedawnej rozmowie telefonicznej dotyczącej zysków, dyrektor generalny Mark Zuckerberg podzielił się informacją, że trenują modele Llama 4 na klastrze składającym się z ponad 100 000 procesorów graficznych Nvidia H100-większym niż wszystko, co widział w doniesieniach na temat tego, co robią inni.

Ten nowy duży model językowy, który ma pojawić się na początku 2025 roku, najpierw wprowadzi swoje mniejsze wersje. Chociaż nie ma wielu szczegółów na temat jego konkretnych możliwości, Zuckerberg zasugerował, że Llama 4 będzie miała nowe funkcje, lepsze umiejętności rozumowania i ogólnie będzie szybsza.

Podejście Meta do Llamy 4 podtrzymuje schemat udostępniania modeli do pobrania za darmo, w przeciwieństwie do OpenAI i Google, które ograniczają dostęp tylko za pośrednictwem interfejsów API. Model ten jest szczególnie popularny wśród startupów i badaczy, którzy chcą mieć większą swobodę w korzystaniu ze sztucznej inteligencji.

Przy tak ogromnej konfiguracji obliczeniowej, zapotrzebowanie na energię jest równie duże, szacowane na 150 megawatów - pięć razy więcej niż zapotrzebowanie na energię największego superkomputera amerykańskiego laboratorium narodowego. Budżet Meta odzwierciedla tę skalę, a wydatki na infrastrukturę mają osiągnąć 40 miliardów dolarów w 2024 roku, co stanowi 42-procentowy wzrost w porównaniu z 2023 rokiem.

Nawet przy tak znacznych kosztach, finanse Meta są solidne, wykazując 22-procentowy wzrost sprzedaży, głównie dzięki przychodom z reklam, co pomogło zrównoważyć 9-procentowy wzrost kosztów operacyjnych.