Generatywna sztuczna inteligencja na iPhone'ach jest o krok bliżej dzięki badaczom z Apple

Apple naukowcy z udokumentowali (pdf) nową metodę umożliwiającą uruchamianie dużych modeli językowych (LLM) na urządzeniach z unikalną metodą przezwyciężania ograniczeń pamięci RAM na urządzeniach mobilnych. Pełna wersja LLM, taka jak ChatGPT 4 firmy Open AI, ma około 1,7 biliona parametrów i wymaga potężnych serwerów, aby móc obsłużyć przetwarzanie. Jednak nowe rozwiązanie Google Gemini AI - która, jak twierdzi, może pokonać GPT-4 - jest dostępna w wersji "Nano" dla smartfonów i wykorzystuje techniki kwantyzacji, aby zmniejszyć model do 1,8 miliarda parametrów lub 3,6 miliarda parametrów. Jeden z tych wariantów Gemini Nano działa obecnie na smartfonach Google Pixel 8 Pro (obecnie obniżona do 799 USD od Amazon - normalnie 999 USD).

Qualcomm twierdzi, że jest to nowy Snapdragon 8 Gen 3 SoC może obsługiwać generatywne AI LLM o wielkości do 10 miliardów parametrów - choć znacznie bardziej wydajne niż to, co Google jest w stanie uzyskać w serii Pixel 8, to wciąż jest to dalekie od 1,7 biliona parametrów wymaganych do tego, aby GPT-4 działało tak imponująco, jak to robi. Kwantyzacja, która ułatwia przetwarzanie LLM przez mobilne SoC, oznacza również, że tracą one dokładność i skuteczność. W związku z tym wszystko, co może pomóc zwiększyć rozmiar modeli, które można wcisnąć w urządzenie mobilne, tym lepsza wydajność LLM.

Aby smartfony były w stanie obsłużyć zadania gen AU na urządzeniu, wymagania dotyczące pamięci RAM https://medium.com/@TitanML/deploying-llms-on-small-devices-an-introduction-to-quantization-76502d28d0b2 są również znaczące. Model LLM zredukowany do 8 bitów na parametr z 7 miliardami parametrów (taki jak Meta's Llama 2, który jest obsługiwany przez Snapdragon 8 Gen 3) wymagałby smartfona z co najmniej 7 GB pamięci RAM. Seria iPhone 15 Pro ma 8 GB pamięci RAM, więc sugeruje to, że opracowany przez Apple LLM, taki jak Llama 2, byłby na górnej granicy tego, co obsługiwałby obecny iPhone. Applenaukowcy znaleźli sposób na obejście tego limitu wbudowanej pamięci RAM.

W artykule badawczym zatytułowanym "LLM in a flash: Efficient Large Language Model Inference with Limited Memory", naukowcy zajmujący się generatywną sztuczną inteligencją z Appleopracowali metodę wykorzystania pamięci flash iPhone'a w celu uzupełnienia wbudowanej pamięci RAM urządzenia. Przepustowość pamięci flash nie jest w tej samej lidze co mobilna pamięć RAM LDDR5/X, jednak naukowcy z Appleopracowali metodę, która przezwycięża to nieodłączne ograniczenie. Wykorzystując kombinację "okienkowania" (gdzie model AI ponownie wykorzystuje część danych przechowywanych w pamięci flash, które już przetworzył) i "łączenia wierszy i kolumn" (które grupuje dane z LLM w sposób, który jest bardziej wydajnie przetwarzany, przyspieszając prędkość odczytu).

Oczywiście nie widzieliśmy jeszcze LLM z Apple, chociaż plotki sugerują, że możemy zobaczyć jedną z inteligentniejszych wersji Siri opartą na LLM, która ma zadebiutować jako część iOS 18 i będzie w stanie działać na urządzeniu na następnej generacji iPhone 16 Pro modelach. Ale kiedy to zrobimy, wydaje się, że będzie duża szansa, że Apple wykorzysta tę metodę rozszerzenia pamięci RAM, aby zapewnić, że dostarczy model LLM z jak największą liczbą parametrów, które może skutecznie uruchomić na urządzeniu. Samsung ulepsza swoją generatywną grę AI na premierę modelu Galaxy S24 w przyszłym miesiącu, rok 2024 zapowiada się jako rok, w którym generatywna sztuczna inteligencja stanie się powszechna również na smartfonach.