Na wyłączność: Założyciel Geekbench odpowiada na kontrowersje związane z blokowaniem testów porównawczych Pixela 8

Notebookcheck niedawno opublikował informację o tym, że Google wydaje się zablokował pisarzy recenzujących jego nowy Pixel 8 i Pixel 8 Pro możliwość łatwego instalowania popularnych aplikacji benchmarkowych, takich jak Geekbench 6 i 3D Mark w okresie embarga. Było to bardzo nietypowe posunięcie i zrodziło pytania o motywacje Google do takiego działania. Google poinformowało o możliwościach Tensor G3 będącego sercem najnowszych Pixeli, w szczególności jego wydajności w zakresie sztucznej inteligencji. Jednak ze względu na brak możliwości zainstalowania aplikacji, wielu recenzentów nie było w stanie przetestować twierdzeń Google, uruchamiając testy porównawcze, co jest standardową praktyką w przypadku większości recenzji, ponieważ zapewnia obiektywny i znormalizowany sposób oceny wydajności chipa.

Jednym z głównych benchmarków używanych przez recenzentów jest Geekbench. Jest to popularne, wieloplatformowe narzędzie do przeprowadzania testów porównawczych, które służy głównie do oceny wydajności procesora, choć posiada również zestaw do obliczeń GPU. Test ocenia zarówno wydajność jednordzeniową układu, jak i jego wydajność wielordzeniową, a także jest testem "wieloplatformowym". Oznacza to, że uzyskane wyniki można porównywać na różnych urządzeniach, takich jak telefony komórkowe i laptopy, w systemach operacyjnych, takich jak Android i Windows, a także w układach wyprodukowanych przez takie firmy jak Apple, Intel, Qualcomm, Google, Samsung, MediaTek i AMD.

Kiedy Geekbench został niedawno zaktualizowany do wersji 6, dodał możliwość testowania nowych obszarów zastosowań, w tym wydajności AR, a także kładąc większy nacisk na uczenie maszynowe, które napędza potencjał sztucznej inteligencji chipa. Jest on również używany i wspierany przez firmy takie jak Samsung, Microsoft, AMD, Dell, HP, LG, MediaTek i inne. W związku z tym można by pomyśleć, że biorąc pod uwagę sposób, w jaki Google zachwala wydajność sztucznej inteligencji swoich chipsetów Tensor, byłby to test porównawczy, który Google z przyjemnością zainstalowałby na swoich urządzeniach Pixel 8 i Pixel 8 Pro. Byli recenzenci z niezbędną wiedzą, aby ominąć blokadę Sklepu Play Google, po prostu pobierając pakiet aplikacji dla Geekbench 6 i instalując go ręcznie przy użyciu procesu znanego jako ładowanie boczne.

Wyniki Geekbench 6 uzyskane przez Tensor G3 były niepochlebne - zarówno w okresie embarga na recenzję, jak i później. Niektórzy fani Pixela opublikowali teorie, że wystąpił problem z kompatybilnością z benchmarkami i Android 14, i że Google celowo nie zablokował ich łatwej instalacji. Nie wyjaśnia to jednak, dlaczego aplikacje mogą być ładowane z boku i mogą być pomyślnie uruchamiane, ani dlaczego wyniki przed i po blokadzie są takie same po zablokowaniu nie różniły się od siebie. Skontaktowaliśmy się z Google w celu uzyskania komentarza, ale w chwili pisania tego tekstu nie otrzymaliśmy odpowiedzi. Skontaktowaliśmy się również z Primate Labs, twórcami Geekbench 6, którzy byli w stanie udzielić nam odpowiedzi.

Kontaktując się z Primate Labs, zapytaliśmy, czy są świadomi jakichkolwiek problemów z kompatybilnością, które uniemożliwiłyby zainstalowanie Geekbench 6 na Pixel 8 i Pixel 8 Pro w okresie embarga na recenzje. John Poole, twórca oryginalnej wersji Geekbench i założyciel firmy, udzielił Notebookcheck następującej odpowiedzi:

Nie wiemy, dlaczego Geekbench 6 był niedostępny na urządzeniach Pixel 8 (choć podejrzewamy, że miało to coś wspólnego z embargiem). Nie jesteśmy świadomi żadnych problemów z kompatybilnością Geekbench 6 na Pixel 8 lub Pixel 8 Pro.

Po naszej relacji na ten temat, Arun Maini, YouTuber lepiej znany pod pseudonimem @Mrwhosetheboss ujawnił że kluczowe nowe funkcje oparte na sztucznej inteligencji, które obejmują techniki generatywnej sztucznej inteligencji, w tym Magic Editor, AI Wallpaper i Best Take, wymagają stałego połączenia internetowego, aby działać zgodnie z reklamą. Podczas prezentacji Google sugerowano, że funkcje te są przetwarzane przez układ Tensor G3. Jest to wiadomość wzmocniona na oficjalnym blogu Google, wychwalającym zalety chipu i pozycjonującym go jako "AI-first".

Na bloguwiceprezes Google ds. zarządzania produktami zapewnia, co następuje:

Nasza praca z Tensorem nigdy nie dotyczyła prędkości i kanałów, ani tradycyjnych wskaźników wydajności. Chodzi o popychanie mobilnego doświadczenia komputerowego do przodu. W naszym nowym chipie Tensor G3 każdy główny podsystem został ulepszony, torując drogę dla generatywnej sztucznej inteligencji na urządzeniu. Obejmuje on najnowszą generację procesorów ARM, ulepszony procesor graficzny, nowy ISP i Imaging DSP oraz nasz TPU nowej generacji, który został zaprojektowany specjalnie do uruchamiania modeli sztucznej inteligencji Google.

Przetestowaliśmy twierdzenia Maini dotyczące wymogu stałego połączenia internetowego, aby niektóre z tych nowych funkcji generatywnej sztucznej inteligencji działały. Pomimo twierdzeń Google o zdolności Tensor G3 do zasilania generatywnej sztucznej inteligencji na urządzeniu, Google w rzeczywistości odciąża wymagania przetwarzania dla tych funkcji do chmury w celu przetwarzania przez znacznie potężniejsze serwery - nawet jeśli część przetwarzania może być początkowo wykonywana na urządzeniu. Biorąc jednak pod uwagę stosunkowo słabą wydajność Google Tensor G3 w testach porównawczych, takich jak Geekbench 6, jasne jest, dlaczego Google musiało uciec się do odciążenia przetwarzania.

Jak wyjaśnia projektant chipów Arm na swojej stronie internetowej (pamiętając, że Tensor G3 wykorzystuje rdzenie CPU zaprojektowane przez Arm), cała jego architektura została zaprojektowana z myślą o wydajności sztucznej inteligencji, a algorytmy uczenia maszynowego są wykonywane na całym chipie. Oznacza to, że jeśli układ nie osiąga dobrych wyników w testach porównawczych CPU i GPU, jest bardzo mało prawdopodobne, aby wykazywał wysoką wydajność w zakresie sztucznej inteligencji. Wynika to z faktu, że zadania uczenia maszynowego są obsługiwane przez CPU i GPU w połączeniu z akceleratorem AI na pokładzie SoC znanym jako Neural Processing Unit (NPU) - lub, jak nazywa go Google, Tensor Processing Unit (TPU). Na forach i czatach często można przeczytać, że "benchmarki nie mają znaczenia", liczy się to, jak urządzenie radzi sobie "w prawdziwym świecie". I do pewnego stopnia jest w tym prawda - benchmarki są jedną z części ogólnego równania.

Nie można jednak uciec od tego, że surowa moc obliczeniowa jest również niezbędna dla urządzenia, które jest promowane jako pierwsze pod względem sztucznej inteligencji. Generatywna sztuczna inteligencja wyraźnie wymaga większej mocy obliczeniowej niż Tensor G3 jest w stanie dostarczyć, pomimo twierdzeń Google, że jest inaczej - w przeciwnym razie nie byłoby wymogu stałego połączenia z Internetem i odciążania tych zadań do chmury w celu przetworzenia, zanim wynik zostanie następnie zwrócony do urządzenia użytkownika. Byłby on przetwarzany na pokładzie. Wygląda na to, że algorytmy oprogramowania Google oparte na sztucznej inteligencji osiągnęły swój limit dzięki zdolności Tensor G3 do obsługi ich lokalnie, a narracja Google dotycząca nieistotności "tradycyjnych wskaźników wydajności" utknęła w martwym punkcie.

Aktualizacja: Artykuł został zaktualizowany o zrzuty ekranu ze strony produktu Google Pixel 8 Pro ze zrzutami ekranu, na których Google opisuje zaawansowane nowe funkcje sztucznej inteligencji, w tym funkcje generatywnej sztucznej inteligencji wspomniane w artykule. Dołączono również zrzut ekranu z przypisu "7", który wyjaśnia wymagania i ograniczenia. Proszę zauważyć, że Google nie wspomina o wymogu stałego połączenia internetowego, aby funkcje działały, ani o tym, że zawartość musi zostać przeniesiona na serwery Google w chmurze w celu przetwarzania AI.

Proszę zakupić Google Pixel 8 Pro od Amazon w cenie od 999 USD.