Meta AI debiutuje na zestawach słuchawkowych Quest 3

Antony Hamilton Jr wypróbowuje Meta AI w Quest (źródło zdjęcia: Meta)

Jako kontynuacja multimodalnej sztucznej inteligencji w inteligentnych okularach Ray Ban Meta, właściciele Quest 3 w USA i Kanadzie wkrótce będą mogli korzystać z Meta AI w zestawie słuchawkowym. Meta będzie wycofywać istniejące polecenia głosowe w Horizon OS, ponieważ Meta AI z Vision będzie w stanie obsługiwać polecenia głosowe, a także wizualne dane wejściowe z Passthrough.

Sarfo Ashong-Listowell (tłumaczenie Ninh Duy), Published 29/07/2024 🇺🇸 🇫🇷 ...

Virtual Reality (VR) / Augmented Reality (AR) AI

Zestawy słuchawkowe Quest otrzymają eksperymentalną aktualizację z Meta AI w sierpniu tego roku. Funkcja będzie ograniczona do poleceń głosowych na Quest 2, ale Meta AI na zestawie słuchawkowym Quest 3 będzie miała pełne możliwości multimodalne, takie jak inteligentne okulary Ray Ban Meta. Ponadto Meta AI na tych zestawach słuchawkowych rzeczywistości mieszanej będzie w stanie pobierać w czasie rzeczywistym dane o pogodzie, sporcie lub lokalnych wiadomościach za pośrednictwem Bing.

Jedną z funkcji, którą firma drażni w Quest 3, jest Meta AI z Vision. Chociaż użytkownicy inteligentnych okularów Ray Ban Meta mają tę funkcję od kwietnia, to po raz pierwszy aplikacja będzie miała dostęp do kamer passthrough głównego zestawu słuchawkowego Quest 3. Meta nie wspomniała nic o udostępnieniu API passthrough dla zewnętrznych deweloperów, ale wydaje się to prawdopodobne, zwłaszcza że coraz więcej deweloperów domaga się takiego dostępu.

Możliwe, że w późniejszych aktualizacjach użytkownicy będą mogli zadawać pytania dotyczące obiektów w środowiskach VR oprócz obiektów fizycznych, ponieważ Meta twierdzi, że jej wizualna funkcjonalność AI jest dostępna tylko w Passthrough "na początek". Jednak możliwości Meta AI with Vision są obecnie ograniczone do analizy obiektów w rzeczywistym otoczeniu, uchwyconych za pomocą przednich kamer passthrough. Poza danymi wizualnymi istnieją inne możliwości wykorzystania Meta AI w rzeczywistości mieszanej za pomocą poleceń głosowych. Skutecznie zastępuje to istniejące polecenia głosowe w zestawach słuchawkowych Quest, ponieważ te wkrótce zostaną wycofane.

Meta AI z Vision została po raz pierwszy uruchomiona na inteligentnych okularach Ray-Ban jako funkcja beta ograniczona do USA i Kanady. Podobnie eksperymentalne funkcje AI w zestawach słuchawkowych Quest będą również ograniczone z krajów UE. Meta - podobnie jak Apple i inni giganci technologiczni z siedzibą w USA - ma trudności z organami regulacyjnymi ds. prywatności danych w UE, w wyniku czego zdecydowała się nie udostępniać przyszłych multimodalnych modeli sztucznej inteligencji w regionie, mimo że Llama jest oprogramowaniem typu open source. Firma planuje uruchomić tylko tekstową wersję swojego modelu Llama 3, aby służyć swoim użytkownikom w UE.