Nvidia dodaje nowe funkcje widzenia, mowy i języka do ChatRTX - darmowego, lokalnego chatbota dla komputerów PC z kartami graficznymi Nvidia RTX

Nvidia rozszerzyła możliwości aplikacji Chat for RTX (ChatRTX) dodając w najnowszej wersji obsługę dodatkowych dużych modeli językowych (LLM), a także obsługę wizji i mowy. Bezpłatny, lokalny chatbot nie musi wysyłać danych online podczas pracy z informacjami o użytkowniku, dzięki czemu czaty pozostają prywatne.

Różne modele LLM są dostosowane do różnych celów - ogólnych czatów, prac naukowych, pisania esejów i innych. Niektóre LLM mają również ścisłe szkolenie w zakresie cenzurowania danych wyjściowych, dzięki czemu niektóre LLM są bardziej przydatne niż inne. Wcześniej dostępne modele TensorRT-LLM obejmowały domyślny model Mistral, a także Llama 2. Nvidia otworzyła ChatRTX na kilka nowych, Gemma i ChatGLM3.

Gemma to LLM opracowany przez Google DeepMind wydany w 2024 roku jako modele o dwóch i siedmiu miliardach parametrów. Modele są wysoce dostrojone, aby odfiltrować wrażliwą mowę, dane osobowe oraz ryzykowne lub niebezpieczne reakcje.

ChatGLM3 to LLM opracowany przez Zhipu AI i Tsinghua KEG, wydany w 2023 roku jako model o sześciu miliardach parametrów. Dwujęzyczny chińsko-angielski model został zaprojektowany jako silny konkurent open-source dla ChatGPT OpenAI.

Nvidia dodała sieć neuronową OpenAI's CLIP aby automatycznie rozpoznawać obrazy i kojarzyć z nimi powiązany tekst. Na przykład, jeśli CLIP otrzyma obraz kotwicy telewizyjnej, kamer telewizyjnych i świateł w pomieszczeniu, oznaczy obraz jako zdjęcie studia telewizyjnego. Umożliwia to ChatRTX pracę z obrazami bez ręcznego etykietowania treści. System rozpoznawania mowy Whisper został również dodany do ChatRTX, umożliwiając użytkownikom wypowiadanie poleceń do ChatRTX.

Czytelnicy, którzy chcą wypróbować lokalnego chatbota, mogą pobrać Nvidia ChatRTX tutaj o ile spełniają poniższe wymagania systemowe. Lokalny chatbot działa na komputerach wyposażonych w kartę graficzną Nvidia GeForce RTX z serii 30 lub 40. Obsługiwane są również karty graficzne oparte na architekturze Ampere i Ada z co najmniej 8 GB pamięci VRAM. Ci, którzy nie mają kompatybilnej karty, mogą kupić szybką Nvidię na Amazon. Inne wymagania systemowe obejmują system Windows 11, 16 GB pamięci RAM, co najmniej 35 GB wolnego miejsca na dysku i sterownik w wersji 535.11 lub nowszej.