CES 2025 | Nvidia prezentuje superkomputer Project DIGITS AI dla deweloperów AI na komputery stacjonarne
Nvidia zaprezentowała superkomputer AI Project DIGITS dla użytkowników komputerów stacjonarnych na targach CES 2025. Superkomputer jest zasilany przez GB10 Grace Blackwell Superchip, aby umożliwić użytkownikom komputerów stacjonarnych uruchamianie dużych modeli językowych (LLM) o wielkości do 200 miliardów parametrów na jednej jednostce i do 405 miliardów parametrów na dwóch jednostkach połączonych w sieć.
Opracowywanie modeli AI LLM wymaga potężnych komputerów, które poradzą sobie z ilością przetwarzanych danych. Jedną z miar mocy modelu LLM jest liczba parametrów, z którymi jest on tworzony. Modele z większą liczbą parametrów generalnie osiągają lepsze wyniki w testach AI dotyczących rozumowania i wiedzy.
Większość deweloperów stacjonarnej sztucznej inteligencji korzysta z lokalnych procesorów graficznych, takich jak Nvidia 4090(sprzedawane tutaj na Amazon), które mają ograniczoną wydajność i rozmiar modelu, lub subskrypcyjnych usług GPU w chmurze, które są droższe. Rozmiar pamięci RAM Nvidii 4090 ogranicza rozwój LLM do około 30 miliardów parametrów. Niestety, najnowsze modele AI o otwartym kodzie źródłowym znacznie przekraczają możliwości Nvidii 4090. Dla przykładu, xAI's Grok-1 to model o 314 miliardach parametrów.
Project DIGITS z łatwością radzi sobie z nimi w konfiguracji dwujednostkowej przy użyciu adapterów sieciowych Nvidia ConnectX. Każda jednostka zawiera 20-rdzeniowy procesor ARM, procesor graficzny Nvidia Blackwell, 128 GB pamięci RAM DDR5X i 4 TB pamięci masowej NVMe. Każdy procesor graficzny Blackwell jest w stanie osiągnąć wydajność obliczeniową FP4 AI na poziomie 1 PetaFLOP. Chociaż spadek z FP16 lub FP8 do FP4 zmniejsza dokładność każdego obliczenia, Nvidia poświęciła wiele wysiłku, aby umożliwić rozwój LLM na FP4 z podobną dokładnością wyjściową. GPU jest również w stanie szybciej przetwarzać dane treningowe LLM, ponieważ FP4 wykorzystuje mniej bitów.
Główną zaletą korzystania z Project DIGITS w porównaniu z innymi rozwiązaniami jest możliwość łatwego przenoszenia projektów z systemów lokalnych do chmury dzięki wykorzystaniu tej samej architektury GPU Grace Blackwell działającej na platformie Nvidia AI Enterprise. Zainteresowani deweloperzy AI mogą zarejestrować się na stronie Nvidia Project DIGITS aby otrzymać powiadomienie o spodziewanej w maju 2025 r. premierze urządzenia o wartości ponad 3000 USD.
Źródło(a)
NVIDIA stawia Grace Blackwell na każdym biurku i w zasięgu ręki każdego programisty AI
Projekt NVIDIA DIGITS z nowym superchipem GB10 debiutuje jako najmniejszy na świecie superkomputer AI zdolny do uruchamiania modeli 200B-parametrowych
6 stycznia 2025 r
NVIDIA umieszcza Grace Blackwell na każdym biurku i w zasięgu ręki każdego programisty AI
CES-NVIDIA zaprezentowała dziś NVIDIA® Project DIGITS, osobisty superkomputer AI, który zapewnia badaczom sztucznej inteligencji, naukowcom zajmującym się danymi i studentom na całym świecie dostęp do mocy platformy NVIDIA Grace Blackwell.
Project DIGITS wyposażony jest w nowy superukład NVIDIA GB10 Grace Blackwell, oferujący petaflopową wydajność obliczeniową AI do prototypowania, dostrajania i uruchamiania dużych modeli AI.
Dzięki Project DIGITS użytkownicy mogą opracowywać i przeprowadzać wnioskowanie na modelach przy użyciu własnego systemu stacjonarnego, a następnie płynnie wdrażać modele w akcelerowanej chmurze lub infrastrukturze centrum danych.
"Sztuczna inteligencja będzie głównym nurtem w każdej aplikacji dla każdej branży. Dzięki Project DIGITS, Grace Blackwell Superchip trafia do milionów deweloperów", powiedział Jensen Huang, założyciel i dyrektor generalny NVIDIA. "Umieszczenie superkomputera AI na biurku każdego naukowca zajmującego się danymi, badacza AI i studenta daje im możliwość zaangażowania się i kształtowania ery AI"
Superkomputer GB10 zapewnia Petaflop mocy obliczeniowej wydajnej sztucznej inteligencji
Superchip GB10 to system-on-a-chip (SoC) oparty na architekturze NVIDIA Grace Blackwell i zapewniający do 1 petaflopa wydajności AI w precyzji FP4.
GB10 jest wyposażony w procesor graficzny NVIDIA Blackwell z rdzeniami CUDA® najnowszej generacji i rdzeniami Tensor piątej generacji, połączony za pośrednictwem interkonektu NVLink®-C2C chip-to-chip z wysokowydajnym procesorem NVIDIA Grace™, który zawiera 20 energooszczędnych rdzeni zbudowanych w architekturze Arm. MediaTek, lider na rynku układów SoC opartych na architekturze Arm, współpracował przy projektowaniu GB10, przyczyniając się do jego najlepszej w swojej klasie energooszczędności, wydajności i łączności.
Superchip GB10 umożliwia Project DIGITS dostarczanie potężnej wydajności przy użyciu tylko standardowego gniazdka elektrycznego. Każdy komputer Project DIGITS jest wyposażony w 128 GB zunifikowanej, spójnej pamięci i do 4 TB pamięci masowej NVMe. Dzięki superkomputerowi programiści mogą uruchamiać nawet 200-miliardowe modele językowe, aby zwiększyć innowacyjność sztucznej inteligencji. Ponadto, korzystając z sieci NVIDIA ConnectX®, można połączyć dwa superkomputery Project DIGITS AI, aby uruchomić modele o wartości do 405 miliardów parametrów.
Superkomputer AI Grace Blackwell w zasięgu ręki
Dzięki architekturze Grace Blackwell przedsiębiorstwa i naukowcy mogą prototypować, dopracowywać i testować modele na lokalnych systemach Project DIGITS z systemem operacyjnym NVIDIA DGX OS opartym na systemie Linux, a następnie płynnie wdrażać je w NVIDIA DGX Cloud™, akcelerowanych instancjach chmury lub infrastrukturze centrum danych.
Dzięki temu deweloperzy mogą prototypować sztuczną inteligencję na Project DIGITS, a następnie skalować ją w chmurze lub infrastrukturze centrum danych, korzystając z tej samej architektury Grace Blackwell i platformy oprogramowania NVIDIA AI Enterprise.
Użytkownicy Project DIGITS mają dostęp do obszernej biblioteki oprogramowania NVIDIA AI do eksperymentowania i prototypowania, w tym zestawów programistycznych, narzędzi do orkiestracji, frameworków i modeli dostępnych w katalogu NVIDIA NGC i na portalu NVIDIA Developer. Programiści mogą dopracowywać modele za pomocą frameworka NVIDIA NeMo™, przyspieszać naukę o danych za pomocą bibliotek NVIDIA RAPIDS™ i uruchamiać popularne frameworki, takie jak PyTorch, Python i notatniki Jupyter.
W celu tworzenia agentowych aplikacji AI, użytkownicy mogą również wykorzystać NVIDIA Blueprints i mikrousługi NVIDIA NIM™, które są dostępne do badań, rozwoju i testowania za pośrednictwem programu NVIDIA Developer Program. Gdy aplikacje AI są gotowe do przejścia ze środowisk eksperymentalnych do środowisk produkcyjnych, licencja NVIDIA AI Enterprise zapewnia bezpieczeństwo klasy korporacyjnej, wsparcie i wydania produktów oprogramowania NVIDIA AI.
Dostępność
Project DIGITS będzie dostępny w maju od NVIDIA i najlepszych partnerów, w cenie od 3000 USD. Proszę zapisać się na powiadomienia już dziś.
