Computex 2024 | Gigabyte oferuje gotowy komputer AMD Ryzen Threadripper 7975X o wartości 35 000 USD do trenowania własnej sztucznej inteligencji o mocy 236 miliardów paramów w domu
Sztuczna inteligencja (AI) jest obecnie wszechobecna w wiadomościach, a producenci OEM umieszczają etykietę AI na prawie wszystkim - prawie nawet na skromnej paście termicznej https://www.tomshardware.com/pc-components/thermal-paste/cooler-master-clarifies-cryofuze-5-ai-thermal-paste-announcement-was-a-translation-error.
Podczas gdy większość modeli AI, takich jak ChatGPT, DALL-E, Gemini, Llama, Copilot itp. opiera się w dużej mierze na chmurze, biorąc pod uwagę ich zdumiewająco duże wymagania obliczeniowe, możliwe jest również uruchamianie wnioskowania AI na brzegu lub w systemach klienckich. Staje się to szczególnie ważne, jeśli chcą Państwo trenować modele sztucznej inteligencji na wrażliwych danych i adresach IP, utrzymując je na miejscu.
Trenowanie modeli AI i wnioskowanie o nich na brzegu sieci jest możliwe, ale sprzęt konsumencki stanowi poważne ograniczenie w uruchamianiu dużych modeli i wydajnym przetwarzaniu większej liczby tokenów na wat. Gigabyte chce to zmienić i pomóc Państwu "trenować własną sztuczną inteligencję na biurku" dzięki nowej linii AI TOP.
Narzędzie AI TOP
Gigabyte twierdzi, że jego komputery AI TOP są zbudowane na trzech strukturach: AI TOP Utility, AI TOP Hardware i AI TOP Tutor. Celem jest umożliwienie skalowania z 8/30 miliardów parametrów do 70/236 miliardów, przy jednoczesnym uruchomieniu systemu ze zwykłego gniazdka ściennego.
Narzędzie AI TOP Utility umożliwia monitorowanie różnych parametrów systemu, takich jak wykorzystanie CPU, GPU, RAM i SSD, oferując jednocześnie interfejs GUI bez kodu do zadań szkoleniowych AI.
AI TOP Hardware
Jeśli chodzi o sprzęt, komputery AI TOP są dostarczane ze standaryzowanym i w pełni przetestowanym sprzętem, od płyty głównej po zasilacz. Komponenty zostały zaprojektowane tak, aby można je było rozbudowywać w razie potrzeby i używać w typowych warunkach domowych lub biurowych.
W związku z tym firma oferuje dwie płyty główne dostosowane do zastosowań AI:
- TRX50 Aero D(559 USD na Amazon) AI TOP z podwójnym 10GbE LAN, do 2 TB DDR5, 4x PCIe Gen 5 x16 i 4x NVMe SSD do użytku z procesorami AMD Threadripper 7000 Series Storm Peak HEDT
- W790 AI TOP z 2x Thunderbolt 4, do 2 TB DDR5, 5x PCIe Gen 5 x16 i 6x NVMe SSD do użytku z procesorami Intel Xeon-W2400 i W3400 Sapphire Rapids HEDT
W przypadku kart graficznych, komputery Gigabyte AI TOP mogą korzystać z kart Nvidia GeForce RTX 4070 Ti Super AI TOP 16G, z których cztery można połączyć, aby uzyskać łącznie 64 GB pamięci VRAM do treningu AI. Mogą Państwo również zdecydować się na nową kartę graficzną AMD Radeon Pro W7900 DS AI TOP 48G lub W700 AI TOP 32G i skalować je do czterech kart, aby uzyskać aż 192 GB pamięci VRAM.
Gigabyte oferuje również dysk AI TOP 100E NVMe SSD z aiDAPTIVCache firmy Phison, który jest dostosowany do uruchamiania modelu Phison aiDAPTIV+. Ten dysk SSD oferuje do 7 200/6 500 MB/s sekwencyjnych prędkości odczytu/zapisu i 150x TBW.
Komputery AI TOP są wyposażone w zasilacz UD1600PM PG5 80+ Platinum, który zapewnia wystarczającą moc do obsługi czterech procesorów graficznych i jest dwukrotnie trwalszy niż konwencjonalne zasilacze.
Te gotowe komputery AI TOP zaczynają się od 6 499 USD za 8 miliardów parametrów, 11 999 USD za 13 miliardów, 16 499 USD za 30 miliardów i sięgają aż do 35 999 USD za 70 miliardów parametrów z maksymalnym rozmiarem modelu do 236 miliardów.
Pierwsze dwie opcje oferują procesory AMD Ryzen Threadripper 7960X(1399 USD na Amazon) i 2x GPU RTX 4070 Ti Super. Konfiguracja 30B to już Threadripper 7975X (3 899 USD na Amazon) i 4x RTX 4070 Ti Super. Wreszcie, behemot 70B wykorzystuje Threadripper 7975X i 4x GPU Radeon Pro W7900.
AI TOP Tutor
Wreszcie, mamy AI TOP Tutor, który jest przeszkolony przy użyciu narzędzia AI TOP Utility, aby zapewnić coaching AI na biurku, konsultacje i wskazówki dotyczące wszystkich rzeczy związanych z AI TOP.
Źródło(a)
Informacja prasowa Gigabyte
![Gigabyte Metal Gear Plus ITX oferuje procesory Ryzen 8000G w obudowie mini PC (źródło obrazu: JD.com [edytowane])](fileadmin/_processed_/2/4/csm_Gigabyte-Metal-Gear-ITX-Mini-PC_e271677d1b.jpg)
