D-Matrix prezentuje kartę Corsair C8 9x szybszą niż GPU Nvidia H100 w obciążeniach generatywnej sztucznej inteligencji
Podczas gdy TSMC ostrzega że procesory graficzne H100 AI firmy Nvidia będą nadal miały krótkie dostawy w ciągu najbliższych 18 miesięcy ze względu na niewystarczające możliwości pakowania chipów na waflu na podłożu (CoWoS), inne firmy dostrzegają możliwość wkroczenia i zaspokojenia przytłaczającego popytu na sprzęt generatywnej sztucznej inteligencji. Jedną z takich firm jest nowy startup o nazwie d-Matrix, który niedawno zdołał zabezpieczyć 110 milionów dolarów od inwestorów takich jak Microsoft demonstrując niezrównane prędkości swojej karty obliczeniowej Corsair C8, o której mówi się, że ma 9-krotnie większą przepustowość niż Nvidia H100 GPU w generatywnych obciążeniach AI.
Imponujące prędkości zostały osiągnięte dzięki technologii Digital-in-Memory Computer (DIMC) firmy d-Matrix. W przeciwieństwie do układu Nvidia A100 i H100, które są przeznaczone do szerszej gamy wysokowydajnych zadań obliczeniowych, karty Corsair C8 firmy d-Matrix zostały stworzone specjalnie z myślą o generatywnej sztucznej inteligencji i obciążeniach związanych z wnioskowaniem. Pojedyncza karta Corsair C8 integruje 2048 rdzeni DIMC zgrupowanych w 8 chipletach o łącznej liczbie 130 miliardów tranzystorów, a także posiada 256 GB pamięci RAM LPDDR5, aby z łatwością pomieścić całe modele AI w pamięci. Wszystkie chiplety są połączone przez PCIe 5.0 o przepustowości 1 TB/s, co daje łączną przepustowość na poziomie 8 TB/s. d-Matrix zawiera również 2 GB pamięci SRAM o przepustowości 150 TB/s. W zależności od obciążenia AI, Corsair C8 zapewnia od 2400 do 9600 TFLOPS.
Dzięki zoptymalizowanej zdolności skalowania i beztarciowej naturze stosu oprogramowania open source, d-Matrix twierdzi, że klaster kart Corsair C8 może prowadzić do 20-krotnie lepszej wydajności energetycznej, 20-krotnie niższych opóźnień i do 30-krotnie niższych kosztów w porównaniu z podobnymi rozwiązaniami Nvidii.
