Chińskie LLM DeepSeek siał spustoszenie na amerykańskim rynku technologicznym, skutecznie wymazując z giełdy biliony dolarów. Pomimo tego, że został wyszkolony na nieco starszym sprzęcie Nvidii, działa zaskakująco dobrze na jednej z konsumenckich ofert AMD Radeon RX 7900 XTX. David McAfee, dyrektor generalny działu Radeon w AMD, opublikował kilka wyników benchmarku na X.
W zależności od liczby parametrów i użytego modelu, Radeon RX 7900 XTX jest od 13% (7 miliardów parametrów) do 2% (14 miliardów parametrów) szybszy. Następnie flagowy model RDNA 3 zaczyna słabnąć i pozostaje w tyle za RTX 4090 z 32 miliardami parametrów. AMD porównało go nawet z GeForce RTX 4080 Supergdzie 7900 XTX ma 34% przewagę wydajności.
AMD udostępniło również na stronie szczegółowe instrukcje jak uruchomić DeepSeek lokalnie na swoim komputerze. Jednak wspomniany powyżej Radeon RX 7900 XTX ogranicza się do 32 miliardów parametrów, podczas gdy Strix Halo Ryzen AI Max 395 Plus z 128 GB pamięci RAM może obsłużyć do 72 miliardów. Lub, jeśli mają Państwo około 6000 dolarów do stracenia, Matthew Carrigan znalazł sposób na uruchomienie całego modelu lokalnie na maszynie z dwoma procesorami AMD Epyc i 768 GB pamięci RAM.