Nvidia prezentuje interaktywne postacie niezależne i rekonstrukcję promieni DLSS 3.5, które pojawią się we wszystkich układach GPU RTX jesienią tego roku
Oprócz ogłoszenia remastera Remaster Half-Life 2 RTX na targach Gamescom 2023, Nvidia zaprezentowała również kilka ulepszeń, które pojawią się w jej technologiach RTX. Obejmują one duży model językowy (LLM) dla postaci niegrywalnych (NPC) w grze oraz dużą aktualizację DLSS 3.5, która oferuje lepsze efekty świetlne dzięki rekonstrukcji promieni.
Nvidia ACE i NeMo SteerLM
Postacie niezależne zwiększają immersję w świecie gry, ale zaprogramowanie wszystkich NPC w grze jest zadaniem herkulesowym dla deweloperów. Nvidia po raz pierwszy zaprezentowała swój silnik Avatar Cloud Engine (ACE) podczas targów Computex 2023, który wykorzystuje sztuczną inteligencję, aby zapewnić inteligencję postaciom niezależnym.
ACE opiera się na trzech głównych komponentach opartych na sztucznej inteligencji - NeMo LLM, automatycznym rozpoznawaniu mowy (ASR) Riva i możliwościach zamiany tekstu na mowę (TTS) oraz Omniverse Audio2Face, który może tworzyć animacje twarzy ze źródła dźwięku.
Teraz firma rozszerza ACE o NeMo SteerLM, który jest modułem LLM dodającym osobowość i emocje do postaci niezależnych w celu zwiększenia realizmu. SteerLM pozwala graczom definiować i dostrajać interakcje postaci w sposób podobny do tego, w jaki LLM mogą być kierowane za pomocą podpowiedzi w języku naturalnym. SteerLM pozwala również deweloperom na wpływanie na modele przez wydarzenia w świecie gry.
DLSS 3.5 wprowadza rekonstrukcję promieni do wszystkich układów GPU RTX
Nvidia wprowadziła DLSS 3 z funkcją Frame Generation, która wykorzystuje rdzenie Tensor 4. generacji i akceleratory Optical Flow w układach GPU RTX z serii 40. Teraz, na targach Gamescom 2023, Nvidia wprowadza możliwość włączenia potoków ray tracingu do DLSS 3.5.
Tradycyjny potok ray tracingu próbkuje promienie pod kątem odbić i globalnego oświetlenia, które są następnie poddawane denoisingowi. W DLSS jest to wykonywane w niższej rozdzielczości, a następnie skalowane w górę. Jednak użycie denoiserów, choć niezbędne, może skutkować niedokładnym oświetleniem, a także potencjalnym usunięciem informacji, takich jak kolor.
Obecnie deweloperzy korzystają z narzędzia Nvidia Real-time Denoiser (NRD), który jest dużym ulepszeniem w stosunku do wcześniej stosowanego rozwiązania Spatiotemporal Variance-Guided Filtering (SVGF). Plotki wskazują że Nvidia włączy akcelerator denoisingu bezpośrednio do potoku RT w nadchodzących kartach RTX 50 Blackwell.
To jednak tylko spekulacje, a RTX 50 jest jeszcze kilka lat przed ujrzeniem światła dziennego. Na razie Nvidia dąży do przezwyciężenia ograniczeń denoisingu dzięki DLSS 3.5, który wprowadza opartą na sztucznej inteligencji rekonstrukcję promieni (RR).
Firma twierdzi, że RR jest szkolony na 5-krotnie większej ilości danych niż DLSS 3 i jest lepszym rozwiązaniem, które jest szkolone do rozpoznawania wektorów ruchu i efektów śledzenia promieni, jednocześnie będąc w stanie odróżnić piksele dobre od pikseli. Sieć AI jest również przeszkolona w zakresie zachowywania istotnych informacji w celu generowania wysokiej jakości skalowania.
Według Nvidii, włączenie DLSS 3.5 nie powinno mieć większego wpływu na ogólną wydajność gry. W przeciwieństwie do DLSS 3.0 Frame Generation (FG), który wyraźnie wykorzystuje akceleratory Optical Flow w układach GPU z serii RTX 40, DLSS 3.5 RR będzie działać na wszystkich kartach RTX.
DLSS 3.5 pojawi się tej jesieni w grach takich jak Cyberpunk 2077: Phantom Liberty, Portal z RTX oraz Alan Wake 2 i będzie obsługiwany na platformach takich jak Omniverse, Chaos Vantage i D5 Render.
