Tworzenie obrazów AI 30 razy szybciej: Dall-E 3 i Stable Diffusion pozostawione w tyle

Magia Dall-E lub stabilnej dyfuzji powinna być już Państwu znana. Z krótkiego opisu sceny, treści i być może jednego lub dwóch komentarzy wyłania się mniej lub bardziej realistyczny obraz. Na szczęście zwykle można go rozpoznać jako dzieło wygenerowane przez sztuczną inteligencję, ale służy też swojemu celowi: nie muszę umieszczać psa na desce surfingowej ani lisa w skafandrze astronauty. Wystarczy kilka kliknięć, by uzyskać pożądany obraz.

W tle jest to jednak intensywny obliczeniowo proces składający się z wielu iteracji, ciągłych powtórzeń algorytmu, aby w końcu uzyskać pożądany obraz. Naukowcom z MIT udało się jednak zrezygnować z tych licznych etapów pośrednich. Zamiast tego opisywana scena tworzona jest dokładnie po jednym kroku.

Umożliwia to osiągnięcie porównywalnego rezultatu przy jednoczesnym znacznym zmniejszeniu niezbędnej mocy obliczeniowej lub czasu oczekiwania. Jednocześnie, mniejsza moc jest wymagana do napędzania systemu zwanego "Distribution Matching Distillation (DMD)".

Mówiąc bardziej obrazowo: obrazy używane do szkolenia są dzielone na grubsze obszary. Określa to przybliżoną kompozycję obrazu w zależności od obiektu. Ponadto analizowane jest prawdopodobieństwo różnych elementów obrazu w celu uzyskania spójnej sceny na końcu.

Ostatecznie, szczegółowe informacje i złożoność są redukowane, dzięki czemu generator obrazu staje się po prostu szybszy. Zamiast 2 do 3 sekund na obraz, ten sam sprzęt zajmuje około 100 milisekund - jedną trzydziestą.

Jeśli przyjrzeć się bliżej obrazom, redukcja szczegółów jest wyraźnie widoczna. Tła są lekko rozmyte, a elementy obrazu mogą się powtarzać. Motywy nadal mogą wyglądać znacznie lepiej w niektórych przypadkach i nadal są łatwiejsze do rozpoznania jako ogólne dzieło sztucznej inteligencji, a przynajmniej sztucznej. Kolejny pozytywny efekt.

Oprócz lisiego astronauty, wiele innych przykładów modelu DMD można znaleźć tutaj.