Adobe integruje Firefly Video i modele sztucznej inteligencji innych firm z Premiere, umożliwiając montażystom dodawanie do filmów treści generowanych przez sztuczną inteligencję

Firma Adobe zintegrowała generatywną sztuczną inteligencję z Adobe Premiere, aby umożliwić montażystom szybkie dodawanie do filmów treści tworzonych przez sztuczną inteligencję. Modele AI obejmują Adobe Firefly Video, a także modele innych firm, takie jak Pika i Sora. Adobe planuje umożliwić dalszą integrację innych firm poprzez stworzenie standardu wtyczek AI.

Generatywna sztuczna inteligencja szybko się rozwinęła i obecnie modele AI, takie jak Sora mogą szybko tworzyć przekonujące, krótkie klipy wideo, które zawierają realistycznych aktorów i sceny oparte na podpowiedziach tekstowych. Chociaż nie istnieje technologia pozwalająca na stworzenie przebojowego filmu na podstawie scenariusza, obecna technologia sztucznej inteligencji jest wystarczająco przydatna, aby pomóc montażystom.

Adobe zademonstrowało trzy główne sposoby, w jakie sztuczna inteligencja może pomóc, a czytelnicy, którzy chcą wskoczyć do Adobe Premiere, mogą dziś kupić subskrypcję wraz z oficjalnym podręcznikiem szkoleniowym.

Pierwszym z nich jest tworzenie nowych ujęć B-roll, które pomagają w przejściach między scenami lub uzupełniają brakujące ujęcia. Podczas gdy duże produkcje filmowe ściśle przestrzegają szczegółowej listy ujęć, mniejsze produkcje mogą tego nie robić, więc krytyczne ujęcie może zostać pominięte. Zamiast wydawać więcej pieniędzy na powrót do lokalizacji w celu ponownego nakręcenia brakującego ujęcia, sztuczna inteligencja, taka jak Sora, może tworzyć nowe ujęcia na podstawie podpowiedzi tekstowych. Wraz z postępem technologicznym, zdolność sztucznej inteligencji do tworzenia dobrze dopasowanych ujęć będzie się nadal poprawiać.

Drugim jest dodawanie i usuwanie obiektów ze scen. Tradycyjnie artyści efektów specjalnych musieliby ręcznie maskować, śledzić i dodawać lub usuwać obiekty. W przypadku prostego obiektu, takiego jak niechciany znak lub zwierzę, może to zająć wiele godzin, ponieważ tworzenie zastępczego tła w aplikacji do edycji 3D, takiej jak Maya, lub malowanie w aplikacji 2D, takiej jak Photoshop, zajmuje dużo czasu. Adobe Firefly Video upraszcza to zadanie, wykorzystując szybkość sztucznej inteligencji do automatycznego dodawania lub zastępowania obiektów, jednocześnie płynnie zastępując luki w tle.

Trzecim prostszym zadaniem jest wydłużenie filmu o kilka klatek lub sekund. Zazwyczaj podczas kręcenia filmu scena jest zatrzymywana na dłużej niż kilka sekund, dzięki czemu montażyści mogą dokonywać czystych cięć między scenami. Ale w niektórych przypadkach scena jest zbyt krótka, więc przejście między dwiema scenami staje się niezręczne, ponieważ jest zbyt szybkie. Firefly AI może tworzyć zupełnie nowe klatki, aby wydłużyć klip w realistyczny, płynny sposób.

Jednym z potencjalnych problemów związanych z integracją sztucznej inteligencji Adobe jest to, że zamierzają oni oznaczać wszystkie treści generowane przez sztuczną inteligencję za pomocą Content Credentials z informacjami o tym, jak zostały wykonane i jakie modele sztucznej inteligencji zostały użyte. Otwiera to obawy o prywatność, ponieważ tajemnice handlowe artysty mogą zostać ujawnione, potencjalnie wraz z danymi osobowymi lub zastrzeżonymi.