Meta prezentuje Movie Gen AI do tworzenia filmów i muzyki za pomocą podpowiedzi tekstowych, aby pomóc filmowcom zaoszczędzić czas i pieniądze

Meta zaprezentowała Movie Gen, sztuczną inteligencję, która może tworzyć i edytować filmy z muzyką i efektami dźwiękowymi za pomocą podpowiedzi tekstowych. Sztuczna inteligencja jest najnowocześniejsza pod względem możliwości generowania wideo i audio, z funkcjami i realizmem, których nie może dorównać żadna inna sztuczna inteligencja.

Movie Gen to model sztucznej inteligencji o 30 miliardach parametrów, zdolny do generowania 16-sekundowych klipów HD na podstawie poleceń tekstowych. Sztuczna inteligencja została wstępnie przeszkolona na miliony obrazów i 100 milionów filmów. Filmy zostały wybrane ze znacznie większej kolekcji w celu poprawy jakości treningu. Movie Gen Audio to model sztucznej inteligencji o 13 miliardach parametrów, zdolny do generowania efektów dźwiękowych i muzyki 48 kHz na podstawie podpowiedzi tekstowych. Sztuczna inteligencja została wstępnie wytrenowana na milionie godzin dźwięku. Do dostrojenia sztucznej inteligencji wykorzystano opinie ludzi oraz wysokiej jakości przykłady audio i wideo.

Biorąc pod uwagę zdjęcie osoby i opis tej osoby w scenie, sztuczna inteligencja może wygenerować realistyczne wideo animowanego aktora i sceny. Sztuczna inteligencja została przeszkolona w zakresie 22 rodzajów ruchu i pozycji kamery, takich jak szeroki kąt, przechylenie w górę i ciężarówka w lewo, umożliwiając filmowcom określenie wirtualnego położenia kamery i ruchów, tak jak w przypadku prawdziwego ujęcia. Filmowcy, którzy nalegają na kręcenie filmów z prawdziwymi aktorami i planami, mogą użyć najwyższej klasy lustrzanki cyfrowej , takiej jak najnowszy Nikon Z6III na Amazon. Wyjątkowo, Movie Gen ma możliwość dokładnej i realistycznej edycji filmów. Inne AI nie są obecnie w stanie tworzyć tak dobrej edycji jak Movie Gen Edit.

Podpowiedzi tekstowe mogą również dodawać profesjonalnie brzmiący dźwięk do klipów, w tym efekty dźwiękowe i partytury muzyczne. Sztuczna inteligencja może tworzyć muzykę o długości kilku minut, ale jest ograniczona do 16-sekundowych klipów wideo ze względu na ogromne zapotrzebowanie na zasoby komputerowe. Dźwięk podąża za rytmami w scenie i może generować dźwięki poza ekranem, takie jak ćwierkanie ptaków w lesie, w oparciu o kontekst sceny.

Meta pracuje nad dodaniem zabezpieczeń do Movie Gen i udostępni sztuczną inteligencję, gdy poczuje się pewna jej bezpieczeństwa.