Runways Text To Video "GEN 4" Actually Changes The Industry!

Runway gen 4 ist da und bringt eine Reihe verschiedener Innovationen mit sich, die es wirklich nützlich machen. Ich denke, wir haben diese Woche wahrscheinlich den Wendepunkt in Sachen KI Kreativität erreicht. Denn obwohl wir zwar Produkte wie Sora und andere Videomodelle gesehen haben, bietet dieses Modell einige wichtige Funktionen, die nicht nur der Videogenerierung dienen, sondern auch für die Filmproduktion unerlässlich sind und es von anderen abheben. In diesem Video werde ich detailliert darauf eingehen, was dieses spezielle Runway Modell Gen so viel besser macht als die Konkurrenz und warum es nicht nur ein Hype ist, sondern ein grundlegendes Werkzeug, das viele Kreative nutzen werden. Wenn man sich einige der Aufnahmen hier ansieht, erkennt man, dass viele dieser Szenen wirklich wunderschön sind. Es scheinen sich hier wirklich konsistente Szenen abzuspielen und ich sehe nicht so viel Verleumdung, wie ich es von anderen Clips gewohnt bin. Sehen wir uns also an, was das wirklich beeindruckend macht. Denn ehrlich gesagt glaube ich, dass viele Leute übersehen werden, warum dieses Modell wirklich alles verändert hat. Einer der entscheidenden Faktoren für mich ich würde nicht sagen, dass ich vorher in der Filmbranche gearbeitet habe, aber ich habe definitiv schon einige Kurzfilme gedreht ist, dass konsistente Charaktere ein zentrales Problem sind, wenn es darum geht, etwas Sinnvolles zzu schaffen. Und Runway Gen 4 führt konsistente Charaktere in Videos ein. Falls Sie nicht wissen, warum das so wichtig Für Kurzfilme, Kinofilme oder Werbespots braucht man einen konsistenten Charakter, den die Zuschauer wiedererkennen. Und das war uns bisher nicht möglich. Einer der anfänglichen Nachteile von Sora war, dass die Künstler das Modell mehrmals aufrufen mussten. Ich glaube, sie mussten das Modell etwa 20 mal aufrufen, um eine brauchbare Aufnahme zu erhalten, einfach weil es jedes Mal eine andere Person war. Sie nutzten also im Grunde nur das generative Modell, um zu sehen, ob sie jedes Mal eine ähnliche Person erhalten konnten. Und das war für sie frustrierend. Denken Sie noch einmal darüber nach. Das spart enorm viel Zeit und das ist die Grundlage des Geschichtenerzählens. In jeder Geschichte verfolgen wir immer, was die Figur tut. Es geht nicht nur um ein paar coole Szenen, die nur animiert werden, um gut auszusehen. Es geht immer darum, einer Figur auf ihrer Reise zu folgen, herauszufinden, was sie vorhat, welche Grenzen sie hat, was sie erforscht, die Rückblenden, die zukünftigen Versionen. Das ist alles Teil des Story Prozesses und wirklich wichtig. Und nicht nur das, es spart tatsächlich Zeit. Sie können dieselbe Figur mit sehr spezifischen Beschreibungen erneut aufrufen. Bildanker können als Stilreferenzen verwendet werden. Das wird bahnbrechend sein, denn Sie werden wahrscheinlich sehen, wie Leute dies in ihren Arbeitsabläufen nutzen, weil sie nun etwas erstellen können, das die Leute wirklich nutzen können. Früher war es vielleicht für die Off Szene in einem kreativen Film gedacht, aber jetzt werden meiner Meinung nach viel mehr Agenturen und Einzelpersonen damit experimentieren und es ist das erste Modell, das wir veröffentlichen, das Weltkonsens. Das bedeutet, dass Sie konsistente Welten mit konsistenten Umgebungen, Objekten, Orten und Figuren erstellen können. Wenn Ihnen das gelingt, können Sie längere narrative Inhalte mit echter Kontinuität erzählen. Sie können dieselben Figuren, dieselben Objekte und dieselben Orte in verschiedenen Szenarien generieren, so dass Sie Ihre Szenen immer wieder gezielt gestalten und Ihre Geschichten erzählen können.

Es hat sehr viel Spaß gemacht, Gen in den letzten Monaten zu entwerfen und zu entwickeln und zu sehen, was das Modell wirklich kann. Wir glauben, dass Gen 4 als kreatives Werkzeug am besten in den Geschichten demonstriert wird, die mit dem Modell erzählt werden können.

Wir haben außerdem eine Reihe von Kurzfilmen und Experimenten zusammengestellt, um zu zeigen, was mit Game 4 möglich ist. Darüber hinaus gibt es auch Objektkonsistenz. Wie bereits erwähnt, geht es nicht nur um die Charakterkonsistenz, sondern auch um die Objektkonsistenz. Ob es sich um ein Auto oder einen festen Gegenstand handelt, den man herumwerfen muss, alles wird jetzt im Film konsistent sein. Wie bereits erwähnt, ist dies etwas, das wir wirklich brauchen, wenn wir Grenzen überschreiten wollen. Ein Video Generierungsmodell zu entwickeln, das dieses Objekt in allen Videos gleich hält, ist tatsächlich ziemlich schwierig und ich bin überrascht, dass Sie es geschafft haben. Wissen Sie, eines der Dinge, mit denen Sie bei der Verwendung dieser Modelle wirklich zu kämpfen hatten? Ich weiß, manche Leute schauen sich nur die Tools an, sie nutzen sie nicht wirklich, aber man wird schnell merken, dass ohne Charakter und Objektkonsistenz der Spaßfaktor sehr schnell verloren geht, weil man jedes Mal, wenn man auf Generieren klickt, merkt, dass alles irgendwie zufällig ist. Wenn sich Menschen, Objekte und Umgebungen in jedem Bild verändern, wirkt das sofort künstlich. Menschen haben ein sehr gutes Gespür dafür, was echt und was künstlich ist. Und wenn man sieht, wie sich ein Objekt in jedem neuen Bild subtil verändert, erkennt man, dass es von KI generiert wird. Eine Tasse, die sich jede Sekunde in eine andere verwandelt, oder ein Auto, das mitten in der Aufnahme seine Form oder Farbe ändert, zerstören den Realismus und Menschen bemerken diese Inkonsistenzen nur schwer. In der Realanimation erwarten wir, dass jede einzelne Figur jedes Requisit gleich bleibt, es sei denn, etwas verändert sie. Wenn wir also keine Objekte haben können, die keine Konsistenz waren, dann lässt sich dieses Modell nicht wirklich nutzen. Das ist also, wie gesagt, extrem wichtig für die Entwicklung. Deshalb habe ich gesagt, dass viele dieses Update vermissen werden. Sie werden erkennen, dass es etwas ist, das man unbedingt braucht. Aber wie ich schon sagte, viele werden es nicht verpassen, weil es keine Schlagzeilen macht. Aber im Grunde werden sie feststellen, dass wir viel mehr interessante Videos bekommen und viele dieser konsistenten Charaktere viel realistischer aussehen. Sie denken wow, wann hatten wir denn diese Woche oder diesen Tag, an dem wir konsistente Charaktere und Objektkonsistenz mit einem Modell hatten, das die Welt wirklich versteht. Und mit Gen 4 können Sie das Objekt tatsächlich durch die Szene führen.

Sie sehen also, wir geben dem Stinktier zwei Punkte. In diesem Fall wollten wir, dass das Stinktier zuerst in diese Richtung geht und dann zurückkehrt, um den Eindruck zu erwecken, als suche es etwas. Man sieht, dass die ganze Szene über dieselbe Figur mit demselben Licht, derselben Stimmung und denselben Bedingungen spielt. Und hier stellen wir die Figur den Protagonisten vor, richtig? Ja. Wie bei jeder großartigen Animation erkennt man auch hier viel Ausdruckskraft darin, wie die Figuren nicht nur anhand des Modells gestaltet sind, sondern sich auch innerhalb der Szenen bewegen. Okay, was wir gerade gesehen haben, war ein wirklich großartiges Beispiel für Charakterkonsistenz. Dieselben Figuren werden in verschiedenen Szenen bei unterschiedlichen Lichtverhältnissen und mit unterschiedlichen Emotionen und Handlungen dargestellt. Man kann aber auch einfach Objekte aus der realen Welt nehmen. Wir haben hier ein kleines Spielzeug. Wir machen ein Foto davon und dann kann man dieses Foto in Gen importieren und es dann in jede beliebige Umgebung bringen.

Ich mache hier eine kleine Demo. Ich mache einfach mal wieder ein Foto von diesem Objekt hier, nur mit meinem Handy. Sie sehen es hier. Das mache ich und dann zeige ich es in verschiedenen Umgebungen. Das Bild ziehe ich einfach als referenz in Gen 4. Außerdem verwende ich dieses Foto von New York, das ich vor ein paar Tagen aufgenommen habe. Jetzt gebe ich die gewünschte Komposition ein. In diesem Fall soll dieses Holzspielzeug vielleicht am Bürgersteig dieser Straße in New York City lehnen oder daneben stehen. Jens 4 kombiniert diese Referenzen und los geht's. Wir haben vier Ausgangsbilder, die wir durchsuchen und auswählen können. Das hier gefällt mir. Es ist animiert und vielleicht möchte ich, dass Leute vor das Spielzeug treten. Und jetzt sehen sie, wie wir die benötigte Bewegung und Animation sowohl mit dem Spielzeug als auch mit der CD als Referenz erzeugen. Und das ist natürlich an jedem beliebigen Ort möglich. Wir können das Spielzeug beispielsweise in die Berge bringen oder in der Wüste vergraben. Im Grunde können sie damit machen, was Sie wollen. Das ist wohl die größte Veränderung und ich denke, viele werden das wieder einmal nicht erkennen. Es handelt sich um IV Effekte und was sie eigentlich GV Effekte nennen. Wenn Sie also nicht verstehen, was visuelle Effekte sind, das sind die Nachwirkungen bestimmter Szenen, die Sie sonst für real gehalten hätten. VFX ist oft so gut, dass Sie gar nicht merken, dass das, was Sie sehen, tatsächlich VFX enthält, wie ein VFX Künstler. Gute VFX sieht man nicht wirklich. Das Problem mit visuellen Effekten ist jedoch, dass sie wahrscheinlich zu den zeitintensivsten Aufgaben überhaupt gehören, die Szenen, die in großen Hollywood Filmen entstehen müssen. VFX ist nicht nur zeitaufwendig, sondern kostet oft Millionen von Dollar. Animationsstudios zahlen Millionen von Dollar für Serverfarmen, um GPUs zu mieten, damit sie alles so schnell wie möglich rendern können. VFX erfordert in der Regel riesige Teams, die Bild für Bild arbeiten. Dank KI lassen sich komplexe Aufgaben wie Rotoskopie, Objektentfernung und Bewegungsverfolgung automatisieren. Was früher mühsame Handarbeit war, kann in Minuten oder in Echtzeit erledigt werden. Anstatt 40 Minuten für die Bearbeitung einer Einstellung zu benötigen, erledigt Runway dies nahezu sofort. Und nach wie vor sind die Kosten einer der größten Faktoren, auf die sich diese Unternehmen konzentrieren. Vielleicht sind sie eine Agentur oder ein Kurzfilmstudio und möchten nicht Millionen für visuelle Effekte ausgeben. Mit einem Tool wie Runway können sie die Qualität der Produktion verbessern. Sicherlich haben einige von Ihnen schon einmal eine Fernsehsendung gesehen und Wow, die visuellen Effekte in dieser Aufnahme sind einfach nur furchtbar. Und Leute, das liegt nicht daran, dass die VFX Künstler schlecht sind. Oft liegt es an der Zeit. Erstens haben sie vielleicht keine Zeit mehr, denn wie ich schon sagte, ist es zeitaufwendig, weil es realistisch aussehen muss. Und zweitens fehlt ihnen vielleicht das Budget, um gute Leute zu bezahlen, damit die visuellen Effekte wirklich realistisch aussehen. Sie bezahlen einfach jemanden, der sehr billig ist. Und natürlich wird es nie gut werden, wenn man jemanden billig und schnell bezahlt, damit etwas erledigt wird. Das ist wirklich gut, denn wenn KI und ein generatives Modell verwendet werden, kann man schnell verschiedene Looks testen, Umgebungen austauschen, die Beleuchtung anpassen und muss nicht neu drehen oder Sets in D umbauen. Das macht den kreativen Prozess viel unterhaltsamer, schneller und experimenteller. Wenn man also von einem Theaterstück zu einem Feuerwerk wechseln möchte, ist das möglich? Ich denke, in ein paar Jahren wird das wahrscheinlich der letzte Schrei sein. Ich denke, in ein paar Jahren werden AIV Effekte dort normal sein. Ich werde wahrscheinlich einen Clip haben, in dem Sie darüber sprechen. Aber das ist definitiv eines der größten Dinge, denn es wird die Branche auf eine noch nie dagewesene Weise revolutionieren. Vorausgesetzt, man kann es tatsächlich hochskalieren und die gewünschte Qualität erreichen. Denn wie ich schon sagte, das ist nicht nur sehr teuer, sondern auch sehr zeitaufwendig. Und dann ist da noch etwas anderes. Okay? Und ich finde, das war ziemlich innovativ. Man kann mehrere Aufnahmewinkel haben. Nehmen wir an, man möchte eine Person aufnehmen, eine Seitenansicht, eine Vogelperspektive. Das ist wirklich wichtig, um dynamische Szenen mit verschiedenen Kamerawinkeln zu erstellen, weil man so viele Kamerawinkel hat, dass man sie einfach nicht wahrnimmt. Wenn man sich zum Beispiel eine Fernsehsendung ansieht, merkt man gar nicht, wie viele verschiedene dynamische Kamerawinkel es gibt. Da gibt es die Nahaufnahme, die Aufnahme von hinten, die Draufsicht, die Vogelperspektive, einfach viele verschiedene Einstellungen, die eine wirklich dynamische Szene ergeben. Und da dies nun tatsächlich auf dem Laufsteg möglich ist, eröffnet sich ein völlig neues Niveau des kreativen Ausdrucks. Und natürlich glaube ich nicht, dass die Leute bei der Charakterkonsistenz oft merken werden, was sie als KI sehen, weil es so realistisch ist. Eines der Dinge, auf die ich besonders eingehen möchte, ist natürlich die Physik. Sie sprechen davon, dass sie die Physik Simulation verbessert haben und ich glaube ihnen, weil ich mich an die Vorgängerversionen dieses Modells und die Vorgängerversionen dieses Modells erinnere. Wenn man sich einige der Flüssigkeitssimulationen ansieht, sehen sie im Vergleich zu anderen Modellen relativ realistisch aus. Ich weiß also nicht, welches Trainingsverfahren oder welche Daten verwendet wurden. Vielleicht haben sie einfach mit verschiedenen Flüssigkeitssimulationen trainiert. Es ist durchaus möglich, dass sie das oder Feuer oder Wassersimulationen verwendet haben. Wahrscheinlich haben sie so etwas tatsächlich gemacht. Sie könnten also wahrscheinlich die besten Effekte erzielen. Aber das ist wirklich wichtig, wenn wir etwas haben wollen, das realistisch aussieht. Und Physik ist wirklich sehr, sehr komplex. Ich möchte nicht unterschätzen, wie schwierig es ist, ein Modell mit korrekten Physik zu erstellen, denn das zeigt uns, dass das Modell auf der Realität basiert und oft stellen wir fest, dass dies bei diesen Modellen nicht der Fall ist. Ich werde jetzt nicht auf alle Forschungsarbeiten eingehen, die sich mit Physik und so weiter befassen, aber es gibt eine Arbeit, die meiner Meinung nach die meisten Leute nicht gesehen haben und an der ich gerne mehr Modelle als Benchmark sehen würde. Es geht um Physics IQ und dort geht es um die Verstehen generative Videomodelle physikalische Prinzipien und beim letzten Test erreichten die modernsten modelle nur etwa 20 Prozent. Ich würde gerne sehen, was dieses Modell leistet. Im Grunde genommen wird ein Video von einem realen Ereignis in der realen Welt, der realen physischen Welt aufgenommen, ein Bild eingefügt und erklärt, was passiert. Anschließend wird geprüft, ob die Videomodelle das tatsächliche Ereignis so darstellen können, wie es im wirklichen Leben stattfinden würde und in 20 Prozent der Fälle gelingt dies den vorherigen Modellen. Daher würde ich gerne sehen, wie dieses Modell in diesem Benchmark abschneidet. Dank Curious Refuge können wir sehen, wie es im Vergleich zu anderen Modellen der Videogenerierung abschneidet. Lum 2 sieht hier tatsächlich überraschend gut aus. Ich hatte damit nicht viel Erfolg. Die Wiedergabe sieht hier nicht so toll aus, aber ich denke, das ist nur ein Szenario. Daher muss ich sagen, dass sie dieses Modell unbedingt selbst testen sollten. Natürlich wird es verschiedene Szenen und Stile geben, die möglicherweise effektiver sind als andere. Wir sehen Hier die Gen 4 im Vergleich zu den anderen. Es sieht zwar am besten aus, aber ich denke, Wenn Sie Gen 4 verwenden, werden Sie definitiv Filmemacher sein, denn dafür ist es ja konzipiert. Professionelles, hochwertiges Filmen, nicht so ein verrückter Stil wie VoiceOver, Kling und all diese Key Bildgeneratoren. Natürlich werde ich sie alle testen, sobald sie verfügbar sind, aber das ist etwas, das ich mir jetzt ansehen werde. Ich wollte euch hier unbedingt meinen Lieblingsclip zeigen, den habe ich auf Twitter gesehen. Ich verlinke ihn, weil er einfach super kreativ war und mich, ich weiß nicht warum, einfach fasziniert hat. Deshalb dachte ich, ich teile ihn, weil er zeigt, was man mit KI alles machen kann. Ich bin mir nicht sicher, wer das getwittert hat, aber ich verlinke ihn. Insgesamt denke ich, dass das die Dinge wahrscheinlich stark verändern wird. Es war definitiv eine verrückte Woche im KI Bereich. Und wenn euch dieses Video gefallen hat, lasst mich wissen, was euch gefallen hat. Wir sehen uns im nächsten Video.