Llama 4, DeepSeek & the AI Copyright Wars—Dario Weighs In

Short German transcript excerpt discussing what data were used to train the SORA model. Speakers say the training data were either publicly accessible or licensed; platforms mentioned include YouTube, Facebook, and Instagram, though the speaker expresses uncertainty and declines to provide detailed specifics.
Questions this video answers
Speaker A: 'sie waren öffentlich zugänglich oder lizenziert' (they were publicly accessible or licensed).
YouTube, Facebook, and Instagram were mentioned, though Speaker A hedges uncertainty about them.
Chapters
Welche Daten wurden verwendet, um SORA zu trainieren? Wir haben öffentlich zugängliche Daten und lizenzierte Daten verwendet, also Videos auf YouTube, da bin ich mir nicht sicher. OK, Videos von Facebook, Instagram. Wenn sie öffentlich zugänglich wären, ja, öffentlich verfügbar, dann wären die Daten vielleicht da, aber ich bin mir nicht sicher. Ich bin mir da nicht sicher.
Was ist mit Shutterstock? Ich weiß, dass ihr mit denen einen Vertrag habt.
Ich werde jetzt nicht auf die Details der verwendeten Daten eingehen, aber sie waren öffentlich zugänglich oder lizenziert.
In diesem Video sehen wir uns einige Urheberrechtsverletzungsansprüche von OpenAI an. Dann schauen wir uns ein paar Neuigkeiten zu Lama 4 an und am Ende des Videos schauen wir uns den Brief von Dario an, dem CEO von Antropic. Beginnen wir also mit diesem Bericht der Financial Times, die berichtete, dass OpenAI angibt, Beweise dafür zu haben, dass das chinesische Unternehmen Deepseek sein Modell zum Trainieren verwendet hat. Sie behaupteten, Deepseek habe ihre API genutzt, um Daten zu sammeln, die anschließend für das Training von deepseak Modellen verwendet wurden. Sollte das der Fall sein, stellt dies einen Verstoß gegen die Nutzungsbedingungen von OpenAI dar, da OpenAI es nicht erlaubt, die Ausgaben seiner Modelle zu verwenden, um anschließend eigene modelle zu trainieren. OpenAI hat jedoch seine eigenen Probleme, wenn es um urheberrechtlich geschützte Daten geht. Die New York Times verklagt OpenAI wegen Urheberrechtsverletzungen, und das ist nicht das erste Mal. Es gab bereits viele verschiedene Fälle von Urheberrechtsverletzungen, aber das Sahnehäubchen ist, dass OpenAI sagt, es sei unmöglich, KI zu trainieren, ohne urheberrechtlich geschützte Werke kostenlos zu verwenden. Und dieses Argument haben sie dem britischen Parlament vorgelegt, um die kostenlose Nutzung urheberrechtlich geschützten Materials zu gestatten. Nun sind Urheberrechtsansprüche für KI generiertes Material äußerst schwer zu genehmigen, da das Copyright Office Teil 2 des Berichts über künstliche Intelligenz veröffentlicht hat. Demnach muss die Hauptkomponente menschliche Kreativität sein, damit etwas urheberrechtlich geschützt werden kann. Wenn wir also ein menschliches Element verwenden und dann Kreativität durch den Einsatz eines KI Systems ausdrücken, können wir dieses Material immer noch urheberrechtlich schützen. Eine Ausweitung der Produktion auf Materialien, deren Ausdruckselemente von einer Maschine bestimmt werden, würde die Verfassungsmäßigen Ziele des Urheberrechts eher untergraben als fördern. Alles, was allein von einem KI System generiert wird, ist möglicherweise nicht urheberrechtlich geschützt. Glauben Sie mir das jetzt aber nicht einfach so konsultieren Sie einen Anwalt. Einerseits sagen Microsoft und OpenAI, dass sie im letzten Jahr Konten untersucht haben, bei denen es sich vermutlich um Deepseaks handelte, die die API von OpenAI verwendeten und den Zugriff wegen des Verdachts auf Destillation gesperrt haben, was gegen ihre Nutzungsbedingungen verstieß. Andererseits hostet Microsoft jetzt Deepseek R und es wird auf Azure I, Foundry und GitHub verfügbar sein. Das Schöne an Open Source ist, dass jeder davon profitieren wird, unabhängig davon, wer es entwickelt hat. Ein kurzes Beispiel für Start ups, die deepseek R verwenden, ist Perplexity. Sie haben vor kurzem R integriert und und die Ergebnisse sind wirklich großartig. Meiner eigenen Erfahrung nach ist die Suchfunktion von R wahrscheinlich eine der besten, die ich bisher bei einem LLM kennengelernt habe. Da wir gerade von Open Source sprechen, gibt es Neuigkeiten zu Lama 4. Mark Zuckerberg hat das auf Facebook gepostet. Er sagt, dies wäre das Jahr der KI. Ich erwarte, dass Meta Eye im Jahr 2025 der führende Assistent sein wird, der mehr als eine Milliarde menschen dient. Lama 4 wird zum führenden, hochmodernen Modell und wir werden einen KI Ingenieur entwickeln, der immer mehr Code für unsere Forschung und Entwicklung beisteuert. Um dies zu ermöglichen, baut Meta ein Rechenzentrum mit einer Kapazität von über 2 Gigawatt, das so groß ist, dass es einen Großteil von Manhattan abdecken würde. Wenn Sie also immer noch darüber nachdenken, in Nvidia zu investieren, denke ich, dass dies immer noch eine gute Gelegenheit ist, wenn auch keine Finanzberatung. Mark hat es tatsächlich während der Telefonkonferenz zu den Quartalsergebnissen der Meta Plattform angesprochen. Er hat über viele Dinge gesprochen, aber wie die meisten meiner Zuhörer interessiere ich mich speziell für Lama 4. Hier ist, was er gesagt Lama 4 wird aktiv trainiert, Lama 4 Mini hat das Prä Training abgeschlossen und es wird Schlussfolgerungsmodelle geben und größere Modelle werden sehr gut verarbeitet. Sie werden native Multimodellmodelle sein und unter einem Omnimodell laufen. Sie sollten also verschiedene Arten von Eingaben und Ausgaben erwarten, einschließlich Text und Bildern. Und diese Modelle werden über Agentenfunktionen verfügen. Es scheint, als würden sie diese wirklich für reale Anwendungen entwickeln. Er erwähnte auch, dass es in Lama 4 Schlussfolgerungsfunktionen geben wird. Es sind also wirklich aufregende Tage. Bevor ich mir Darios Brief ansehe, möchte ich dieses neue GitHub Projekt namens Tiny Aero hervorheben. Es ist ein Open Source Projekt zur Reproduktion von Deepseek R bei Countdown und Multiplikationsaufgaben. Es wendet im Grunde die gleichen Trainingstechniken auf ein viel kleineres Modell an und entwickelt durch die Techniken des bestärkenden Lernens eine Gedankenkette. Es ist ein sehr interessantes Projekt. Sie können dies mit ihren eigenen Daten ausführen und das Ganze wurde für unter 30 US Dollar trainiert. Es lohnt sich also auf jeden Fall, es sich anzusehen. Im letzten Teil des Videos möchte ich euch einen kurzen Blick auf den Blogbeitrag von Dario werfen, dem CEO von Antropic, über Deep Seek und Exportkontrollen. Der Blogbeitrag besteht aus zwei Teilen. Im einen geht es speziell um deepseak, im anderen um Exportkontrollen. Das ist kein Thema, das mich interessiert und auf das ich mich nicht spezialisiert habe, daher werde ich das jetzt nicht kommentieren. Aber die Teile, die sich auf deepseak beziehen, sind sehr interessant und zeigen wirklich, welche Auswirkungen Deep Seek auf Unternehmen in den USA hat. Denn wenn man bedenkt, dass fast alle entweder Politiker sind, die an Start ups beteiligt sind oder Forschungslabore wie OpenAI leiten, musste sich jetzt auch Antropic zu Deep Seek äußern. Das hat es in diesem Umfang noch nie gegeben. Selbst als Mistrol sein ursprüngliches Modell veröffentlichte, das mit Chat GPT vergleichbar war, hat niemand wirklich etwas dazu gesagt. Das zeigt, wie wichtig Deep Seek mittlerweile ist. In diesem Artikel spricht er über drei Dynamiken der deren Lektüre ich jedem wärmstens ans Herz lege, da er die Dinge wirklich ins rechte Licht rückt. Das erste, was er erwähnte, war der Skalierungsverlust. Im Grunde genommen geht es darum, dass bei sonst gleichen Bedingungen die Skalierung des Trainings von KI Systemen zu reibungslosen, besseren Ergebnissen bei einer Reihe nativer Aufgaben in allen Bereichen führt. Die Idee dahinter ist, dass man die Intelligenz dieser Modelle verbessern oder steigern kann, wenn man mehr Rechenleistung verwendet und sie länger mit qualitativ hochwertigen Daten trainiert.










