OpenAI'S GPT-4 Finally Gets IMAGES (Now RELEASED!)

Wie viele von euch vielleicht wissen, haben wir gestern ein Video darüber gemacht, wie GPT-4 endlich Bilder hinzugefügt hat. Aus irgendeinem Grund haben einige von euch gesagt, dass das nicht im Video war, aber wir haben diesen Abschnitt tatsächlich aufgenommen. Heute werden wir viel mehr über diesen Abschnitt sprechen. Eines müsst ihr Wir werden gleich über die Vollversion von GPT Bing sprechen, die bereits vor drei Monaten am 14. März 2023 angekündigt wurde, als wir den GPT 4 Entwickler Livestream hatten. Falls ihr diesen Livestream nicht kennt, in diesem Livestream haben wir eine Demo aus erster Hand gesehen, wie GPT 4 mit Bildern funktioniert. Viele von euch kennen und verwenden GPT vielleicht, aber ihr müsst wissen, dass Bilder eines der größeren Features waren, das hinzugefügt werden sollte. Aber vor kurzem wurde GPT-4 mit Bildern langsam für einige Nutzer im Internet eingeführt und was wir bisher in Bezug auf die Nutzerdemonstrationen in Bezug auf die Bildfunktionen gesehen haben, ist ziemlich schockierend. Wichtig zu wissen ist, dass die Einführung dieser Funktion definitiv sehr, sehr langsam erfolgt. Mit der Zeit werden wir aber wahrscheinlich die Vollversion erhalten. Kommen wir zunächst zur genauen Ankündigung. Wir haben es mit visuellen Eingaben bei Bing zu tun. Bedenken Sie bitte, dass dies nicht dasselbe ist wie die Bilderstellung. Bei der Bilderstellung beauftragen Sie Bing, etwas für Sie zu erstellen. Anschließen verwendet es Dari oder eine andere Key Software, die es verwenden möchte, und erstellt daraus ein Bild. Das ist hier nicht das Thema. Wir sprechen hier von etwas, das Microsoft in den letzten zwei Wochen für etwa der Nutzer eingeführt hat. Und genau darum geht es. Hier sehen wir uns nun einige weitere Beispiele dafür an und wie das genau funktioniert. Wenn Sie Bing gerade verwenden und testen möchten, ob Sie über diese Funktion verfügen, müssen Sie nur Ihren Internetbrowser öffnen und dann den Bing Chat aufrufen. Sobald der Bing Chat in Ihrem Textfeld geöffnet ist, müssen Sie prüfen, ob Sie über dieses spezielle Symbol verfügen. Wenn Sie dieses spezielle Symbol hier nicht haben, bedeutet dies, dass Sie derzeit keinen Zugriff auf GBT mit visueller Eingabe haben. Wenn Sie Zugriff haben, müssen Sie nur auf diese Schaltfläche klicken. Dann wird dieses Feld angezeigt. Hier können Sie entweder ein Bild hinzufügen, von einem Gerät hochladen oder ein Foto aufnehmen. Das ist etwas, das viele Leute nicht einmal wussten. Im Moment sind wir uns nicht sicher, wie dies eingeführt werden soll. Aber wir wissen, dass es langsam eingeführt zu werden scheint. Und falls Sie sich fragen, ob dies tatsächlich mit GPT 4 möglich ist, nun, GPT 4 ist derzeit tatsächlich in Bing vorhanden. Nachdem Sie nun wissen, wie Sie visuelle Eingaben mit GPT-4 verwenden können, wenn Sie tatsächlich Zugriff darauf haben, werfen wir einen Blick auf einige Benutzerbeispiele. Denn wenn Sie, wie ich zu den 99 Prozent der Nutzer gehören, die leider keinen Zugriff auf diese Software haben, dann schauen wir uns doch einmal an, was die Nutzer getan haben und was sie damit alles machen können. Eine der ersten interessanten Möglichkeiten, die wir durch Nutzereingaben aus der Community gesehen haben, war die eines Twitter Nutzers namens Ethan Mullig. Diese Person hat sich entschieden, ein Bild von Reddit zu verwenden, um die Möglichkeiten des Verständnisses mit GPT-4 zu zeigen. Und von dem, was wir hier sehen, scheint das definitiv ziemlich genau zu sein. Er hat sich also entschieden, ein Bild von Reddit zu verwenden. Das fragliche Bild ist ein einfaches Foto von jemandem, der versucht, ein Computerproblem zu lösen. Als Sie dieses Bild aufgenommen haben, haben Sie eine einfache Frage gestellt. Sie Was macht das Kabel, das ich in der Hand halte? Und natürlich antwortete Bing Und Sie hahaben einen schönen CPU Kühler mit einem Dragon Ball Z Aufkleber darauf. Das Kabel, das Sie in der Hand halten, sieht aus wie ein Lüfteranschluss. Es wird verwendet, um den Lüfter des Kühlers mit Strom zu versorgen und seine Geschwindigkeit zu regeln. Diese Antwort mag jetzt sehr banal und simpel erscheinen, aber es ist wichtig zu verstehen, dass diese Key nicht nur erkennen konnte, was das Kabel war, sondern auch, was das Bild des Aufklebers darstellte. Und das war ein kleines Detail, das viele Leute vielleicht übersehen haben. Und um ehrlich zu sein, habe ich wirklich nicht einmal erkannt, dass das ein Dragonball Z Aufkleber war, bis GPT-4 mich darauf aufmerksam machte. Und das ist nur eines von vielen Beispielen, die wir derzeit sehen, wenn GPT-4 mit Bildern verwendet wird. Später im Video werden wir einige der nützlicheren Anwendungen von GPT-4 mit Bildern besprechen, denn ehrlich gesagt gibt es eine ganze Menge. Dies war ein Beispiel, auf das wir uns im gestrigen Video zu vielen verschiedenen Dingen bezogen haben, die diese Woche im Bereich der künstlichen Intelligenz passiert sind. Im Wesentlichen ist dies, falls Sie es nicht wissen, ein Bild aus einer Aufnahme. Nun zu einem Captcha ist im Wesentlichen etwas, das verwendet wird, um Computerprogramme von echten Menschen zu trennen. Es handelt sich also um ein Bild, das Computer nur schwer lösen können, und nur ein menschliches Auge wäre in der Lage, entweder die Formen der Bilder oder die Objekte in dem Bild zu erkennen. In diesem Bild haben wir zwei Wörter, die ziemlich verzerrt sind und durch Linien durchzogen sind. Die beiden Wörter sind Overviews und Inquiry. Das Interessante Daran ist, dass GPT-4 nicht nur erkennt, dass es sich um ein Captcha handelt, sondern es auch schnell löst. Es sagt, das Bild, das sie mir geschickt haben, besteht aus zwei Wörtern, die in schwarzer Kursivschrift geschrieben sind. Die Wörter sind Overviews und Inquiry. Ist das ein Captcha Test? Wenn ja, kann ich Ihnen leider nicht weiterhelfen. Captchas sollen verhindern, dass automatisierte Bots wie ich auf bestimmte Websites oder Dienste zugreifen. Es tut mir leid für die Unannehmlichkeiten. Es zeigt nur, dass wir es hier mit etwas zu tun haben, das noch nicht fein abgestimmt ist, was wahrscheinlich der Grund dafür ist, dass es nur in einer sehr, sehr kleinen Anzahl von Fällen eingeführt wird. Und hier sieht man, dass das Interessante daran ist, dass es erkennen kann, dass es sich um eine Aufnahme handelt. Ich finde, das ist ein weiteres kleines Detail, das zeigt, wie gut das ist, Denn ein normales KI-System würde im Grunde nicht erkennen, was es da sieht. Es liest vielleicht nur die Wörter oder scheitert daran, aber das Verstehen des Kontexts ist definitiv eine Fähigkeit auf höherer Ebene. Ich habe es geschafft, einen anderen Reddit Nutzer namens M zu finden, der es geschafft hat, diese visuellen Eingaben in einem Subreddit zu posten. Sie haben also tatsächlich die verschiedenen Möglichkeiten der visuellen Eingabe von Bing demonstriert, und ehrlich gesagt, sie sind ziemlich schockierend. Und einige der Beispiele, die ich euch gleich zeigen werde, wurden in der Livestream Entwickler Demo von GPT 4 nicht gezeigt. Es wird euch also alle Möglichkeiten zeigen, die ihr mit einer Key habt, die Bilder betrachten und euch etwas sagen kann. Eine der ersten einfachen Möglichkeiten, die wir hier sehen, ist, sich als der beste Lehrer der Welt zu verhalten. Bringt mir das bitte bei. Ich habe wirklich Schwierigkeiten mit diesem Thema. Und das ist ein Bild eines Nephrons. Und Bing trifft es absolut richtig. Es beschreibt, was ein Nephron ist, dass es eine Grundeinheit der Niere ist, die Blut filtert und Urin produziert. Und es kann alles über dieses Bild einfach beschreiben. Es zeigt also, dass man weiß, wenn man ein Bild hat, von dem man nicht genau weiß, was man sieht. Bingo GPT-4 kann sofort erkennen, was auch immer man vor sich hat und liefert einem eine vereinfachte Erklärung, die einem helfen kann. Eine weitere Sache, die ich wirklich sehr interessant fand, war dies hier. Das war etwas, das sehr, sehr schwierig erschien. Aber wenn man mit dieser Art von Bildern vertraut ist oder wenn man eine KI ist, die mit Millionen von Bildern trainiert wurde, ist es eine Selbstverständlichkeit. Diese Frage Was ist das? Seien Sie sehr detailliert und erläutern Sie Ihre Argumentation dahinter. Und es heiß Basierend auf der Bildbeschreibung und den Suchergebnissen denke ich, dass dies der Querschnitt eines Gewebes ist. Und das scheint bei nähnlichen Referenzen und Google Bildern so zu sein. Und dann sieht man natürlich, dass dies tatsächlich detaillierter beschreibt, was dieses Querschnittsgewebebild für die potenziellen Anwendungen sein könnte und uns einfach eine wirklich, wirklich detaillierte Erklärung liefert. Stellen Sie sich vor, Sie finden diesen Computer auf der Festplatte von jemandem und möchten wissen, was zum Teufel Sie sind. Dies wird Ihnen die genauen Einzelheiten liefern. Interessant war auch, dass der Nutzer Bing aufforderte, bei weiteren Fragen zu Um welches Gewebe handelt es sich? Ihrer Meinung nach? Handeln Sie als erfahrenster Pathologe und identifizieren Sie es. Und wenn Sie glauben, dass diese Person an einer Krankheit leidet, beschreiben Sie Schritt für Schritt, wie Sie dieses Bild erhalten haben. Dann sagt GBT weiter, dass ich denke, dass dies der Querschnitt eines Muskelgewebes ist. Dann kann ich allein anhand dieses Bildes nicht mit Sicherheit sagen, ob diese Person gesund oder krank ist. Mögliche Anzeichen einer Krankheit wären jedoch Muskelgewebe, Entzündungen, Degeneration, Atrophie, Hypertrophie oder Tumore, was definitiv ziemlich unglaublich ist. Ich meine, die Anwendungsmöglichkeiten dafür werden wirklich unglaublich sein. Wir haben gesehen, was Leute mit Text allein machen konnten. Bei Bildern sieht die Sache nochmal ganz anders aus. Daher haben wir hier ein weiteres Beispiel. Dieses ist besonders wichtig, da es tatsächlich eine Änderung in der ursprünglichen Antwort von GPT 4 zeigt. Wir wissen zwar, dass an den Bildern von GPT 4 seit dem GPT Entwickler Livestream vor drei Monaten gearbeitet wurde, aber ich möchte, dass ihr aufmerksam zuhört, denn das wird uns eine Vorstellung davon geben, wie die Bilder von GPT-4 möglicherweise verändert wurden. Diese Person sagt zum Was ist so lustig an diesem Bild. Bitte beschreibe es Panel für Panel im Detail. Wenn ich mir dieses Bild aus erster Hand ansehe, habe ich es bereits gesehen. Daher kennen wir den Kontext bereits. Aber ich meine, es ist ziemlich selbsterklärend. Es ist lustig, weil es sich um einen VGA Anschluss handelt, der in einen Stecker gesteckt wird, wo man das eigentlich nicht machen sollte. Und es sieht ungewöhnlich aus. GPT-4 erkennt das jedoch nicht. Stattdessen gibt es tatsächlich an, was es sieht, aber es gibt nicht die ursprüngliche Antwort an Es heiß Das erste Paneel zeigt ein Telefon und ein an ein Telefon angeschlossenes Ladekabel. Das ist einfach eine wirklich gute Beschreibung. Man könnte sich jetzt fragen warum reden wir darüber? Das klingt doch sehr, sehr langweilig. Nun, es hieß auch OK. Der Stecker sieht aus, als hätte er ein Gesicht mit einem überraschten Ausdruck darauf. Und ich vermute, das ist vielleicht das, was GPT-4 daraus geschlossen aber das ist völlig falsch. Der Witz ist, dass VJ Kabel eigentlich keine Ladekabel sind. Sie wurden früher an alte Monitore angeschlossen. Aber schauen Sie sich den Unterschied zwischen der aktuellen Antwort von GPT 4 und der vorherigen an. GPT 4 hat also zuvor tatsächlich erklärt, dass der Humor in diesem Bild aus der Absurdität entsteht, einen großen, veralteten VGA Stecker in einen kleinen, modernen Ladeanschluss für das Telefon zu stecken. Und das stammt aus dem Originalpapier von GPT-4, das wir hier sehen. Und das wissen wir, weil es uns gezeigt wurde. Die visuellen Eingaben wurden also leicht verändert. Aber gleichzeitig wissen wir nicht, ob das nur ein Konversationsstil ist oder ob Bing vielleicht gerade im Kreativmodus ist, denn das kann Auswirkungen darauf haben. Aber insgesamt scheint es Panel für Panel das gleiche Maß an Beschreibändergenauigkeit zu haben oder sogar höher. Hier fand ich die Fähigkeiten von GPT-4 ziemlich überraschend, weil der Nutzer ein Bild eingefügt hat. Ich bin mir nicht sicher, woher er es hat. Es könnte sein eigenes Bild gewesen sein. Und es hieß Beschreibe dieses Bild im Detail und erkläre die Theorie dahinter. Es zeigt tatsächlich einen blauen Fleck am Arm einer Person. Und GPT-4 versteht das es Das Bild zeigt einen blauen Fleck am Arm einer Person. Ein blauer Fleck ist eine Hautverfärbung, die durch einen Bluterguss verursacht wird. Und dann wird genau beschrieben, wie das passiert. Interessant ist auch, dass es dann eine Schritt für Schritt Theorie und Gebrauchsanleitung gibt, wie man die Schwellung reduziert, die Entzündung reduziert und wie man diesen Bluterguss schnell beseitigt und heilt, was zeigt, dass das mehr Anwendungsmöglichkeiten hat, als wir denken. Ich denke, wenn das auf bestimmte medizinische Fähigkeiten abgestimmt wird, wird das den medizinischen Bereich im größten Umfang beeinflussen. Denn oft gibt es Dienstleistungen, bei denen Ärzte eine Krankheit visuell identifizieren können. Und wenn eine künstliche Intelligenz anhand von Millionen von Bildern einer bestimmten Art von Krankheit trainiert werden kann, wird sie besser sein als ein einzelner Arzt, der oder in ein paar Jahren Patienten sieht. Sie werden anhand von Millionen von Bildern trainiert. Wenn Sie nun weitere Beispiele dafür haben möchten, wie verrückt die visuellen Eingaben von GPT-4 sind, kann ich Ihnen diese geben. Zum Beispiel haben wir ein Beispiel für die VIS Eingabe von GPT-4 Extremes Bügeln, was ungewöhnlich ist zu diesem Bild. Das Ungewöhnliche an diesem Bild ist, dass es einen Mann zeigt, der auf einem Bügelbrett, das auf dem Dach eines fahrenden Taxis befestigt ist, Kleidung bügelt. Es wird interessant sein zu sehen, ob diese Originalbilder immer noch die gleiche Art von Ausgabe liefern, wenn die visuelle Eingabe von GPT-4 vollständig oder für noch mehr Nutzer verfügbar ist. Wenn wir wissen, dass diese Modelle ständig trainiert und optimiert werden, dann haben wir hier natürlich noch eine weitere visuelle Eingabe von GPT-4 und diese stammt. Aus dem Original. Dort können Sie dieses Meme erklären und dann erklärt er im Wesentlichen das Meme, wie das genauso aussieht wie unsere Länder, aber natürlich in Form von Chicken Nuggets. Es ist also wirklich interessant, dass GBT 4 nicht nur erkennen kann, dass das, was wir hier sehen, Chicken Nuggets auf einem einfachen Backblech sind, sondern auch die Witze, den Humor und das, was etwas lustig macht, leicht identifizieren kann. Das zeigt, dass es sich hier nicht nur um eine einfache Bilderkennung handelt, sondern dass es die Fähigkeit kombiniert zu erkennen, was in einem Bild zu sehen ist mit dem Kontext, was ein kompletter Unterschied zu vielen der frühen Modelle ist, die wir gesehen haben. Nun ist Interessant, ob wir GPT Images in Bing einführen werden, bevor es tatsächlich zu Chat GPT hinzugefügt wird. Derzeit wissen wir, dass die Nutzerbasis auf Chat GPT bereits bei 100 Millionen Nutzern pro Tag liegt und dass sie stark weiter wachsen wird, aber ich denke, dass Sie das langsam testen, weil Sie wissen, dass es manchmal bestimmte Probleme geben kann, die Sie auf einer vollwertigen Plattform nicht haben wollen. Interessant ist auch, dass ich mich frage, wie Sie das vollständig einführen werden, denn Was wir im Entwickler Livestream gesehen haben, war, dass sie GPT-4 über Discord verwendet haben. Nun wird Discord manchmal für KI Anwendungen wie Midjourney verwendet, aber ich glaube nicht, dass wir das für die endgültige Version von GPT-4 bekommen werden. Gleichzeitig wissen wir es nicht, da es noch keine Bestätigung dafür gibt, wie das eingeführt wird. Und als wir Bilder gesehen haben, haben wir noch keine tatsächliche Bildeingabe im Chat GPT gesehen. Es wird also interessant sein zu sehen, wie das gemacht wird. Wenn Sie nun eine letzte Demonstration dafür sehen wollen, wie gut die visuelle Eingabe von GPT-4 ist, schauen Sie sich diesen letzten Clip an, in dem dieser Typ es buchstäblich geschafft hat, eine Idee für eine Website aufzuschreiben, ein Foto davon zu machen, es an GPT-4 zu senden und es konnte es innerhalb von Sekunden kodieren. Ich habe hier also ein schönes handgezeichnetes Modell einer Witz Website, definitiv wert, an meinen Kühlschrank gehängt zu werden. Also ich hole einfach mein Handy raus, machen Sie einfach ein Foto und los geht's. Die Technologie ist jetzt gelöst und los geht's. Funktionierendes JavaScript hat die Witze ergänzt. Zum Das war unser ursprüngliches Mockup und da haben wir's von Hand gezeichneter wunderschöner Kunst, wenn ich das mal so sagen darf, zu einer funktionierenden Website. Und das ist alles nur Potenzial, nicht wahr? Sie sehen viele verschiedene Anwendungsmöglichkeiten. Wir selbst überlegen immer noch, wie wir das nutzen können. Wir werden mit unserem Partner zusammenarbeiten. Von dort aus werden wir es hochskalieren. Aber bitte haben Sie etwas Geduld, denn es wird einige Zeit dauern, bis wir das wirklich für alle verfügbar machen können.