Did xAI Cheat? The Truth About Grok-3’s Benchmarks!

Okay, ist Grog 3 tatsächlich das beste Modell auf dem Markt oder haben sie bei den Benchmarks geschummelt? Wie Boris Power, Leiter der angewandten Forschung bei OpenAI, behauptet, postete er dies. Es ist enttäuschend, die Anreize für das Grok Team zu sehen, bei Evolves zu betrügen und zu täuschen. TLDDR Mini ist in jeder Evol besser als Gros 3. Gros 3 ist wirklich ein ordentliches Modell, aber es besteht kein Grund, es zu übertreiben. Dies ist nun eine sehr interessante Einschätzung direkt von OpenE und kam nach dem Blogbeitrag des GROK Teams. GROG Beta Das Zeitalter der schlussfolgernden Agenten. In den ursprünglichen Ergebnissen, in denen sie zeigten, dass Grok 3 die anderen Denkmodelle übertrifft, werden sie sehen, dass die Ergebnisse zwei verschiedene Farben haben. Eine ist dunkelblau und Die andere ist hell schattiert blau. Dies wurde von diesem X Benutzer hervorgehoben. Wenn der hellblaue Teil der beste von N Werten ist, bedeutet dies, dass das Schlussfolgern von Krog 3 von Natur aus auf dem Niveau liegt. Dies bedeutet, dass die Leistungslücke zwischen OpenAI und Shai etwa neun Monate beträgt. Und was ist der Unterschied zwischen THINK und Big Brain? Wenn man sich die Ergebnisse ansieht, handelt es sich tatsächlich um eine Mehrheitsabstimmung aus 64 verschiedenen Durchläufen, was eine enorme Leistungssteigerung bedeutet. Open hat jedoch etwas sehr Ähnliches getan, als die Ergebnisse für und MINI gemeldet wurden. Wenn man sich das ansieht, stellt der schattierte Bereich tatsächlich die Mehrheitsabstimmung mit 64 Stichproben dar. Darauf hat Igor hingewiesen. Der Teil des Scheitams ist. Das ist völlig falsch. Wir verwenden einfach die gleiche Methode, die ihr auch verwendet habt. Wenn wir uns jedoch die Ergebnisse von MINI ansehen, enthalten diese nicht die Ergebnisse der Mehrheitsabstimmung und deshalb übertrifft es selbst bei den vom Schei-Team gemeldeten Benchmarks Mini bei. Einem direkten Vergleich mit den hohen Einstellungen mit einem einzigen Durchlauf von GRO Beta Think. Die externen Validierungssignale waren jedoch ziemlich stark. Dies ist der Eloscore im Chatbot Arena Leaderboard. Es ist das erste Modell, das 1400 überschreiten kann. Das ist eine ziemlich erhebliche Verbesserung im Vergleich zu den anderen. Und da es komplett blind ist, ist das wahrscheinlich eine viel bessere Darstellung der realen Leistung. Selbst bei meinen eigenen Tests ist das wahrscheinlich eines der beeindruckendsten Modelle, die ich bisher gesehen habe. Wir werden uns diese Tests ansehen, aber eine Sache, die ich wirklich hervorheben möchte, ist diese Benutzeroberfläche, die den Denkprozess zeigt. Das ist im Vergleich zu einigen anderen Implementierungen extrem gut. Bevor wir uns die Ergebnisse ansehen, möchte ich noch etwas hervorheben. Gros 3 befindet sich noch in der Beta Phase. Die Vollversion wird wahrscheinlich in der Lage sein, MINI zu übertreffen, ohne Mehrheitsentscheidungen zu verwenden. Wir werden sehen, wie es die Zeit zeigt, aber schauen wir uns einige meiner eigenen Tests an. Schauen wir uns die Argumentationsfähigkeiten von GROK unter X an. Sie können GROK aktivieren, indem Sie auf das Symbol auf der linken Seite klicken. Um die Denk oder Argumentationsversion zu verwenden, müssen Sie die Denkoption auswählen. Bei einem Premium Paket erhalten Sie derzeit 5 GROG Denkfragen pro 2 Stunden. Um mehr zu erhalten, müssen Sie auf Premium Plus upgraden. Um die Argumentationsfähigkeiten zu testen, verwende ich erneut das Misguided Attention Repo. Die Idee dahinter ist, dass man kleine Änderungen an sehr bekannten Paradoxien oder Fragen vornimmt und dann sehen möchte, ob das Modell diese Änderungen erkennen kann oder nicht. Und GOC 3 ist wahrscheinlich eines der beeindruckendsten Modelle, das ich beim Erfassen dieser Änderungen gesehen habe. Um zu beginnen, deaktiviere ich einfach den Denkmodus. Dies verwendet das normale Gro 3 und ich stelle ihm die modifizierte Version eines Trolley Problems. In diesem Fall liegen bereits fünf Personen tot auf den Gleisen und wir fragen, ob es den Hebel zieht, wenn sich auf dem anderen Gleis eine Person befindet, die gefesselt ist. Wenn ich dies sende, ist die erste Antwort von Grog 3 ohne nachzudenken. Es sagt, dass dies ein klassisches Trolley Problem ist, ein moralisches Dilemma, das seit Ewigkeiten thematisiert wird. Und wenn man den Hebel zieht, stirbt eine Person, aber 5 werden gerettet. Sie können bereits sehen, dass es einfach auf seine Trainingsdaten zurückgreift und die Tatsache, dass diese fünf Personen bereits tot sind, völlig ignoriert. Aber als ich das Denken aktivierte, begann die ganze Magie. Hier ist also der interne Denkprozess. Er Ich habe hier also dieses klassische Trolley Problem, aber mit einem Anstelle von fünf lebenden Menschen sind es fünf Tote auf dem Hauptgleis und ein Lebender auf dem anderen Gleis. Und nun stellt sich die Frage, ob ich den Hebel ziehen soll. Um den Trolley umzuleiten. Zuerst versucht er also die Situation oder das gegebene Szenario zu erklären, und dann Dann heißt es, dass es beim ursprünglichen Trolley Problem um die Wahl geht, entweder fünf Menschen sterben zu lassen oder aktiv den Tod einer Person herbeizuführen, um die 5 zu retten. Es ist ein moralisches Dilemma über die Ethik des Handelns, wo gehandelt wird, und den Wert des menschlichen Lebens. Aber in dieser version sind die 5 Menschen auf dem Gleis bereits tot. Wenn der Trolley sie also erfasst, wird er keinen zusätzlichen Schaden anrichten, da die Menschen bereits tot sind. Der interne Denkprozess ist sehr wortreich. Er erinnert mich ein wenig an R, aber hier ist die endgültige Antwort. Im Grunde genommen wird es also aufgeschlüsselt. Es spricht über das Szenario und mir gefällt sehr, dass es die wichtigsten Fakten hervorhebt. Die Tatsache, dass die fünf Personen bereits tot sind, das wird tatsächlich hervorgehoben. Dann spricht es über beide Optionen, entweder keine Maßnahme zu ergreifen oder eine Maßnahme zu ergreifen und welche moralischen Erwägungen dabei zu berücksichtigen wären. Aber die endgültige Entscheidung ist, dass das Ziehen der Leber nur zum unnötigen Tod einer lebenden Person oder der anderen Schiene führen würde, da die Personen auf der Strecke bereits tot sind und nicht mehr gerettet oder weiter geschädigt werden können. Durch ein Eingreifen kann kein Leben gerettet werden, sondern nur ein Leben verloren werden. Deshalb wird entschieden, keinen Hebel zu ziehen. Sehr beeindruckend. Ich habe tatsächlich noch bei keinem anderen Modell gesehen, dass es beim ersten Versuch zu einer solchen Reaktion gekommen ist. Es gibt definitiv einen großen Unterschied zwischen dem Denken von Grog 3 und Gro Wenn als ich diese modifizierte Version des Multihole Problems bereitgestellt habe, geht Grog 3 ohne nachzudenken im Grunde zum ursprünglichen Problem und versucht, eine Lösung basierend auf dem ursprünglichen Multihole Problem vorzuschlagen. Aber Grog kann mit freiem Denken oder Argumentieren erkennen, dass es Veränderungen gibt. Es sagt Ich bin in einer Spielshow. Es gibt drei Türen. Hinter einer Tür ist ein Auto. Hinter den anderen beiden Türen sind Waren. Ich weiß nicht, was sich hinter einer von ihnen befindet. Ich habe Tür Nummer 1 gewählt. Es versetzt sich also in die Lage des Kandidaten und sagt Aber der Moderator Monty Hall weiß, was sich hinter all den Türen befindet. Öffne Tür Nummer 1 und zeig mir eine Ziege. Beim klassischen Monty Hall Problem öffnet der Moderator eine Tür die du nicht gewählt hast, und dahinter befindet sich eine Ziege. Aber in diesem Szenario sagt ich habe Tür Nummer 1 gewählt. Und dann öffnet Monty Tür Nummer 1 und enthüllt eine Ziege. Das scheint anders zu sein. Dann sagt Warte, lass mich es noch einmal sorgfältig lesen. Richtig. Und im Grunde genommen druckt es dieses Problem aus und durchläuft denselben Prozess. So kann es diese Veränderungen erkennen, was ziemlich clever ist. Hier ist also die endgültige Es sind noch zwei Geschäfte übrig. Ä Hinter einem von ihnen ist ein Auto und hinter dem anderen eine Ziege. Die Wahrscheinlichkeit liegt also bei 50 Prozent, und das kann das mit Hilfe der richtigen Argumentation korrekt herleiten. Am Ende steht also, dass die Wahrscheinlichkeit, das Auto zu gewinnen, eineinhalb ist, egal ob du bei Tür Nummer 2 bleibst oder zu Tür Nummer 3 wechselst, anders als beim klassischen Monty Hall Problem, bei dem ein Wechsel deine Gewinnchancen erhöht. Bei dieser Variante wird das Spiel nach der ersten Enthüllung zurückgesetzt, sodass du vor einer einfachen Entscheidung stehst. Das nächste war eine modifizierte Version der Schwingerskatze. In diesem Fall ist die Katze bereits tot. Auch das kann das Spiel ziemlich einfach herausfinden. Es heiß Die Abfrage besagt, dass eine tote Katze in die Kiste mit einem Kernisotop gelegt wird. Das Setup gibt an, dass der Strahlungsdetektor Strahlung erkennt. Er zeigt ein Gift an und die Kiste wird einen Tag später geöffnet. Richtig. Es wurde hervorgehoben, dass die Katze bereits tot ist. Und dann heißt es zur Interpretation, dass das Problem ausdrücklich besagt, dass eine tote Katze in die Kiste gelegt wird. Richtig. Dies ist wahrscheinlich eines der ersten Modelle, das die meisten oder fast alle der fehlgeleiteten Aufmerksamkeitsaufforderungen ohne zusätzliche Hilfe lösen kann. Das andere Modell, das dazu in der Lage war, war Gemini Pro. Ich musste jedoch eine Systemaufforderung bereitstellen, die das Modell aufforderte, die Aufforderung so umzuschreiben, wie sie ist, und genau aufzupassen. Mit Hilfe dieser Hilfe konnte Gemini Pro diese Aufgaben lösen, aber Gro Thinking kann sie auch ohne zusätzliche Hilfe lösen, was ziemlich beeindruckend ist. Eines der interessantesten war nun Dies ist die modifizierte Version des Russell Paradoxons oder Friseur Paradoxons. Die einzigartige Regel in diesem Fall ist jedoch, dass er alle Männer in der Stadt rasiert, die ihn besuchen, und dass er selbst den Friseur rasiert. Das Überraschende ist, dass dass es bei dem Versuch, die Antwort zu formulieren, nicht einmal an das eigentliche Russell Paradoxon gedacht hat. Es formuliert direkt die einzigartige Regel, die wir hier haben, anstatt auf die Regel im Russell Paradoxon zurückzugreifen. Bei den meisten anderen LLMs, die ich gesehen habe, beziehen sie sich auf das ursprüngliche Russell Paradoxon und versuchen dann, sich selbst anzupassen. Es kommt also zu einer mathematischen Formulierung. Im Grunde hat B den Friseur, der ein Mann in der Stadt ist. Dann ist M eine Menge aller Männer in der Stadt. B ist also ein Teil von M. Und dann ist V eine Menge der Männer, die den Friseur besuchen, richtig? Und das sind alle Männer in der Stadt. Basierend auf dieser Formulierung betrachtet es im Grunde ein paar verschiedene Szenarien, aber am Ende kommt es zu der richtigen Schlussfolgerung. Sie besagt, dass der Friseur alle Männer in der Stadt rasiert, die ihn besuchen. Und wenn man bedenkt, dass er ein Mann in der Stadt ist, der sich selbst rasieren kann, ohne jemanden besuchen zu müssen, rasiert sich der Friseur selbst. Die Regel verhindert dies nicht und es ist ein konsistentes, praktisches Ergebnis. Insgesamt ist es ein ziemlich beeindruckendes Modell, besonders wenn es um logische Erkennungen geht, und es ist wirklich toll, das zu sehen. Ich habe angefangen, die fehlgeleiteten Aufmerksamkeitsaufforderungen zu verwenden, als das erste Modell veröffentlicht wurde, und ich habe noch nie eine derartige Leistung gesehen. Als nächstes habe ich vor, ein Video zu erstellen, in dem ich die tiefen Suchfunktionen von Gro 3 mit einigen anderen Modellen vergleiche, die über einen Internetzugang verfügen. Wenn Sie also an einem solchen Vergleich interessiert sind, abonnieren Sie unbedingt den Kanal. Danke fürs Zuschauen und wie immer bis zum nächsten Mal.