How Companies Hack Benchmarks

Es gibt ein neues Paper mit dem Titel Leaderboard Illusion, das die LLM Community im Sturm erobert hat. Sogar Leute wie Andrej Karpati kommentieren dieses Paper. In dem Paper haben die Autoren versucht, systematische Probleme aufzuzeigen, die wir mit Benchmarks und insbesondere mit LM Arena haben. Wir wissen wahrscheinlich alle, dass die Benchmarks mittlerweile gesättigt sind. Die hier erhobenen Vorwürfe sind jedoch viel schwerwiegender und zeigen einige der Probleme auf, die speziell bei Benchmarks wie LM Arena angesprochen wurden. In diesem Video schauen wir uns also an, um welche Probleme es sich handelt, was die Community dazu sagt und was das LM Arena Team dazu zu sagen hat. Ich möchte aber betonen, dass die Probleme, die wir besprechen werden, nicht nur auf LM Arena beschränkt sind. Es handelt sich eher um ein systematisches Problem. Um zu verstehen, was genau in dem Paper beschrieben wird, ist es meiner Meinung nach zunächst besser zzu verstehen, was LM Arena genau ist. Das war also ein Leaderboard, das im Mai 2023 erstellt wurde. Es ist also mittlerweile fast zwei Jahre alt. Es handelt sich um eine Benchmark Plattform für große Sprachmodelle, die anonyme, zufällige Kämpfe auf Crowdsourcing Basis bietet. Die Idee war, zwei LLMs gegeneinander antreten zu lassen und dem Nutzer die Antworten auf genau dieselbe Eingabeaufforderung blind zu präsentieren. Das hat sich zu einer Art Industriestandard entwickelt. Tatsächlich hat Google CEO Sundar Pachai während der jüngsten Google Next Keynote mehrfach hervorgehoben, dass Gemini 2.5 Flash das am besten bewertete Modell im Chatbot Arena Leaderboard ist. Im Nachhinein betrachtet war das keine gute Entscheidung. Es gab in der Vergangenheit einige Kritik an LM Arena. Der Wendepunkt war jedoch die Veröffentlichung von Lama 4. Im offiziellen Blogbeitrag sagte das Lama 4 Maverick bietet ein erstklassiges Verhältnis von Leistung zu Kosten. Mit einer experimentellen Chatversion, die auf LM Arena einen Elo von 1417 erzielt. Achten Sie jetzt genau auf die experimentelle Chat Version. Sie wird sehr wichtig, wenn wir uns dieses Paper ansehen. Aber wenn Sie sich den aktuellen Score von Lama für Maverick ansehen, liegt es auf Platz 38 verglichen mit dem zweiten Rang, als es veröffentlicht wurde. Und jetzt statt 1400 Punkten er erreicht es nur noch etwa 1200 Punkte. Was ist da also genau passiert? Und deshalb müssen wir uns dieses Paper die Illusion der Rangliste. Zuvor möchte ich jedoch darauf hinweisen, dass einige der Autoren zu Coherlabs gehören, einem weiteren Unternehmen mit Stiftungsmodell. Nehmen Sie also alles mit Vorsicht und ziehen Sie Ihre eigenen Schlüsse. Okay, Okay. In der Zusammenfassung sagen sie, dass sich Chatbot Arena als die Anlaufstelle für die Rangliste der leistungsfähigsten KI Systeme herauskristallisiert hat. Sie haben jedoch festgestellt, dass es systematische Probleme gibt, die zu verzerrten Wettbewerbsbedingungen geführt haben. Was genau sind nun diese systematischen Probleme? Angeblich wurden nicht offengelegte private Testmethoden entdeckt, die einigen wenigen Anbietern Vorteile bieten. Mehrfaches Testen vor der Veröffentlichung und Rücknahme von Ergebnissen. Tatsächlich konnten sie 27 verschiedene private Modelle oder Varianten testen und das Modell mit den besten Ergebnissen auswählen und diese ELO Ergebnisse melden. In dem Paper heißt es nun, dass sie nachweisen konnten, dass die Fähigkeit dieser Anbieter, beste Bewertung auszuwählen, aufgrund der selektiven Offenlegung von Leistungsergebnissen zu verzerrten Arena Bewertungen führte. Eine von 27 erfolgreichen Varianten diese experimentelle Chat Version schneidet auf LM Arena deutlich schlechter ab als das finale Modell. Diese Anbieter proprietärer Modelle können auf die Daten zugreifen, die ihnen helfen, bessere Modelle für dieses spezielle Leaderboard zu erstellen. Im Wesentlichen passen sie sich einfach zu sehr an dieses eine Leaderboard an, und das ist etwas, das das LM Arena Team selbst einräumt. Sie sagen also, dass wir auch 20 Prozent der Daten mit den Modellanbietern teilen, um ihnen zu helfen, ihr Modell aus der Perspektive unserer Community zu verbessern. Nun dachte niemand, dass die Modellanbieter diese Daten zurücknehmen, ihr Modell aktualisieren oder anpassen und dann eine andere Version desselben Modells testen. Aber genau das scheint zu passieren und als Ergebnis werden wir Modelle sehen, die auf LM Marina wirklich gut abschneiden, deren realer Nutzen jedoch äußerst begrenzt ist. Okay. Dieser Teil erfasst also wirklich alle wichtigen Probleme. Das erste ist die Ungleichheit beim Datenzugriff. Proprietäre Anbieter profitieren am meisten von kostenlosen offenen Community Daten, richtig. Sie können das im Grunde als Feedback nutzen, um ihre Modelle an die Chat Arena Bestenliste anzupassen. Daher sagen sie tatsächlich, dass selbst kleine Datenmengen zu einer Leistungssteigerung von 112 Prozent in dieser spezifischen Arena führen können. Das führt im Grunde zurück zum Thema Datenaustausch, da sie nicht nur die Benutzereingaben sondern auch Präferenzdaten mit den API Anbietern teilen. Infolgedessen können die Modellanbieter Modelle auswählen, die speziell auf dem LM Arena Board gut abschneiden und nur diese melden. Ein weiteres großes Problem ist die Entfernung von Modellen. 66 Prozent der stillschweigend entfernten Modelle sind Open Weight Modelle oder Open Source Modelle. Die proprietären Modelle werden jedoch nicht im gleichen Umfang entfernt. Ich möchte jedoch darauf hinweisen, dass LM Arena nicht der einzige Benchmark ist, der in die Kritik geraten ist. Wenn Sie sich erinnern, gab es diesen berühmten Frontier MEV Benchmark, der als einer der schwierigsten Benchmarks in Sachen Mathematik gelten soll. Eine Vorabversion von war das erste Modell, das bei diesem speziellen Benchmark 25 Prozent erreichte. Das bisher beste Modell erreichte nur zwei Prozent. Das war also eine enorme Verbesserung. Dann stellte sich jedoch heraus, dass OpenAI diesen speziellen Benchmark und seine Erstellung vollständig finanziert hatte und der Forscher ihnen exklusiven Zugriff auf die schwierigsten Probleme mit Lösungen gewährte. Nun könnte es einen Fall geben, in dem sie die Lösungen nicht verwendet haben, aber ein ununterbrochener exklusiver Zugriff wirft viele Fragen auf. Dann gab es einen Fall des ARC AGI Leaderboards, bei dem dieselbe Vorschau etwa 75 oder 80 Prozent erzielte. Das war zu diesem Zeitpunkt noch unerhört. Es stellte sich jedoch heraus, dass sie auch einige der Trainingsdaten verwendeten, was was sie nicht tun sollten. Im Allgemeinen würde ich also sagen, dass es zwei Kategorien von Benchmarks gibt. Eine davon sind diese akademischen Benchmarks wie GPQA und so weiter und so fort. Meiner Meinung nach sind diese bereits gesättigt. Diese Modellentwickler verwenden wahrscheinlich indirekt Daten aus diesen Benchmarks, daher werden wir immer höhere Punktzahlen sehen. Und die zweite Kategorie von Benchmarks sind etwa Frontier Meth oder LM Arena. Aber in diesen Fällen muss man sich wirklich ansehen, wer hinter diesen Benchmarks steht und wer sie sponsert. Und wie in diesem Dokument dargelegt, haben diese proprietären AP Anbieter bei einigen dieser Benchmarks einen großen Vorteil und wahrscheinlich viel mehr Zugriff, als sie haben sollten. Eine weitere Sache, die man bedenken sollte, ist, was genau ein Benchmark misst. Wenn man sich also den Bereich der Sprachmodelle ansieht, die menschliche Vorlieben messen, dann sollte man für so etwas keine Bewertungen für ein Codierungsmodell verwenden. Das wurde übrigens von Alex Albert, dem Leiter von Claude Relations, hervorgehoben. Dieser Beitrag entstand vor der Veröffentlichung des Papers. Er bezieht sich also nicht direkt auf das Paper selbst, aber er sagt, dass ein Großteil der KI-Branche derzeit in einer besonders toxischen Feedbackschleife gefangen ist. Das Streben nach besserem feedback ähnelt bei LLMs dem Streben von Social Media Algorithmen nach maximaler Wiedergabezeit. Es ist ein Rezept, um Nutzer zu manipulieren, anstatt einen echten Mehrwert zu bieten. Es gibt einen Grund, warum Cloth nicht auf Platz 1 der Ranglisten von Charts steht. Ich hoffe, der Rest der Branche erkennt das, bevor die Nutzer den Preis dafür zahlen. Wenn Sie die Sendung verfolgt haben, wissen Sie, dass etwas ähnliches mit OpenAI passiert. Sie haben GPT-40 wirklich schlecht gemacht. Und hier ist ein Tweet von Sam Allman. Die letzten GBD Updates haben die Persönlichkeit zu psychopathisch und nervig gemacht. Obwohl es einige wirklich gute Teile davon gibt und wir so schnell wie möglich an Lösungen arbeiten, werden wir irgendwann unsere Erkenntnisse daraus mitteilen. Es war interessant. Sie mussten tatsächlich alle Daten zurücksetzen, weil es wirklich schlimm wurde. Und wenn Sie versuchen, die falschen Dinge zu optimieren, wird das Modellverhalten schon bald ziemlich schrecklich werden. Kommen wir nun zurück zum Paper und Ala Marina. Ich werde Ihnen auch eine Antwort des Al Marina Teams selbst zeigen, die meiner Meinung nach sehr wichtig ist. Hier ist ein Beitrag von einem Informatikprofessor in Princeton. Er Vernichtende Niederlage der Chatbot Arena. Schlechte Bestenlisten versuchen, Unquantifizierbares zu quantifizieren. Ganz anders ist es, bewusst unwissenschaftliche und intransparente Methoden zu wählen, die den Großen nützen. In einem späteren Beitrag hat er klargestellt, was genauer mit eklatant unwissenschaftlich meint. Das Hauptproblem des Papers ist offenbar eine Variante des bekannten Problems multipler Vergleiche. Überrascht waren viele, mich eingeschlossen, vom Ablauf hinter den Kulissen. Das Paper macht viele Vorschläge zur Transparenz und die Vorteile für die Praxis, die auch die Großen im Paper erläutern. Sie haben sich also aktiv entschieden. Viele Probleme mit besten Listen sind unvermeidlich. Doch fast alles im Paper berichtete, scheint eine vermeidbare Entscheidung zu sein. Dann sagt Im Nachhinein ist mir klar, dass meine Formulierung hätte falsch ausgelegt werden können, so dass die Chatbot Arena mit einigen Unternehmen zusammenarbeitet. Das wollte ich sicherlich nicht andeuten und entschuldige mich dafür, dass ich nicht an diese mögliche Fehlinterpretation gedacht habe. Ich möchte auch noch erwähnen, dass ich nicht glaube, dass etwas Böses vor sich ging, sondern dass das Problem darin besteht, wie die LM Arena aufgebaut ist und welchen Zugriff diese Unternehmen auf die Daten hatten. Nun hat auch Andre Karpati seine Gedanken geteilt und das deckt sich sehr gut mit einigen Dingen, die wir aus der Community gehört haben. Er Ich wurde zum ersten Mal etwas misstrauisch, als vor einiger Zeit ein Gemini Modell, die Nummer 1 weit über dem zweitbesten abschnitt. Als ich jedoch ein paar Tage lang wechseln wollte, war es schlechter als das, was ich gewohnt war. Es gab eine Zeit, in der Gemini bei LM Arena sehr hohe Werte erzielte und die Leute dachten, es sei ziemlich schlecht. Es war wahrscheinlich so Etwas wie Gemini ein oder 1. Mai. Ein weiteres Beispiel. Ist, dass er darauf hinwies, dass dass Cloud 3.5 bei seiner persönlichen Nutzung ein Spitzenmodell sei, bei Arena jedoch sehr weit unten liege. Die Cloud Modelle haben bei LM Arena noch nie gut abgeschnitten, weil sie sehr spezialisiert auf die Programmierung sind. Hier ist ein weiteres sehr interessantes Beispiel. Es gab eine Reihe anderer relativ zufälliger Modelle, oft verdächtig klein und mit wenig bis gar keinem Wissen über die reale Welt, soweit ich weiß. Aber sie wurden ebenfalls recht hoch eingestuft und auch hier, wenn es um menschliche Vorlieben geht, kann man dieses System sehr leicht austricksen. Eine Möglichkeit wäre einfach viel Text, viele Listen, Aufzählungspunkte und Emojis zu produzieren und die Leute mögen diese antworten. Andre Karpati wies darauf hin, dass die Open Router Rangliste möglicherweise eine gute Alternative sein und zur Spitzenklasse werden könnte. Aber ich denke, wenn man sich einige der eingehenden Daten ansieht, basiert die Rangliste auf der Anzahl der generierten oder verbrauchten Token. Ich denke, neben der Leistung werden die Kosten, die Latenz und die Anzahl der vom Modell als Antwort auf eine Frage generierten Token die wichtigsten Parameter sein, die die Ergebnisse wirklich verzerren würden, wenn die Rangliste nur auf der Anzahl der Token basieren würde. Man kann diesen Trend tatsächlich erkennen, zum Beispiel Gemini Zero Flash GPT Mini. Dies sind relativ kleinere Modelle, aber sie werden weniger teuer sein. Sogar V deepseek V ist relativ kostengünstig und nicht für jede Anwendung benötigt man das beste Modell. Andrej Karpati weist auch hier darauf hin. Er sagt, dass OpenRouter es Unternehmen ermöglicht, schnell zwischen APIs zwischen LM Anbietern zu wechseln. Alle haben echte Anwendungsfälle, keine Spielzeugprobleme, sie haben ihre eigenen privaten Entwicklungen und alle haben einen Anreiz, ihre Entscheidungen richtig zu treffen. Wenn Sie sich also für ein LLM gegenüber einem anderen entscheiden, stimmen Sie direkt für eine Kombination aus Fähigkeiten und Kosten, was Sinn macht. Er meinte aber, Open Router seien in Bezug auf Menge und Vielfalt der Anwendung noch nicht ausgereift. So etwas hat meiner Meinung nach großes Potenzial, sich zu einem schönen, manipulationssicheren Produkt zu entwickeln. Ich stimme zu. Tatsächlich ist es bei Benchmarks immer gut, eigene interne Benchmarks zu haben. Und wenn ein neues Modell auf den Markt kommt, sollte man es einfach anhand dieser internen Benchmarks testen. Zum Abschluss dieses Videos möchte ich noch die Antwort des LM arinet Teams hervorheben. Es ist sehr wichtig anzuerkennen, dass Sie nicht nur bei der Erstellung dieses Benchmarks, sondern auch bei seiner Pflege wirklich großartige Arbeit geleistet haben. Er war ziemlich effektiv und hoffentlich konnten Sie einige der Bedenken ausräumen, die sowohl in diesem Dokument als auch von der breiteren Community angesprochen werden. Hier heißt es, dass das Leaderboard Millionen von neuen, echten menschlichen Vorlieben widerspiegelt. Man mag mit den menschlichen Vorlieben nicht einverstanden sein, sie sind subjektiv, aber genau deshalb sind sie wichtig. Und es ist sehr wichtig zu verstehen, dass der Benchmark nur die menschlichen Vorlieben misst. Er betrachtet keine anderen Fähigkeiten. Dann sprechen Sie darüber, dass Sie an statistischen Methoden wie der Stilisierung von Stimmungskontrollen arbeiten, um menschliche Vorlieben in ihre Bestandteile zu zerlegen. Ich persönlich denke, dass dies äußerst schwierig sein wird, aber es wäre interessant zu sehen, was genau Sie sich einfallen lassen und Sie vorab Tests und Daten helfen, Modelle für Millionen von Vorlieben zu optimieren. Das ist gut. Hier werden sich die Meinungen wohl unterscheiden. Das Testen von Modellen vor der Veröffentlichung ist absolut in Ordnung. Und nochmals, es ist wirklich gut für die Community. Ich stimme voll und ganz zu. Es ist jedoch wahrscheinlich nicht gut, wenn diese Daten den Modellanbietern oder API-Anbietern zur Verfügung gestellt. Werden und das Modell dann speziell für diesen einen Benchmark optimiert wird. Und das wollen wir nicht. Deshalb kommen viele auch wegen Pre Release Modelltests in die LM Arena. Das ist in der Tat wahr. Unterschiedliche Entscheidungen zur Verwendung und Bewertung menschlicher Präferenzen treffen die Modellanbieter. Meta optimiert offenbar nur einen Benchmark mit 27 Testvarianten. Sie betonten ihre Unterstützung bei Metaspray Release Tests von Flama, analog zu ihrer Hilfe für viele andere Modellanbieter. Wir unterstützen die Open Source Entwicklung. Die gesamten Analyse Tools der Plattform sind Open Source und sie veröffentlichen außerdem Millionen offener Unterhaltungen. Dann versuchen sie einige der in diesen Aufzeichnungen angesprochenen Probleme zu beheben. Sie sagen also, dass es leider eine Reihe von sachlichen Fehlern und irreführenden Aussagen in der Aufzeichnung gibt. Dort widersprechen sie insbesondere. Abbildung 7 und 8. Abbildung 7 und acht sind simulierte Ergebnisse. Abbildung 7 zeigt die Auswirkungen der Anzahl der getesteten privaten Varianten auf Die beste erwartete Arena Punktzahl. Abbildung 8 zeigt simulierte Auswirkungen bester Angriffsstrategien aufs LM Arena Ranking. Dazu werde ich jetzt nichts sagen, weil ich keinen Zugriff auf die Daten habe. Aber die anderen beiden sind sehr interessant. Man sagt, unsere Richtlinie verhinderte, dass Modellanbieter nur ihre Höchstpunktzahl beim Test meldeten. Wir veröffentlichten nur den Score ihres öffentlichen Modells. Dies ist nun ein aktuelles update, da mit Llama 4 genau dasselbe passierte. Lama 4 meldete die höchste Punktzahl und sogar das LM Arena Team meldete diese höchste Punktzahl. Bekannt wurde eine experimentelle Chat Version speziell für LM Arena optimiert. Sowohl LM Arena als auch das Lama Team zogen sie daraufhin zurück. Viele Zahlen im Papier spiegeln die Realität nicht wider. Der vor wenigen Tagen veröffentlichte Blogbeitrag unten enthält Statistiken über getestete Modelle verschiedener Anbieter. Hier ist also der Blogbeitrag, auf den Sie verweisen. Wenn Sie hier nachsehen, heißt es, dass über 400 Modelle in verschiedenen Modalitäten bewertet wurden. Über 300 Bewertungen wurden vorab veröffentlicht. Die meisten davon waren also Modelle vor der Vorabversion. Und wenn Sie sich die Verteilung hier ansehen, sind die meisten davon tatsächlich proprietäre Modelle. Google Meta ist also offengelegt. Wahrscheinlich testen sie jedoch viele verschiedene Varianten. Alibaba, OpenAI und Mistral sind dann größere Anbieter. Selbst bei den Stichprobenpaaren denke ich, dass sie, wenn sie nicht genau übereinstimmen, sehr gut mit den Zahlen im Bericht oder dem Paper übereinstimmen, das das Forscherteam zusammengestellt hat. Ich hoffe jedenfalls, dass dies ein Weckruf sowohl für die Ersteller der besten Listen als auch für die Modellanbieter ist. Ich hoffe jedenfalls, dass Sie dieses Video hilfreich fanden. Danke fürs Zuschauen und wie immer bis zum nächsten Mal.