Ethan Mollick argumentiert, dass Standard-Benchmarks trotz messbarer Fortschritte bei KI nicht erfassen, was wirklich zählt: die Leistung bei IHREN spezifischen Aufgaben mit IHREN Beurteilungskriterien. Er schlägt vor, KI-Modelle wie Bewerber zu "befragen", anstatt sich auf generische Testergebnisse zu verlassen.

Probleme mit Standard-Benchmarks

Benchmarks wie MMLU-Pro stellen obskure Fragen ("durchschnittliches Schädelvolumen des Homo erectus?", "Titel von Cheap Tricks Live-Album von 1979?"), deren tatsächlicher Messwert unklar ist. Die Tests sind nicht kalibriert (unbekannt ist, ob der Sprung von 84% auf 85% genauso schwer ist wie von 40% auf 41%), enthalten Fehler, und Höchstwerte können unerreichbar sein. Schlimmer noch: veröffentlichte Lösungsschlüssel ermöglichen ihre Einbindung ins Training (versehentlich oder absichtlich). Insgesamt verlaufen alle Benchmarks (AIME, GPQA, MMLU, SWE-bench, ARC-AGI, METR) "nach oben rechts" und messen einen zugrunde liegenden Fähigkeitsfaktor, der mit realer Wirkung korreliert. Ihr Fokus auf Mathematik, Naturwissenschaften, logisches Schließen und Code lässt jedoch Lücken bei Schreiben, Geschäftsberatung und Empathie. "Worauf es Ihnen wirklich ankommt, ist, welches Modell für IHRE Bedürfnisse am besten geeignet wäre."

"Vibes-basiertes" Benchmarking: ein individueller Ansatz

Praktiker entwickeln eigenwillige Tests: Simon Willison fragt nach einem Pelikan auf einem Fahrrad, Mollick nach einem Otter im Flugzeug, einem Raumschiff-Bedienfeld in JavaScript, schwierigen Gedichten, Videospielen. Eine Schreibübung offenbart Muster: Claude 4.5 Sonnet schreibt solide, Gemini 2.5 Pro (derzeit das schwächste) kann keine Wortzahl einhalten, GPT-5 Thinking ist ein überschwänglicher, aber manchmal unzusammenhängender Stilist, Kimi K2 Thinking produziert interessante Formulierungen, aber eine Geschichte, die keinen Sinn ergibt. Vibes vermitteln ein "Gefühl" für Modelle, bleiben aber eigenwillig: Antworten variieren jedes Mal, und man verlässt sich auf Eindrücke statt auf reale Messungen.

Praxisnahes Benchmarking: die GDPval-Methode

OpenAIs GDPval-Paper demonstriert einen rigorosen Ansatz: (1) Experten mit durchschnittlich 14 Jahren Erfahrung erstellen komplexe, realistische Projekte, die 4 bis 7 Stunden menschlicher Arbeit entsprechen, (2) mehrere KI-Modelle und menschliche Experten führen die Aufgaben aus, (3) eine dritte Expertengruppe bewertet blind und verbringt mehr als eine Stunde pro Frage. Die Studie zeigt die Stärken der KI (Softwareentwicklung, Finanzberatung: sie schlägt Menschen) und ihre Schwächen (Apotheker, Industrieingenieure und Immobilienmakler schlagen die KI mühelos). Unterschiede zwischen den Modellen zeigen sich: ChatGPT ist der bessere Vertriebsleiter, Claude der bessere Finanzberater. Die Form der "Jagged Frontier" nimmt Gestalt an.

GuacaDrone offenbart die Persönlichkeit der Modelle

Mollick präsentiert eine fragwürdige Idee, "Guacamole-Lieferung per Drohne", und bittet die Modelle, deren Tragfähigkeit zehnmal jeweils auf einer Skala von 1 bis 10 zu bewerten. Grok ist begeistert, Copilot euphorisch, GPT-5 und Claude skeptisch. Mollick selbst würde sie mit 2 oder niedriger bewerten. "Ideen systematisch 3-4 Punkte höher oder niedriger zu bewerten, lenkt einen systematisch in eine andere Richtung." Je nach Unternehmen möchte man vielleicht eine KI, die Risiken eingeht oder vermeidet: Es ist notwendig zu verstehen, wie die KI bei kritischen Fragen "denkt".

Empfehlung für Organisationen

Für Einzelpersonen reichen Vibes aus. Organisationen, die im großen Maßstab einsetzen, benötigen systematische Tests: KI an realer Arbeit und realen Urteilen, realistische Szenarien, mehrfach durchgeführt, von Experten bewertet, mit direktem Vergleich der Modelle bei den relevanten Aufgaben. "Der Unterschied zwischen 'das Modell erzielte 85% bei MMLU' und 'das Modell ist bei der Finanzanalyse präziser, aber bei der Risikobewertung konservativer.'" Dies sollte mehrmals im Jahr wiederholt werden, sobald neue Modelle veröffentlicht werden.

Abschließende Analogie: "Sie würden keinen Vizepräsidenten allein aufgrund seiner SAT-Werte einstellen. Wählen Sie nicht die KI, die über Tausende von Entscheidungen beraten wird, allein basierend auf ihrem Wissen über das durchschnittliche Schädelvolumen des Homo erectus."