Ethan Mollick argumentiert, dass Standard-Benchmarks trotz messbarer Fortschritte bei KI nicht erfassen, was tatsächlich zählt: die Leistung bei IHREN spezifischen Aufgaben mit IHREN Beurteilungskriterien. Er verschreibt, KI-Modelle wie Stellenbewerber zu "interviewen", statt sich auf generische Testergebnisse zu verlassen.
Probleme mit Standard-Benchmarks
Benchmarks wie MMLU-Pro stellen obskure Fragen ("durchschnittliches Schädelvolumen von Homo erectus?", "Titel des Live-Albums von Cheap Trick aus dem Jahr 1979?"), deren tatsächlicher Messwert unklar ist. Die Tests sind nicht kalibriert (der Schwierigkeitsgrad des Sprungs von 84 % auf 85 % gegenüber 40 % auf 41 % ist unbekannt), enthalten Fehler, und Höchstwerte können unerreichbar sein. Schlimmer noch: öffentliche Lösungsschlüssel ermöglichen ihre Einbindung ins Training (versehentlich oder absichtlich). Insgesamt verlaufen alle Benchmarks (AIME, GPQA, MMLU, SWE-bench, ARC-AGI, METR) "nach oben und rechts" und messen einen zugrunde liegenden Fähigkeitsfaktor, der mit realer Wirkung korreliert. Doch ihr Fokus auf Mathematik, Naturwissenschaften, logisches Denken und Code lässt Lücken bei Schreiben, Geschäftsberatung und Empathie. "Was einen tatsächlich interessiert, ist, welches Modell für IHRE Bedürfnisse am besten geeignet wäre."
"Vibes-basiertes" Benchmarking: ein individueller Ansatz
Praktiker entwickeln eigenwillige Tests: Simon Willison fragt nach einem Pelikan auf einem Fahrrad, Mollick nach einem Otter in einem Flugzeug, einem Raumschiff-Bedienfeld in JavaScript, schwierigen Gedichten, Videospielen. Eine Schreibübung offenbart Muster: Claude 4.5 Sonnet ist ein starkes Schreibmodell, Gemini 2.5 Pro (derzeit das schwächste) behält die Wortanzahl nicht im Blick, GPT-5 Thinking ist ein überschwänglicher Stilist, der manchmal inkohärent ist, Kimi K2 Thinking produziert interessante Formulierungen, aber eine Geschichte, die keinen Sinn ergibt. Vibes vermitteln ein "Gefühl" für Modelle, bleiben aber eigenwillig: Antworten variieren jedes Mal, und man verlässt sich auf Eindrücke statt auf echte Messungen.
Reales Benchmarking: die GDPval-Methode
Das GDPval-Paper von OpenAI demonstriert einen rigorosen Ansatz: (1) Experten mit durchschnittlich 14 Jahren Erfahrung erstellen realistische, komplexe Projekte, die 4 bis 7 Stunden menschlicher Arbeit entsprechen, (2) mehrere KI-Modelle und menschliche Experten führen die Aufgaben aus, (3) eine dritte Expertengruppe bewertet blind und verbringt mehr als eine Stunde pro Frage. Die Studie zeigt die Stärken der KI (Softwareentwicklung, Finanzberatung: sie schlägt Menschen) und ihre Schwächen (Apotheker, Industrieingenieure, Immobilienmakler schlagen die KI). Unterschiede zwischen den Modellen zeigen sich: ChatGPT ist ein besserer Vertriebsleiter, Claude ein besserer Finanzberater. Die Form der "Jagged Frontier" nimmt Gestalt an.
GuacaDrone offenbart die Persönlichkeit der Modelle
Mollick präsentiert eine fragwürdige Idee, "Guacamole-Lieferung per Drohne", und bittet die Modelle, deren Tragfähigkeit zehnmal jeweils von 1 bis 10 zu bewerten. Grok ist begeistert, Copilot euphorisch, GPT-5 und Claude skeptisch. Mollick selbst würde sie mit 2 oder weniger bewerten. "Ideen systematisch 3-4 Punkte höher oder niedriger zu bewerten bedeutet, systematisch in eine andere Richtung gelenkt zu werden." Je nach Unternehmen möchte man eine KI, die Risiken eingeht oder vermeidet: es ist notwendig zu verstehen, wie die KI bei kritischen Fragen "denkt".
Verschreibung für Organisationen
Für Einzelpersonen reichen Vibes aus. Organisationen, die im großen Maßstab einsetzen, brauchen systematisches Testen: KI bei realer Arbeit und realen Beurteilungen, realistische Szenarien, mehrfach durchgeführt, von Experten bewertet, mit direktem Vergleich bei den Aufgaben, die zählen. "Der Unterschied zwischen 'das Modell erzielte 85 % bei MMLU' und 'das Modell ist bei Finanzanalysen präziser, aber beim Risiko konservativer.'" Mehrmals im Jahr zu wiederholen, sobald neue Modelle erscheinen.
Abschließende Analogie: "Man würde keinen Vizepräsidenten allein aufgrund seiner SAT-Ergebnisse einstellen. Man sollte nicht die KI wählen, die tausende Entscheidungen berät, basierend auf ihrem Wissen über das durchschnittliche Schädelvolumen von Homo erectus."