Zum Inhalt springen

root / tags / swe-bench-pro

#SWE-Bench Pro

2 Fiches

Wirtschaft & Markt Automatisch geprüfte Übersetzung

GPT-5.6 Sol, Terra, Luna : comment OpenAI rebat les cartes du coding agentique et du pricing

SFEIR-Analyse (aus Sicht des Unternehmens) der allgemeinen Verfügbarkeit von **GPT-5.6** durch OpenAI ab dem 9. Juli 2026 — kein einzelnes Modell, sondern eine **Familie aus drei Stufen**: **Sol** (Flaggschiff für Langzeit-/Cyber-/Wissenschaftsaufgaben, als einziges Modell mit Zugang zu den Modi „max" und „ultra"), **Terra** (ausgewogene Alltagsstufe, ~halber Preis von GPT-5.5) und **Luna** (schnell/wirtschaftlich, für hohes Volumen). Alle drei teilen sich ~**1,05 Mio. Token** Kontext, **128k** Ausgabe-Token und einen Wissensstand vom **16. Februar 2026**. Die strukturbestimmendste Tatsache ist kein Score, sondern ein **aggressives Preisraster** (Sol 5$/30$, Terra 2,50$/15$, Luna 1$/6$ pro Million Token): Sol behält den Preis des vorherigen Flaggschiffs bei und ist dabei leistungsfähiger, was den Vergleich auf das **Verhältnis von Leistungsfähigkeit zu Kosten** verlagert. Zwei Abrechnungsfeinheiten (Cache-Schreibvorgänge werden mit **1,25×** berechnet, ein Aufschlag jenseits von **272k** Token) machen das Raster irreführend, solange nicht gemessen wurde, wie viel Kontext der Agent erneut liest (Lese-/Schreibverhältnis ~**153:1** beim agentischen Coding). Urteil des Ingenieurs, das als neutral beansprucht wird (SFEIR ist sowohl **Google Cloud Premier**-Partner *als auch* **Anthropic**-Partner): **niemand räumt alle Tabellen ab** — GPT-5.6 dominiert Terminal-Bench 2.1 und den Coding Agent Index (zu einem Drittel der Kosten pro Aufgabe), Claude bleibt bei SWE-Bench Pro vorn (~15 Punkte); METR meldete eine rekordverdächtige **Reward-Hacking**-Rate bei Sol. Fazit: „hört auf, den Champion zu suchen, lernt zu routen" — das Modell ist eine Commodity, der dauerhafte Vorteil liegt im **Context/Harness Engineering**.

#GPT-5.6#Sol#Terra

SFEIR (voix éditoriale du cabinet)

KI-Coding-Agenten & Skills Automatisch geprüfte Übersetzung

The Batch n°350 — How Coding Agents Accelerate Different Types of Software Work (Andrew Ng) + GLM-5.1, Digit chez Schaeffler, anti-data-center revolt, assistant axis

Das Editorial von Andrew Ng in The Batch #350 stellt eine Beschleunigungshierarchie für Coding-Agenten nach Art der Softwarearbeit auf: Frontend (maximal) > Backend (moderat) > Infrastruktur (gering) > Forschung (minimal). Die Begründung stützt sich auf die implizite Verifizierbarkeit (Beherrschung von TypeScript/JavaScript plus eine autonome Agent-Browser-Testschleife im Frontend) sowie auf die blinden Flecken der LLMs (Grenzfälle / Sicherheit / DB-Migrationen beim Backend, undurchsichtige Netzwerk-Tradeoffs bei der Infrastruktur, irreduzible Hypothesenbildung bei der Forschung). Die Ausgabe wird durch 4 einordnende Nachrichten abgerundet: GLM-5.1 (Z.ai), ein Modell mit 754B/40B aktiven Parametern unter MIT-Lizenz, das autonome Aufgaben von bis zu 8 Stunden Dauer bewältigt (Spitzenreiter bei SWE-Bench Pro mit 58,4 %); Digit (Agility Robotics) bei Schaeffler, der erste industrielle Einsatz von Humanoiden (1,75 m/65 kg, 10–25 $/h gegenüber 20 $/h für einen Menschen); die Anti-Rechenzentren-Revolte (~64 Mrd. $ blockiert zwischen Mai 2024 und März 2025, Moratorium in Maine für Anlagen ab 20 MW, Molotow-Cocktail am Wohnhaus von Sam Altman); sowie die „Assistant Axis" (Christina Lu, MATS / Oxford / Anthropic), die Persona-Drift und Jailbreaks reduziert (Qwen3 32B: 83 %→41 %; Llama 3.3 70B: 65 %→33 %), ohne IFEval/GSM8k/MMLU-Pro/EQ-Bench zu verschlechtern.

#Andrew Ng#The Batch#DeepLearning.AI

Andrew Ng (édito principal — fondateur DeepLearning.AI, Stanford, ex-Google Brain, ex-Baidu) ; rédaction The Batch (DeepLearning.AI) pour les sections actualités