Zum Inhalt springen
Methodik

GDPval

GDPval — Methodik. Definition: Benchmark expert tasks — Modelle erreichen 40-49% des menschlichen Expertenniveaus, benötigen jedoch *extensive human framing* — die Metrik selbst ist unterspezifiziert · Methode: Experten mit 14 Jahren Erfahrung, Blindbewertung · Umfang: Finanzen, Recht, Einzelhandel, Softwareentwicklung

Typ
Methodik
Definition
Benchmark expert tasks — Modelle erreichen 40-49% des menschlichen Expertenniveaus, benötigen jedoch *extensive human framing* — die Metrik selbst ist unterspezifiziert
Methode
Experten mit 14 Jahren Erfahrung, Blindbewertung
Umfang
Finanzen, Recht, Einzelhandel, Softwareentwicklung
Relationen
5
Zitiert in
2 fiches

Adoptionskennzahlen

Nachbarschaft

44 occupations humai… Jagged Frontier des …

→ misst

44 occupations humaines CONCEPT hohe Konfidenz stabil Quelle ↗
Jagged Frontier des capacités IA CONCEPT hohe Konfidenz stabil Quelle ↗

Zitiert in (2)