NuMind stellt NuExtract vor, ein Sprachmodell, das auf die Umwandlung von Text in strukturierte JSON-Daten spezialisiert ist. Die wesentliche Innovation liegt in der Entwicklung kompakter Modelle (von 0,5 bis 7 Milliarden Parametern), die die Leistung generischer LLMs erreichen oder übertreffen, welche hundertmal größer sind.

Das Modell zeichnet sich durch die Extraktion komplexer Informationen aus verschiedenartigen Dokumenten aus und organisiert die Daten hierarchisch. Typische Anwendungsfälle umfassen die Analyse von Patientenakten, juristischen Dokumenten und Finanzberichten. NuExtract kann im Zero-Shot-Modus für allgemeine Aufgaben eingesetzt oder für spezifische geschäftliche Problemstellungen feinabgestimmt werden.

Die Methodik zur Erstellung des Datensatzes ist ein Schlüsselelement des Erfolgs. Das Team nutzte 300.000 englische Texte aus dem C4-Datensatz und setzte Llama 3 70B ein, um Extraktionsvorlagen und Annotationen zu erzeugen. Dieser Prozess ergab 50.000 hochwertige Trainingsbeispiele, wobei die Extraktionsbäume eine hierarchische Tiefe von bis zu 9 Ebenen erreichten.

Die Leistungsergebnisse belegen die Wirksamkeit des Ansatzes. NuExtract-tiny übertrifft GPT-3.5, obwohl es 100-mal kleiner ist. Die Standardversion von NuExtract übertrifft Llama3-70B bei 35-mal kompakterer Größe. NuExtract-large erreicht mit GPT-4o Gleichwertigkeit bei einem Größenreduktionsfaktor von 100.

Diese Leistungen eröffnen erhebliche praktische Vorteile gegenüber proprietären Alternativen. Die Inferenzkosten werden dank der kompakten Größe der Modelle drastisch reduziert. Ein lokales oder privates Deployment wird realisierbar und erfüllt die Vertraulichkeitsanforderungen vieler Organisationen. Die Möglichkeit des Fine-Tunings erlaubt eine einfache Anpassung des Modells an spezifische Domänen ohne tiefgreifende ML-Expertise.

Das Modell wird unter der MIT-Lizenz vertrieben, was eine freie Nutzung in kommerziellen und Forschungskontexten ermöglicht. Dieser Open-Source-Ansatz positioniert NuExtract als glaubwürdige Alternative zu proprietären Extraktions-APIs, insbesondere für Organisationen, denen an der Kontrolle ihrer Kosten und ihrer Daten gelegen ist.

Der Artikel veranschaulicht einen wichtigen Trend: Spezialisierte Modelle bescheidener Größe können es bei gezielten Aufgaben mit generalistischen Giganten aufnehmen und ebnen den Weg für wirtschaftlichere und souveränere Deployments.