NuMind presenta NuExtract, un modello linguistico specializzato nella conversione di testo in dati JSON strutturati. L'innovazione principale risiede nella creazione di modelli compatti (da 0,5 a 7 miliardi di parametri) che eguagliano o superano le prestazioni di LLM generici cento volte più grandi.

Il modello eccelle nell'estrazione di informazioni complesse da documenti eterogenei, organizzando i dati in modo gerarchico. I casi d'uso tipici includono l'analisi di cartelle cliniche, documenti legali e report finanziari. NuExtract può funzionare in modalità zero-shot per compiti generici oppure essere sottoposto a fine-tuning per problematiche aziendali specifiche.

La metodologia di creazione del dataset è un elemento chiave del successo. Il team ha sfruttato 300.000 testi in inglese provenienti dal dataset C4, utilizzando Llama 3 70B per generare template di estrazione e annotazioni. Questo processo ha prodotto 50.000 esempi di addestramento di qualità, con alberi di estrazione che raggiungono fino a 9 livelli di profondità gerarchica.

I risultati di prestazione dimostrano l'efficacia dell'approccio. NuExtract-tiny supera GPT-3.5 pur essendo 100 volte più piccolo. La versione standard di NuExtract supera Llama3-70B pur essendo 35 volte più compatta. NuExtract-large raggiunge l'equivalenza con GPT-4o con un fattore di riduzione delle dimensioni pari a 100.

Queste prestazioni aprono vantaggi pratici considerevoli rispetto alle alternative proprietarie. I costi di inferenza sono drasticamente ridotti grazie alle dimensioni compatte dei modelli. Il deployment locale o privato diventa fattibile, rispondendo ai requisiti di riservatezza di molte organizzazioni. La capacità di fine-tuning consente di adattare facilmente il modello a domini specifici senza competenze approfondite di ML.

Il modello è distribuito sotto licenza MIT, consentendo l'uso gratuito in contesti commerciali e di ricerca. Questo approccio open source posiziona NuExtract come alternativa credibile alle API di estrazione proprietarie, in particolare per le organizzazioni attente al controllo dei propri costi e dei propri dati.

L'articolo illustra una tendenza importante: modelli specializzati di dimensioni contenute possono rivaleggiare con i giganti generalisti su compiti mirati, aprendo la strada a deployment più economici e sovrani.