Olive Song, Senior Researcher presso MiniMax, presenta il modello MiniMax M2, un modello linguistico progettato specificamente per compiti di coding e agentici. Con soli 10 miliardi di parametri attivi, si posiziona come un'alternativa estremamente capace e "cost-efficient" ai modelli giganti, rivolgendosi in particolare a sviluppatori e aziende.
Il punto di forza del modello si basa su diverse innovazioni chiave nel suo addestramento: 1. Esperienza di coding realistica: MiniMax utilizza i propri sviluppatori esperti come Reward Model per il Reinforcement Learning, allineando il comportamento del modello alle reali aspettative degli ingegneri (qualità del codice, affidabilità). 2. Interleaved Thinking: Per gestire compiti a lungo orizzonte, M2 non utilizza una semplice catena di pensiero lineare. Alterna dinamicamente tra "Thinking" e "Acting" (utilizzo di uno strumento). Se uno strumento fallisce o restituisce un risultato inatteso (rumore dell'ambiente), il modello rivaluta la situazione e tenta un approccio diverso, rispecchiando il comportamento umano di fronte all'incertezza. 3. Generalizzazione robusta: Per evitare che l'agente funzioni bene solo all'interno di una configurazione specifica, MiniMax inietta perturbazioni costanti nei dati di addestramento (modifiche al formato del prompt, al formato della risposta dello strumento). Questo rende l'agente capace di adattarsi a diversi "scaffold" (ambienti di esecuzione) senza perdere efficacia. 4. Scalabilità multi-agente: Le dimensioni ridotte del modello permettono di eseguire più istanze in parallelo (ad esempio, un agente di ricerca, un agente di scrittura, un agente front-end) per risolvere compiti complessi in modo collaborativo a costi inferiori.
Olive Song conclude presentando la roadmap futura (M2.5, M3), che include una gestione migliorata del contesto e della memoria, e un'integrazione multimodale nativa (audio/video).