L'8 luglio 2026, la startup parigina ZML ha rilasciato LLMD, un server di inferenza che esegue grandi modelli linguistici su cinque famiglie di chip (NVIDIA, AMD, Google, Intel, Apple) a partire da un'unica codebase. SFEIR legge questo evento come un segnale: mentre il training cede il centro della scena all'inferenza, il vero campo di battaglia — e centro di costo — si sposta verso il serving, dove si decidono il costo per token, la latenza e la dipendenza dal silicio.
La scommessa di ZML si riassume in tre parole, model to metal: non proporre l'ennesimo modello, ma un layer che disaccoppia il modello dall'hardware. Lo stack conta quattro livelli. In cima, i modelli (Qwen, Gemma, Mistral, LLaMa) caricati in modalità zero-copy tramite un file system virtuale da Hugging Face, S3 o GCS. Poi LLMD, un server che espone una API compatibile con OpenAI (drop-in) con continuous batching, paged attention, prefix caching, tool calling e metriche Prometheus. Al di sotto, ZML compila il grafo a monte, una volta per tutte, in un binario nativo ermetico in Zig + MLIR, senza Python nel percorso di esecuzione. Questo binario gira su cinque backend: CUDA, ROCm, TPU, oneAPI, Metal. L'eleganza sta nell'essere "portabile, non livellato" — i percorsi specifici per ciascun chip (FlashAttention, AITER) vengono preservati. Cifre annunciate (dal fornitore): immagini da 1,7 GB (CUDA) a ~140 MB (Apple), cold start di 1-2 s su un modello da 8B, e l'acceleratore DFlash (rivendicato "fino a 10×", ~6,17× nella ricerca sottostante).
Due componenti, due licenze: ZML (il framework) è open source (Apache-2.0, >90% Zig); LLMD (il server) non lo è, gratuito al lancio mentre vengono raccolti dati di utilizzo. La demo gira in due comandi su Mac Apple Silicon; un modello da 27B in BF16 richiede ≥ 64 GB di memoria unificata.
SFEIR legge l'oggetto attraverso tre lenti rivolte ai clienti: FinOps (scegliere il chip più economico → agire sul costo per token), libertà architetturale (Design to Exit, reversibilità integrata, cfr. France Télévisions/ALIX) e sovranità (chip europei Axelera, Kalray, SiPearl, VSORA; una partnership VivaTech 2026 con Scaleway, VSORA e la Regione Île-de-France, integrazione nel processore Jotunn8).
Verdetto senza sconti: si tratta di un'alpha, non pronta per la produzione; il supporto per macchine locali specifiche (DGX Spark, Ryzen AI Max+) non è né citato né sottoposto a benchmark. Rispetto a vLLM (throughput su GPU server) e llama.cpp (uso locale monoutente), LLMD punta a una via di mezzo. Non da adottare oggi, ma da mettere "sotto osservazione attiva": un candidato serio, made in France, a diventare il "docker run dell'inferenza".