Le 8 juillet 2026, la startup parisienne ZML publie LLMD, un serveur d'inférence qui fait tourner les grands modèles de langage sur cinq familles de puces (NVIDIA, AMD, Google, Intel, Apple) depuis une seule base de code. SFEIR y voit un signal : à mesure que l'entraînement cède la vedette à l'inférence, le vrai champ de bataille — et de coût — se déplace vers le serving, où se jouent le coût par token, la latence et la dépendance au silicium.
Le pari de ZML tient en trois mots, model to metal : ne pas proposer un énième modèle, mais une couche qui découple le modèle du matériel. La pile a quatre étages. En haut, les modèles (Qwen, Gemma, Mistral, LLaMa) chargés zero-copy via un système de fichiers virtuel depuis Hugging Face, S3 ou GCS. Puis LLMD, serveur exposant une API compatible OpenAI (drop-in) avec continuous batching, paged attention, prefix caching, tool calling et métriques Prometheus. En dessous, ZML compile le graphe en amont, une fois pour toutes, vers un binaire natif hermétique en Zig + MLIR, sans Python dans le chemin d'exécution. Ce binaire s'exécute sur cinq backends : CUDA, ROCm, TPU, oneAPI, Metal. L'élégance : « portable, pas nivelé » — les chemins spécifiques par puce (FlashAttention, AITER) sont préservés. Chiffres annoncés (éditeur) : images de 1,7 Go (CUDA) à ~140 Mo (Apple), cold start de 1-2 s sur un 8B, et l'accélérateur DFlash (« jusqu'à 10× » revendiqué, ~6,17× dans la recherche).
*docker run* de l'inférence
Deux briques, deux licences : ZML (framework) est open source (Apache-2.0, >90 % Zig) ; LLMD (serveur) ne l'est pas, gratuit au lancement le temps de collecter les usages. La démo tient en deux commandes sur Mac Apple Silicon ; un 27B en BF16 réclame ≥ 64 Go de mémoire unifiée.
SFEIR lit l'objet sous trois angles clients : FinOps (choisir la puce la moins chère → agir sur le coût du token), liberté d'architecture (Design to Exit, réversibilité construite, cf. France Télévisions/ALIX) et souveraineté (puces européennes Axelera, Kalray, SiPearl, VSORA ; partenariat VivaTech 2026 avec Scaleway, VSORA et la Région Île-de-France, intégration dans le processeur Jotunn8).
Verdict sans complaisance : c'est une alpha, pas pour la production ; le support des machines locales précises (DGX Spark, Ryzen AI Max+) n'est ni nommé ni benchmarké. Face à vLLM (débit GPU serveur) et llama.cpp (local mono-utilisateur), LLMD vise l'entre-deux. Ne pas basculer aujourd'hui, mais mettre « sous surveillance active » : un candidat sérieux, made in France, pour devenir le « docker run de l'inférence ».