Am 8. Juli 2026 veröffentlichte das Pariser Startup ZML LLMD, einen Inferenzserver, der große Sprachmodelle über fünf Chip-Familien hinweg (NVIDIA, AMD, Google, Intel, Apple) aus einer einzigen Codebasis ausführt. SFEIR liest dies als Signal: Während das Training zugunsten der Inferenz in den Hintergrund tritt, verlagert sich das eigentliche Schlachtfeld — und Kostenzentrum — hin zum Serving, wo Kosten pro Token, Latenz und Abhängigkeit vom Silizium entschieden werden.
Die Wette von ZML lässt sich auf drei Worte bringen, model to metal: nicht ein weiteres Modell anbieten, sondern eine Schicht, die das Modell von der Hardware entkoppelt. Der Stack besteht aus vier Schichten. Oben Modelle (Qwen, Gemma, Mistral, LLaMa), geladen zero-copy über ein virtuelles Dateisystem aus Hugging Face, S3 oder GCS. Dann LLMD, ein Server, der eine OpenAI-kompatible API (drop-in) bereitstellt mit Continuous Batching, Paged Attention, Prefix Caching, Tool Calling und Prometheus-Metriken. Darunter kompiliert ZML den Graphen im Voraus, ein für alle Mal, zu einem hermetischen nativen Binary in Zig + MLIR, ohne Python im Ausführungspfad. Dieses Binary läuft auf fünf Backends: CUDA, ROCm, TPU, oneAPI, Metal. Die Eleganz liegt darin, "portabel, nicht nivelliert" zu sein — chipspezifische Pfade (FlashAttention, AITER) bleiben erhalten. Angekündigte Zahlen (laut Hersteller): Images von 1,7 GB (CUDA) bis ~140 MB (Apple), Cold Start von 1-2 s bei einem 8B-Modell, und der DFlash-Beschleuniger (behauptet "bis zu 10×", ~6,17× in der zugrunde liegenden Forschung).
Zwei Komponenten, zwei Lizenzen: ZML (das Framework) ist Open Source (Apache-2.0, >90% Zig); LLMD (der Server) ist es nicht, bei Markteinführung kostenlos, während Nutzungsdaten gesammelt werden. Die Demo läuft in zwei Befehlen auf Macs mit Apple Silicon; ein 27B-Modell in BF16 erfordert ≥ 64 GB Unified Memory.
SFEIR betrachtet das Objekt durch drei kundenorientierte Brillen: FinOps (den günstigsten Chip wählen → auf die Kosten pro Token einwirken), architektonische Freiheit (Design to Exit, eingebaute Reversibilität, vgl. France Télévisions/ALIX) und Souveränität (europäische Chips Axelera, Kalray, SiPearl, VSORA; eine VivaTech-2026-Partnerschaft mit Scaleway, VSORA und der Region Île-de-France, Integration in den Jotunn8-Prozessor).
Schonungsloses Urteil: Es handelt sich um eine Alpha, nicht für die Produktion geeignet; die Unterstützung spezifischer lokaler Maschinen (DGX Spark, Ryzen AI Max+) wird weder benannt noch benchmarkt. Gegenüber vLLM (Server-GPU-Durchsatz) und llama.cpp (lokaler Einzelnutzer-Betrieb) zielt LLMD auf den Mittelweg. Heute noch kein Wechsel, aber "unter aktiver Beobachtung" zu halten: ein ernstzunehmender, made in France-Kandidat, um zum "docker run der Inferenz" zu werden.