Zum Inhalt springen

root / tags / dgx-spark

#DGX Spark

2 Fiches

Tools & Plattformen Automatisch geprüfte Übersetzung

ZML/LLMD : et si le « Docker des LLM » était français ?

SFEIR-Analyse (Stimme eines Beratungsunternehmens) zur Markteinführung von **LLMD** am 8. Juli 2026 durch das Pariser Startup **ZML** (gegründet von **Steeve Morin**, ehemaliger VP Engineering bei Zenly): ein Inferenzserver, der LLMs über **fünf Chip-Familien** hinweg ausführt (NVIDIA CUDA, AMD ROCm, Google TPU, Intel oneAPI, Apple Metal) **aus einer einzigen Codebasis**. Strukturierende These: Das Training tritt zugunsten der **Inferenz** in den Hintergrund, wo Kosten pro Token, Latenz und vor allem die **Abhängigkeit vom Silizium** nun entschieden werden. Die Wette von ZML — zusammengefasst im Motto *model to metal* — besteht darin, **das Modell von der Hardware zu entkoppeln** über einen in **Zig + MLIR** geschriebenen Compiler, der ein hermetisches natives Binary erzeugt, ohne Python im Ausführungspfad, bereitgestellt über eine **OpenAI-kompatible API**. Zwei Komponenten, zwei Lizenzen: **ZML** (das Framework, Apache-2.0, >90% Zig) ist Open Source; **LLMD** (der Server) ist es nicht, bei Markteinführung kostenlos. Der Artikel betrachtet das Objekt durch drei Brillen eines Beratungsunternehmens — **Token-FinOps**, **architektonische Freiheit** (Design to Exit), **Souveränität** (aufkommende europäische Chips, Integration in den VSORA-Jotunn8-Prozessor) — und liefert dann ein schonungsloses Urteil: Es handelt sich um eine **Alpha**, die "unter aktiver Beobachtung" zu halten ist, heute noch kein Wechsel.

#LLM Inference#serving#ZML

SFEIR (voix éditoriale du cabinet)