ZML/LLMD : et si le « Docker des LLM » était français ?

Puntos clave

1. Idea central: la inferencia es el nuevo cuello de botella. Tras dos años centrados en el tamaño de los modelos y el coste del entrenamiento, el despliegue en producción desplaza el foco: lo que importa en el día a día es el coste por token servido, la latencia percibida y la dependencia de un único proveedor de silicio. El serving se convierte en "tanto la factura de la nube como el margen de maniobra estratégico".
2. La apuesta de ZML: model to metal, desacoplar el modelo del hardware. No un modelo más, sino una capa de abstracción. La pila tiene cuatro capas: (1) modelos (Qwen, Gemma, Mistral, LLaMa) cargados de forma zero-copy mediante un FS virtual desde HF/S3/GCS, sin descarga local; (2) LLMD, un servidor que expone una API compatible con OpenAI (drop-in) con continuous batching, paged attention, prefix caching, tool calling, métricas Prometheus; (3) ZML, un compilador AOT (Zig + MLIR) hacia un binario nativo hermético, sin Python en la ruta de ejecución; (4) ejecución en 5 backends: NVIDIA CUDA, AMD ROCm, Google TPU, Intel oneAPI, Apple Metal.
3. Una elección de diseño decisiva: "portable, no nivelado". En lugar de reducir todos los aceleradores a un mínimo común denominador, ZML conserva las rutas específicas de cada chip (FlashAttention en NVIDIA, kernels AITER en AMD). Esto es lo que distingue una abstracción útil de un suelo de rendimiento.
4. Cifras anunciadas (afirmaciones del proveedor, a verificar). Imágenes de contenedor muy compactas: ~1,7 GB (CUDA), 280 MB (TPU), ~140 MB (build Apple). Arranque en frío del orden de 1 a 2 s en un modelo de 8B. La firma insiste: "a la espera de mediciones independientes".
5. DFlash — decodificación especulativa integrada. ZML reivindica "hasta 10×"; la investigación subyacente (arXiv:2602.06036, block diffusion for flash speculative decoding) reporta en cambio ~6,17× en Qwen3-8B. Un matiz que conviene mantener presente ante una audiencia técnica.
6. La demo en dos comandos (Mac con Apple Silicon). brew install zml/zml/llmd y después llmd --model=hf://Qwen/Qwen3.6-27B → un servidor local con una API OpenAI, consultable vía curl localhost:8000/v1/chat/completions. Todo el valor de la compatibilidad con OpenAI: los scripts/bibliotecas se reconectan sin reescritura. Dos advertencias: la primera solicitud es más lenta (compilación del grafo); un modelo de 27B en BF16 requiere ≥ 64 GB de memoria unificada.
7. Dos componentes, dos licencias (a tener en cuenta antes de construir encima). ZML = framework de código abierto (Apache-2.0, Zig). LLMD = servidor no de código abierto, gratuito en el lanzamiento mientras se recopilan datos de uso de cara a una futura monetización.
8. Tres apuestas propias de consultora. (1) Económica / FinOps: desacoplar la carga de trabajo del silicio = el derecho a elegir el chip más barato o más disponible → actuar sobre el coste por token (una lógica de "coste por resultado"). (2) Libertad arquitectónica: alejarse de "una base de código por objetivo de hardware" reduce la deuda técnica y el coste de migración, y preserva el poder de negociación —esto es Design to Exit (pagar por adelantado la capa que hace que el proveedor sea reemplazable), extendido hasta el nivel del chip; un paralelismo con el caso de la plataforma France Télévisions / ALIX. (3) Soberanía: ZML se posiciona como facilitador de chips europeos emergentes (Axelera, Kalray, SiPearl, VSORA).
9. Un anclaje de soberanía concreto: VivaTech 2026. Una alianza ZML × Scaleway × VSORA × Región de Île-de-France en torno a una cadena de valor de inferencia soberana (desde el silicio hasta la operación), con la capa ZML integrada en el procesador VSORA Jotunn8.
10. Credibilidad a través de la financiación. Fundada en París en 2023, ~20 personas, ~20 millones de dólares recaudados (20VC, Kima Ventures/Xavier Niel, Kindred Capital, LocalGlobe, Puzzle Ventures). Business angels destacados: Solomon Hykes (creador de Docker —un guiño a la metáfora—), Clément Delangue y Julien Chaumond (Hugging Face), y Yann LeCun (Turing), que la respalda públicamente.
11. Veredicto sin concesiones. LLMD es una vista previa técnica: no apta para producción, con un catálogo de modelos en expansión. Sobre todo, el soporte de las máquinas locales que todos tienen en mente (DGX Spark ARM64+Blackwell, Ryzen AI Max+ 395, Macs recientes) puede inferirse a partir de los backends, pero no se menciona ni se somete a benchmark —"a verificar uno mismo". Posicionamiento competitivo: vLLM sigue siendo la referencia en rendimiento en GPUs de servidor (aunque el soporte de Apple Silicon es comunitario/experimental); llama.cpp sigue siendo el rey del uso local individual; LLMD apunta a un término medio —"un vLLM que se instala en un Mac". Recomendación: no adoptar, situar bajo vigilancia activa.
12. Para referencia cruzada. la familia "soberanía / multi-nube vs. soberano" y "arquitectura multi-LLM soberana" (artículos de SFEIR); el FinOps de la IA generativa y el coste por resultado (nota de Didier Girard sobre AI4IT vs AI4Business); Steeve Morin ya presente en el corpus (presentador del podcast "À la French").