Vai al contenuto

root / tags / dgx-spark

#DGX Spark

2 fiches

Strumenti e Piattaforme Traduzione verificata automaticamente

ZML/LLMD : et si le « Docker des LLM » était français ?

Analisi SFEIR (voce da società di consulenza) del lancio, l'8 luglio 2026, di **LLMD** da parte della startup parigina **ZML** (fondata da **Steeve Morin**, ex VP Engineering di Zenly): un server di inferenza che esegue LLM su **cinque famiglie di chip** (NVIDIA CUDA, AMD ROCm, Google TPU, Intel oneAPI, Apple Metal) **a partire da un'unica codebase**. Tesi strutturante: il training sta cedendo il centro della scena all'**inferenza**, dove si decidono ormai il costo per token, la latenza e soprattutto la **dipendenza dal silicio**. La scommessa di ZML — riassunta dal motto *model to metal* — consiste nel **disaccoppiare il modello dall'hardware** tramite un compilatore scritto in **Zig + MLIR** che produce un binario nativo ermetico, senza Python nel percorso di esecuzione, esposto tramite una **API compatibile con OpenAI**. Due componenti, due licenze: **ZML** (il framework, Apache-2.0, >90% Zig) è open source; **LLMD** (il server) non lo è, gratuito al lancio. L'articolo legge l'oggetto attraverso tre lenti da società di consulenza — **FinOps dei token**, **libertà architetturale** (Design to Exit), **sovranità** (chip europei emergenti, integrazione nel processore VSORA Jotunn8) — per poi emettere un verdetto senza sconti: si tratta di un'**alpha**, da mettere "sotto osservazione attiva", non da adottare oggi.

#Inferenza LLM#serving#ZML

SFEIR (voix éditoriale du cabinet)