vLLM-prosjektet har sluppet Humming, et åpent kjernebibliotek for kvantiserte modeller, integrert i vLLM 0.29.0. Det støtter NVIDIA-kort fra Turing-generasjonen og nyere, noe som gjør det billigere å kjøre åpne modeller på eldre maskinvare.
Relatert tjeneste: Praktisk KI-innføring →På GTC Berlin annonserte NVIDIA nye akselerasjoner for llama.cpp og vLLM, optimaliserte sjekkpunkter for lokal kjøring, DGX Spark 64 GB fra 23. oktober og DGX Station for Windows i desember.
Relatert tjeneste: Praktisk KI-innføring →DeepSeek publiserer programvaren selskapet kjører modellene sine på, for å senke driftskostnader. Samme dag: llm-d 1.0 og vLLM TorchTPU-backend for Googles TPU-er.
Relatert tjeneste: Praktisk KI-innføring →Bildemodeller som kombinerer generering og redigering, med native gjennomsiktighet og opptil 10 referansebilder. Turbo beskrives som åpen kildekode.
Relatert tjeneste: Praktisk KI-innføring →Én vision-language-action-modell for gange, persepsjon og manipulering; Unitree oppgir 64 flertrinnsoppgaver på egne humanoider uten bytte av policy.
Relatert tjeneste: Praktisk KI-innføring →