🚀 vLLM heeft net 70K GitHub-sterren bereikt! 🎉 De engine is snel blijven evolueren sinds de laatste mijlpaal. We hebben hard gewerkt aan grootschalige service — productieklare multi-node ondersteuning op NVIDIA Blackwell met WideEP en expert parallelisme, waardoor het praktisch wordt om de grootste modellen op schaal te bedienen. Meer modellen, meer hardware, asynchrone planning voor hogere doorvoer, realtime streaming voor spraak en audio, en een groeiend multimodaal verhaal over tekst, visie, video en stem. Grote dank aan onze sponsors, onze 2.100+ bijdragers, vrienden bij @PyTorch, @huggingface Transformers, en de model labs waarmee we nauw samenwerken om dag-0 ondersteuning te bieden — @deepseek_ai, @Alibaba_Qwen, @MiniMax_AI, @Kimi_Moonshot, @MistralAI, en partners @NVIDIAAIDev, @RedHat_AI, @AIatAMD, @AIatMeta, en vele anderen die we hier niet kunnen vermelden — allemaal helpen vLLM naar meer platforms en meer mensen te brengen. Jullie maken dit ecosysteem wat het is. 💛💙 Ook tijdens deze periode werd @inferact opgericht door de makers en kernonderhouders van vLLM, toegewijd aan het laten groeien van vLLM en het goedkoper en sneller maken van inferentie. Op naar het volgende hoofdstuk — samen. Eenvoudige, snelle en goedkope LLM-service voor iedereen. 🌍