🚀 vLLM 刚刚达到了 70K GitHub 星标！ 🎉 自上一个里程碑以来，这个引擎一直在快速发展。我们在大规模服务方面不断努力——在 NVIDIA Blackwell 上实现生产级多节点支持，结合 WideEP 和专家并行，使得大规模服务最大的模型成为可能。更多模型，更多硬件，异步调度以提高吞吐量，实时流媒体用于语音和音频，以及在文本、视觉、视频和语音之间不断增长的多模态故事。 非常感谢我们的赞助商、2100+ 名贡献者、@PyTorch 的朋友们、@huggingface Transformers，以及我们紧密合作的模型实验室，带来零日支持——@deepseek_ai、@Alibaba_Qwen、@MiniMax_AI、@Kimi_Moonshot、@MistralAI，以及合作伙伴 @NVIDIAAIDev、@RedHat_AI、@AIatAMD、@AIatMeta，还有许多我们无法在这里列出的伙伴——所有人都在帮助将 vLLM 带给更多平台和更多人。你们让这个生态系统变得如此美好。 💛💙 在此期间，@inferact 由 vLLM 的创始人和核心维护者成立，致力于推动 vLLM 的发展，使推理变得更便宜、更快速。 进入下一个篇章——一起。为每个人提供简单、快速、便宜的 LLM 服务。 🌍