🚀 vLLM 剛剛達到 70K GitHub 星星！ 🎉 自上次里程碑以來，這個引擎一直在快速演進。我們在大規模服務方面努力不懈——在 NVIDIA Blackwell 上提供生產級的多節點支持，配合 WideEP 和專家級並行處理，使得在大規模上服務最大的模型變得實用。更多模型，更多硬體，異步排程以提高吞吐量，實時串流語音和音頻，以及在文本、視覺、視頻和語音之間不斷增長的多模態故事。 非常感謝我們的贊助商，我們的 2,100 多名貢獻者，@PyTorch 的朋友們，@huggingface Transformers，以及我們密切合作的模型實驗室，為我們帶來了即時支持——@deepseek_ai、@Alibaba_Qwen、@MiniMax_AI、@Kimi_Moonshot、@MistralAI，以及合作夥伴 @NVIDIAAIDev、@RedHat_AI、@AIatAMD、@AIatMeta，還有許多我們無法在這裡列出的夥伴——所有人都在幫助將 vLLM 帶到更多平台和更多人身邊。你們讓這個生態系統成為現在的樣子。 💛💙 在此期間，@inferact 由 vLLM 的創建者和核心維護者成立，致力於推動 vLLM 的發展，並使推理變得更便宜、更快速。 進入下一章——一起。為每個人提供簡單、快速且便宜的 LLM 服務。 🌍