🚀 vLLMがGitHubの星数7万を突破しました!🎉 エンジンはこの節目以降、急速に進化を続けています。私たちは大規模なサービス、つまりNVIDIA BlackwellのWideEPと専門的な並列処理による本番レベルのマルチノードサポートを推進し、最大モデルを大規模にサービスできるよう努めています。より多くのモデル、より多くのハードウェア、非同期スケジューリングによるスループット向上、音声と音声のリアルタイムストリーミング、そしてテキスト、映像、動画、音声にわたるマルチモーダルストーリーの拡大。 スポンサーの皆様、2,100+の貢献者、@PyTorchの友人、@huggingface Transformers、そして私たちが密接に連携してデイゼロサポートを提供するモデルラボの皆様に心から感謝します。@deepseek_ai、@Alibaba_Qwen、@MiniMax_AI、@Kimi_Moonshot、@MistralAI、そしてここに収まりきれない多くのパートナー@NVIDIAAIDev、@RedHat_AI、@AIatAMD、@AIatMetaなど、vLLMをより多くのプラットフォームとより多くの人々に届ける手助けをしてくれています。このエコシステムを今のままに作り上げるのです。💛💙 またこの時期に、vLLMの開発者とコアメンテナによって@inferactが設立され、vLLMの成長と推論の安価かつ高速化に専念しました。 次の章へ――一緒に。誰にでも簡単で速く、安価なLLMサービスを提供します。🌍