🚀 vLLM vừa đạt 70K sao trên GitHub! 🎉 Công cụ này đã tiếp tục phát triển nhanh chóng kể từ cột mốc cuối cùng. Chúng tôi đã nỗ lực rất nhiều trong việc phục vụ quy mô lớn — hỗ trợ đa nút chất lượng sản xuất trên NVIDIA Blackwell với WideEP và song song chuyên gia, giúp phục vụ các mô hình lớn nhất một cách thực tế. Nhiều mô hình hơn, nhiều phần cứng hơn, lập lịch bất đồng bộ để tăng thông lượng, phát trực tiếp thời gian thực cho giọng nói và âm thanh, và một câu chuyện đa phương tiện đang phát triển trên văn bản, hình ảnh, video và giọng nói. Cảm ơn rất nhiều đến các nhà tài trợ của chúng tôi, hơn 2,100 người đóng góp, bạn bè tại @PyTorch, @huggingface Transformers, và các phòng thí nghiệm mô hình mà chúng tôi làm việc chặt chẽ để mang lại hỗ trợ ngày-0 — @deepseek_ai, @Alibaba_Qwen, @MiniMax_AI, @Kimi_Moonshot, @MistralAI, và các đối tác @NVIDIAAIDev, @RedHat_AI, @AIatAMD, @AIatMeta, và nhiều người khác mà chúng tôi không thể liệt kê ở đây — tất cả đều giúp mang vLLM đến với nhiều nền tảng và nhiều người hơn. Các bạn làm cho hệ sinh thái này trở thành như vậy. 💛💙 Cũng trong thời gian này, @inferact đã được thành lập bởi những người sáng tạo và những người duy trì cốt lõi của vLLM, cam kết phát triển vLLM và làm cho việc suy diễn trở nên rẻ hơn và nhanh hơn. Hướng tới chương tiếp theo — cùng nhau. Dịch vụ LLM dễ dàng, nhanh chóng và rẻ cho mọi người. 🌍