相比，它提供高达 24 倍的吞吐量，而无需进行任何模型架构更改。今天，vLLM 在 GitHub 上的星标数已经突破 21.8k，而距离去年 6 月开源以来只过去了一年。

　　vLLM 支持几乎所有最新的开源 LLM，包括 Mistral，Llama，Gemma 等 30+ 大模型。一个新的开源大模型，几乎都会在发布前主动接触 vLLM 做好适配优化，确保在上线的第一天，大家就能通过 vLLM 来使用它。

　　架构。从项目创立起，vLLM 就希望能广泛支持能够使得推理更快、成本更低也更适用的硬件。在 ChatGPT 上线、Facebook 成为 Meta 之前，vLLM 诞生于一个名为「Alpa」的自动化并行推理 demo 项目。但在部署过程中，vLLM 团队发现 demo 的速度很慢，GPU 利用率也非常低。这让他们意识到，大语言模型推理本身就是一个非常值得关注的问题。当时的市面上没有任何大语言模型推理优化的开源系统。于是，团队决定从 0 开始自己动手做一个。面对 GPU 的内存管理带来的瓶颈，团队在多次迭代后，基于

　　PagedAtetion，并构建了高吞吐量的分布式 LLM 服务引擎 vLLM，几乎做到了 KV 缓存内存零浪费。2023 年 6 月，创始团队发布 vLLM 开源代码，并一直维护到今天。下一步，团队计划将资金用于 vLLM 的开发、测试和性能提升。40 年前，世界上最后一个

　　Richard Stallman 发起自由软件运动，开放、平等、协作、共创的开源精神开始崛起。从 GNU 和

　　的结合，到 MySQL 的第一个版本发布，到 Mozilla 项目的成立，到分布式版本控制系统Git 的雏形面世、Android的诞生，再到 GitHub 席卷全球，开源带来的创新几乎书写了一部计算机信息技术的历史。这种创新来自全世界的聚力协作。vLLM 的全职团队只有 3 个博士生，但 20 多名分布于大模型、Infra、硬件等前沿的软件工程师都在为之努力。

　　为了吸引更多的贡献者，vLLM 对代码质量要求极高。团队要求代码必须模块化，且非常简洁易读。同时，团队成员会非常认真地做好代码审查（Code Review），甚至会在开发者提交代码更改（Pull Request，PR）后，在 PR 上接着重构后再进行合并。vLLM 社区的开发者们在过去 4 场线下见面会上，会用网名亲切地称呼彼此。当位于硅谷的 vLLM 团队每天早上醒来，就会发现一位来自英国的工程师在夜里默默解决掉了二三十个问题。

　　、Roblox 在内的 300 多名活跃协作者，在以一行代码为颗粒度持续参与贡献。vLLM GitHub 的每 10 条提交记录中，就有 8 条来自社区，而这与 Linux Kernel 在发布 30 年后才达到的比例状态相当。

　　自从成立，真格基金始终是新技术和创业精神的坚定支持者。我们想成为一直坚定地站在创始人身边的人，陪伴他们引领科技创新并改变这个世界。2022 年，真格基金就曾向开源项目 ControlNet 发起捐赠。真格基金管理合伙人戴雨森表示，「这次对 vLLM 这一开源项目的捐赠，是因为我们始终致力于推动 AI 的普及，希望新技术能惠及尽可能多的人类。和

　　界相比，学术界的优秀工作目前往往受到更多成本和算力的限制。我们相信，改变世界的最好方式是自己创造——如果可以，与全世界的开发者一起创造。而对于创造未来的重要基石，我们愿尽绵薄之力。」

　　如果你在使用 vLLM 时有任何需求与反馈，欢迎在文章下留言，联系真格基金帮忙对接。真格基金一直持续关注前沿 AI 领域的发展，如果你有好的创业想法，也欢迎和我们聊聊。文｜Wendi