vLLM 架构拆解自顶向下读源码

一个中文学习站,逐层拆解 vllm-project/vllm 这个高吞吐 LLM 推理引擎的整体设计;每一步都直链 GitHub 对应源码行,版本钉在 v0.25.1。

自顶向下

从 EngineArgs → LLMEngine → EngineCore → Scheduler → Executor → Worker/ModelRunner → 模型加载 → KV Cache → Attention → 采样 → 分布式,一层层往下展开。

每个关键文件都带 SrcLink,点开就是 GitHub 上对应的那几行;版本钉在 v0.25.1,升版本只改一处。

不只是给指针——关键函数的 5-15 行真实 Python 源码直接贴在页面里,前后用中文点出在做什么。

每页除了职责,还讲为什么这么设计,以及边界情况和失败模式怎么处理。

v0.25 已切到 v1 架构:EngineCore 走 ZMQ 后台进程,Scheduler 做连续批处理与抢占,KVCacheCoordinator + BlockPool 实现 PagedAttention 与 prefix caching。

本站聚焦架构拆解与源码定位,安装使用看官方文档,不重复造使用文档。