vLLM 架構拆解自頂向下讀源碼

一個中文學習站,逐層拆解 vllm-project/vllm 這個高吞吐 LLM 推理引擎的整體設計;每一步都直鏈 GitHub 對應源碼行,版本釘在 v0.25.1。

自頂向下

從 EngineArgs → LLMEngine → EngineCore → Scheduler → Executor → Worker/ModelRunner → 模型載入 → KV Cache → Attention → 採樣 → 分佈式,一層層往下展開。

每個關鍵檔案都帶 SrcLink,點開就是 GitHub 上對應的那幾行;版本釘在 v0.25.1,升版本只改一處。

不只是給指針——關鍵函數的 5-15 行真實 Python 源碼直接貼在頁面裡,前後用中文點出在做什麼。

每頁除了職責,還講為什麼這麼設計,以及邊界情況和失敗模式怎麼處理。

v0.25 已切到 v1 架構:EngineCore 走 ZMQ 後臺行程,Scheduler 做連續批次與搶佔,KVCacheCoordinator + BlockPool 實現 PagedAttention 與 prefix caching。

本站聚焦架構拆解與源碼定位,安裝使用看官方文件,不重複造使用文件。