vLLM アーキテクチャ解説トップダウンでソースを読む

vllm-project/vllm という高スループット LLM 推論エンジン全体の設計を、階層ごとに解き明かす日本語学習サイト。各ステップで GitHub の対応するソース行へ直接リンク、バージョンは v0.25.1 で固定。

トップダウン

EngineArgs → LLMEngine → EngineCore → Scheduler → Executor → Worker/ModelRunner → モデル読み込み → KV Cache → Attention → サンプリング → 分散、と一層ずつ下へ展開。

ソース位置特定

各主要ファイルに SrcLink を付与、クリックすると GitHub の該当行が開く。バージョンは v0.25.1 で固定、バージョンアップ時は一箇所変更するだけ。

リアルコード埋め込み

単なるポインタではなく、主要関数の 5-15 行の実際の Python ソースをページ中に直接掲載し、前後に日本語で何をしているかを解説。

設計動機と境界

各ページは役割だけでなく、なぜこの設計なのか、境界ケースや失敗モードをどう扱うかまで解説。

v1 アーキテクチャと PagedAttention

v0.25 は v1 アーキテクチャに移行済み。EngineCore は ZMQ バックグラウンドプロセスで動き、Scheduler が連続バッチング (continuous batching) とプリエンプションを担当、KVCacheCoordinator + BlockPool が PagedAttention とプレフィックスキャッシュ (prefix caching) を実装。

公式資料の再利用

本サイトはアーキテクチャ解説とソース位置特定に集中。インストールや使い方は公式ドキュメントを参照し、重複しない。