LLM Infer Infra 学习资料库
这套资料围绕一个问题展开：怎样让大模型在有限的 GPU、内存和网络资源上，正确、稳定、低成本地服务更多请求？
资料按 LLM Infer Infra 的技术问题组织：先理解共同原理和系统取舍，再比较具体实现，最后通过实验验证。vLLM、SGLang、LMCache、Mooncake 是深入源码的案例，放在各主题内部，不作为全库的学习分区。重点方向是 KV Cache 管理、分布式存储与数据传输。
先从这里开始
| 你要找什么 | 直接入口 |
|---|---|
| 架构图、部署图、运行流程、状态与读写设计 | 设计图册：13 张可直接查看的图与逐图说明 |
| 动手算一算：容量、加载还是重算、命中折叠、超时租约 | 互动演示：改参数立刻看结果 |
| P7–P8 推理 Infra 专家面试，重点 KV 存储 | 专家能力总纲：要准备什么 · 16 道深挖问答：具体怎么答 |
| KV Cache 存储的详细原理 | 数据模型、发布、保护、容量、性能与故障 |
| LMCache 与 Mooncake 怎样一起工作 | 保存/恢复链路、锁与租约、源码和失败路径 |
| 推理过程动态演示、框架对比 | 基础：张量变化 / 连续批处理 / PagedAttention · 进阶：并行 / 投机解码 / PD / FlashAttention / 调度 / 抢占 · vLLM vs SGLang、LMCache vs Mooncake |
| 推理优化与大规模集群 | 推理优化方法 · 万卡集群的挑战 |
| 复杂模型、GPU 基础、真实环境测量 | MLA/滑窗/混合状态 · GPU 与 kernel 基础 · 实测与故障演练 |
| 资料是否完整，哪些仍需补足 | 结构审阅与覆盖矩阵 |
图片与详细说明集中在设计图册。这套资料直接以 HTML 维护，打开即可学习，提供主题导航、页内目录、主题搜索和图片展示。后续可让 AI 直接修改对应页面，具体见维护说明。
一、沿系统链路学习
| 主题入口 | 核心问题 | 学完应能交付 |
|---|---|---|
| 01 基础与全景 | 模型怎样生成 token？计算、显存、网络和延迟是什么关系？ | 请求全链路图、容量与时间算例 |
| 02 推理运行时 | 请求怎么排队、组成 batch、交给 GPU，再安全结束？ | 调度循环、状态机和资源所有权表 |
| 03 KV Cache 管理 | 哪些状态可以复用？如何分页、共享、分层、加载与回收？ | 正确性条件、缓存生命周期和收益模型 |
| 04 分布式存储 | 对象存在哪里？谁能读？副本、租约、淘汰与故障怎么处理？ | Put/Get 时序、容量和故障设计 |
| 05 数据传输 | 字节如何跨 CPU、GPU 和机器移动？何时算完成？ | 数据路径、带宽预算和安全释放条件 |
| 06 Serving 与性能 | 怎样组合计算、缓存和通信，让更多请求满足 SLO？ | 部署取舍、端到端性能分析与选型依据 |
| 07 实验与验证 | 怎样证明优化正确且有用？ | 可复现实验、对照结果和失败分析 |
| 08 岗位、计划与面试 | 不同方向要学多深？怎样把知识变成项目和回答？ | 学习计划、能力清单、系统设计和项目讲述 |
编号表示建议阅读顺序，不表示严格调用顺序。01–06 是技术主题，07–08 是贯穿其中的实验与能力维度，不是八层运行架构。
二、每个主题怎么读
统一采用 问题 → 原理 → 设计取舍 → 实现对照 → 实验与验收 的顺序。例如学习前缀缓存：
- 先理解前缀、模型和位置等条件为什么影响 KV 正确性。
- 再学习分页、引用、索引、淘汰和异步加载的共同约束。
- 在同一个问题下比较 block hash、Radix、分层缓存控制等方案。
- 最后进入
03-kv-cache/implementations/，对照框架源码，做一次命中、失配和失败实验。
这样更换框架后，已有知识仍能用于判断新系统的行为。框架名相同也不能替代版本、模型、布局与接口契约核对。
三、实际目录约定
技术主题/
├── index.html # 共同问题、原理、取舍、阅读与验收
├── 共同专题.html # 不依赖某个框架的深入解释
└── implementations/
└── 具体项目/
└── 实现专题.html # 当前版本的机制、源码、边界与差异
基础概念集中在主题层；具体类、接口、启动参数和版本限制进入实现层。跨主题长文按主要问题归属一处，其余主题引用相应章节。比如 Store 的对象生命周期属于存储，RDMA 注册和传输完成属于数据传输，二者互相链接。
四、按目标选择路线
| 目标 | 重点路径 |
|---|---|
| 建立完整认知 | 01 → 02 → 03 → 04 → 05 → 06，各主题先读入口 |
| 推理引擎 | 01 → 02 → 03 → 06，在请求调度和执行处深入一个实现 |
| KV Cache 存储 | 01 → 02 的缓存边界 → 03 → 04 → 05 → 06 的收益评价 |
| 通信/GPU 性能 | 01 → 05 → 06，补 02 的执行依赖和 03 的数据布局 |
| Serving 平台 | 01 → 02 → 06，补 03–05 的容量、路由和故障约束 |
所有路线都配合 07 实验和 08 岗位计划。直接执行统一 28 天计划；需要查旧教材、源码或论文时使用资料索引。