资料结构与覆盖范围审阅
1. 审阅结论
结构:按技术主题组织是合理的。八个主题负责学习顺序,框架资料放在各主题的 implementations/ 中做案例。每篇文章只出现在所属主题下;首页“先从这里开始”表格负责把常用文章串起来,侧栏不再重复列出。
重叠内容怎样处理:没有把重复段落全部删成链接,以免读一段跳一次。做法是给容易重叠的文章写清“本篇定位”,说明以哪篇为准、本篇只负责什么:
- KV 存储的共同原理以KV 存储详解为准,Mooncake、LMCache 页面讲实现。
- 主线设计图集中在设计图册,框架页面的图只对应各自源码。
- 面试资料按“专家总纲 → 深挖问答 → 基础面试 → 项目题库”的顺序使用,重复的题以深挖问答为准。
- 基础概念以公共概念为准,其余基础篇标明是推导还是速查。
正文改写:从原 RST 教材转来的 10 个页面(LMCache 架构、时序图、后端契约、优化与可观测、实验,KV 原理,LMCache 专项目录、计划、系统设计、题库)已按“先说结论、再讲原因、最后说边界”重写正文,图、代码和公式保持不变;题库原本就是短答结构,只做了措辞和格式整理。
本轮补充:复杂模型与 KV 存储(MLA、滑窗、混合状态、MoE、KV 量化、多模态)、GPU 与 kernel 基础、实测与故障演练模板;互动容量计算器增加了 MLA;19 篇专项与旧格式页面加了白话导读;统一了全部页面标题。
知识点核查:已逐条复核全库 77 处带数字的算例(容量、带宽、对象数、元数据、时延、盈亏与容量规划),未发现计算错误;并核对了 FlashAttention、PagedAttention、RadixAttention、MLA、TTFT/ITL/TPOT、RDMA 零拷贝等易错概念。MLA 的 TP 复制、多模态与 LoRA 进入前缀 hash 等实现细节对照了 vLLM 学习版本源码;LMCache 与 Mooncake 对照资料中固定版本的源码,版本变化后需要重新核对。
覆盖目标是在线推理 Infra,重点 KV Cache 存储的学习、设计与面试准备;这不等于覆盖所有 LLM Infra 方向,也不等于已经完成生产或硬件验证。
2. 结构边界是否合理
| 边界 | 应怎样划分 | 本次处理 |
|---|---|---|
| 基础与实现 | 共同语义在主题层,类/接口/版本在实现层 | 保持主题优先,框架用于案例和源码对照 |
| 运行时与 KV 管理 | 前者决定执行,后者管理状态与可复用范围 | 用请求运行图和完成协议连接 |
| KV 管理与对象存储 | 前者理解前缀/layout,后者理解对象和资源 | 增加连续的存储教材与联合实现章节 |
| 存储与传输 | 前者决定发布/保护,后者移动字节 | 分开讲完成条件,并保留交叉引用 |
| Serving 与 GPU 性能 | 都影响服务,但粒度不同 | 当前共处性能主题;深 kernel 工程仍是后续专项 |
| 技术主题与学习工具 | 01–06 是技术主线,07–08 是实验与能力维度 | 不把八个目录当作八层运行架构 |
| 文档源与阅读站 | 内容维护需要可审阅,阅读需要导航与展示 | 只维护 HTML;旧 Markdown/RST 与生成快照已清理 |
已有长篇教材按主要问题归位,跨主题内容通过链接复用。旧编号和题号是定位标记,不是新课程顺序。仍有部分基础解释重叠,读者应按主题主线选读,不必重复执行专项计划。
3. 内容覆盖矩阵
“已覆盖”指有可阅读、推演和定位实现的材料,不代表相关软件已在本机完成全量验证。
| 能力 | 当前覆盖 | 入口 | 仍需补足的实践 |
|---|---|---|---|
| 请求与系统分层 | 原理、架构、运行、状态图 | 图册、运行时 | 对目标版本记录真实请求 trace |
| 推理与容量 | Attention、KV、显存、指标和计算题 | 公共基础 | 针对实际模型核对状态与 allocator |
| KV 语义与布局 | 前缀、页/chunk、group/rank、兼容性 | KV 主题、存储教材 | GPU 正确性、混合模型及版本切换 |
| 分层缓存 | staging、发布、预取、保留与回收 | LMCache 内核、HiCache | 并发、取消和内存压力实验 |
| 共享存储 | key、发布、租约、副本、元数据、HA 边界 | 存储详解、Store 内核 | 故障域退出、主切换与回源演练 |
| 联合接入 | LMCache→native adapter→Store→TE 的两条数据链 | 联合实现 | 匹配版本和硬件的端到端实验 |
| 通信与内存 | 注册、异步完成、NUMA、RDMA、GDR 边界 | 传输 | 多 NIC、PCIe、CPU 轮询与失败注入 |
| 性能与系统取舍 | 对照、goodput、PD、路由、并行、量化 | Serving | 真实负载、数值质量和尾延迟 |
| 专家设计能力 | 预算、协议、备选方案、故障与演进 | 专家总纲 | 独立设计、评审与交付证据 |
| 编码与并发 | 所有权、锁、幂等、在途合并的要求与练习 | 专家总纲 | 完整代码、边界用例和性能分析 |
| 多租户与升级 | 隔离、配额、版本化和迁移的设计问题 | 存储教材 | 授权集成、灰度、回滚与公平性验证 |
| 实验与项目表达 | 基线、消融、失败、报告和自评 | 实验、面试算例 | 个人实际完成的结果与复盘 |
4. 不能声称已经完备的部分
- 专家实践证据:文档不能替代独立负责子系统、处理复杂故障和推进跨团队接口的经历。阅读完整不等于达到某个职级。
- 自己的 GPU/RDMA 实测与故障记录:公开参考数据已整理 A100/H100/H200 规格、PCIe 与 RDMA 网卡的常见实测量级、Mooncake 公开测试结果,并用它们做了完整估算;但面试中“我测过”的证据仍需在自己的环境里按同页步骤测得。
- kernel 开发:GPU 与 kernel 基础覆盖 KV 存储岗需要的程度(带宽、异步完成、分析工具、评估方法);以写 kernel 为主业的岗位还需要专门的 CUDA/Triton 训练。
- 复杂模型:复杂模型与 KV 存储讲清了各类结构的容量和复用规则;具体模型仍要按其配置和所用引擎的 KV 规格核对。
- 平台运维落地:已有 SLO、故障、配额与演进设计;具体 Kubernetes 编排、自动扩缩容、发布流水线与安全集成仍需结合目标平台。
- 训练与其他 LLM Infra:分布式训练、训练 checkpoint、数据平台和完整编译器工程不在这套推理主线的覆盖承诺内。
5. 面向专家岗位的验收门槛
至少形成一份含正常、超时、取消和故障路径的设计;一套容量、网络、元数据与成本预算;一条可以定位到源码的联合实现;一份有退化条件的实验或明确未测项的验证计划。
最关键的检查是:读者能否连续回答“为什么能复用、怎样发布、谁保护、何时完成、怎样回收、失败后怎么办、是否值得”。如果某个答案只有术语,没有状态、预算或证据,应继续补齐。
6. 后续维护规则
新内容先归属技术问题,再加入实现案例;新增版本事实给出固定提交;图的箭头、正文的协议和实验的验收保持一致。后续直接维护 HTML、侧栏导航和搜索目录,避免出现第二套内容。
后续优先补真实验证和专家练习的完成记录,而不是继续堆框架名称或复制题库。