LLM Infer Infra 学习资料库

资料结构与覆盖范围审阅

总目录 · 专家面试总纲 · 设计图册

1. 审阅结论

结构:按技术主题组织是合理的。八个主题负责学习顺序,框架资料放在各主题的 implementations/ 中做案例。每篇文章只出现在所属主题下;首页“先从这里开始”表格负责把常用文章串起来,侧栏不再重复列出。

重叠内容怎样处理:没有把重复段落全部删成链接,以免读一段跳一次。做法是给容易重叠的文章写清“本篇定位”,说明以哪篇为准、本篇只负责什么:

正文改写:从原 RST 教材转来的 10 个页面(LMCache 架构、时序图、后端契约、优化与可观测、实验,KV 原理,LMCache 专项目录、计划、系统设计、题库)已按“先说结论、再讲原因、最后说边界”重写正文,图、代码和公式保持不变;题库原本就是短答结构,只做了措辞和格式整理。

本轮补充:复杂模型与 KV 存储(MLA、滑窗、混合状态、MoE、KV 量化、多模态)、GPU 与 kernel 基础、实测与故障演练模板;互动容量计算器增加了 MLA;19 篇专项与旧格式页面加了白话导读;统一了全部页面标题。

知识点核查:已逐条复核全库 77 处带数字的算例(容量、带宽、对象数、元数据、时延、盈亏与容量规划),未发现计算错误;并核对了 FlashAttention、PagedAttention、RadixAttention、MLA、TTFT/ITL/TPOT、RDMA 零拷贝等易错概念。MLA 的 TP 复制、多模态与 LoRA 进入前缀 hash 等实现细节对照了 vLLM 学习版本源码;LMCache 与 Mooncake 对照资料中固定版本的源码,版本变化后需要重新核对。

覆盖目标是在线推理 Infra,重点 KV Cache 存储的学习、设计与面试准备;这不等于覆盖所有 LLM Infra 方向,也不等于已经完成生产或硬件验证。

2. 结构边界是否合理

边界 应怎样划分 本次处理
基础与实现 共同语义在主题层,类/接口/版本在实现层 保持主题优先,框架用于案例和源码对照
运行时与 KV 管理 前者决定执行,后者管理状态与可复用范围 用请求运行图和完成协议连接
KV 管理与对象存储 前者理解前缀/layout,后者理解对象和资源 增加连续的存储教材与联合实现章节
存储与传输 前者决定发布/保护,后者移动字节 分开讲完成条件,并保留交叉引用
Serving 与 GPU 性能 都影响服务,但粒度不同 当前共处性能主题;深 kernel 工程仍是后续专项
技术主题与学习工具 01–06 是技术主线,07–08 是实验与能力维度 不把八个目录当作八层运行架构
文档源与阅读站 内容维护需要可审阅,阅读需要导航与展示 只维护 HTML;旧 Markdown/RST 与生成快照已清理

已有长篇教材按主要问题归位,跨主题内容通过链接复用。旧编号和题号是定位标记,不是新课程顺序。仍有部分基础解释重叠,读者应按主题主线选读,不必重复执行专项计划。

3. 内容覆盖矩阵

“已覆盖”指有可阅读、推演和定位实现的材料,不代表相关软件已在本机完成全量验证。

能力 当前覆盖 入口 仍需补足的实践
请求与系统分层 原理、架构、运行、状态图 图册、运行时 对目标版本记录真实请求 trace
推理与容量 Attention、KV、显存、指标和计算题 公共基础 针对实际模型核对状态与 allocator
KV 语义与布局 前缀、页/chunk、group/rank、兼容性 KV 主题、存储教材 GPU 正确性、混合模型及版本切换
分层缓存 staging、发布、预取、保留与回收 LMCache 内核、HiCache 并发、取消和内存压力实验
共享存储 key、发布、租约、副本、元数据、HA 边界 存储详解、Store 内核 故障域退出、主切换与回源演练
联合接入 LMCache→native adapter→Store→TE 的两条数据链 联合实现 匹配版本和硬件的端到端实验
通信与内存 注册、异步完成、NUMA、RDMA、GDR 边界 传输 多 NIC、PCIe、CPU 轮询与失败注入
性能与系统取舍 对照、goodput、PD、路由、并行、量化 Serving 真实负载、数值质量和尾延迟
专家设计能力 预算、协议、备选方案、故障与演进 专家总纲 独立设计、评审与交付证据
编码与并发 所有权、锁、幂等、在途合并的要求与练习 专家总纲 完整代码、边界用例和性能分析
多租户与升级 隔离、配额、版本化和迁移的设计问题 存储教材 授权集成、灰度、回滚与公平性验证
实验与项目表达 基线、消融、失败、报告和自评 实验、面试算例 个人实际完成的结果与复盘

4. 不能声称已经完备的部分

5. 面向专家岗位的验收门槛

至少形成一份含正常、超时、取消和故障路径的设计;一套容量、网络、元数据与成本预算;一条可以定位到源码的联合实现;一份有退化条件的实验或明确未测项的验证计划。

最关键的检查是:读者能否连续回答“为什么能复用、怎样发布、谁保护、何时完成、怎样回收、失败后怎么办、是否值得”。如果某个答案只有术语,没有状态、预算或证据,应继续补齐。

6. 后续维护规则

新内容先归属技术问题,再加入实现案例;新增版本事实给出固定提交;图的箭头、正文的协议和实验的验收保持一致。后续直接维护 HTML、侧栏导航和搜索目录,避免出现第二套内容。

后续优先补真实验证和专家练习的完成记录,而不是继续堆框架名称或复制题库。

输入主题、术语或问题