沿尺度由近及远：十二章
顺序是“理解工作需求 → 认识执行资源 → 组织完整系统”。前一部分为后一部分提供分析依据；进入服务与部署后，还要按任务质量、完成时间和成本，回头重新检查模型与资源选择。
点开任一章进入对应的交互页面。
从约束推导设计
作者让前沿模型估算推理或训练系统，它们能列出公式、算出看似精确的数字，却常漏掉决定结果的基本约束。漏掉任何一项，结论都可能偏几倍甚至几个数量级。下面这份清单就是全书的估算顺序，勾掉你检查过的项。
一次估算是否靠得住
估算不必一开始就精确，但必须知道自己算进了什么、还有什么没算进去。实际系统里的开销和变化，再用测量来校正。
| 传统计算机系统 | LLM 时代 |
|---|---|
| 操作系统：为事先未知的应用提供通用抽象，可编程性与性能要权衡 | 模型成了操作系统：编程抽象从操作系统上移到模型上下文 |
| 计算机体系结构：为通用程序提供算力 | AI Infra 成了体系结构：LLM 是最重要的应用，从算子到分布式调度都能为特定模型和加速器做跨层联合优化 |
| 《计算机体系结构：量化研究方法》 | 这本书想做的：从硬件约束和模型架构出发，量化推导系统设计 |
跨层理解
好的基础模型团队里，最懂 Infra 的人做算法，最懂算法的人做数据，最懂数据的人做 Infra。DeepSeek V4 在架构里就考虑了 Infra 效率（局部窗口 + 上下文压缩 + 稀疏选择）；V4.1 Flash 用非对称的因果编码器—解码器重新划分理解与生成，针对 Agent“输入多、输出少”的负载重新安排计算。
先估一下再看答案
拿一张纸，写下数据量、处理能力和必须等待的步骤。结果和书不同，先查条件是否相同；条件相同，再找漏算或重复计算的工作。这种来回检查比记住结论更有收获。
约束是设计之源
权重反复从片外内存搬进芯片，限制了速度。把模型拆到多块 FPGA、各自留在片上存储、只传中间结果，这就是“模型并行”。从此习惯先按第一性原理算出硬件上限，再看系统离上限多远。
为融合 softmax 找到 NVIDIA 2018 年的在线 softmax，把在线归约与分块、融合结合起来，后来才意识到摸到了 FlashAttention 的一条核心思路（第 5 章）。
当时有人问“模型最多八卡训练，什么时候才有一万张卡？”算力需求增长远快于单芯片能力，互联研究需要时间，等需求显现再开始就来不及。如今 UB 用于昇腾 910C 和 950 系统。
第一个语音电话演示延迟 5 秒。拆开整条管线，先估算一次推理要多少计算和读取，再优化网络与数据库访问；运行成本约为基于 GPT-4o 实时语音 API 的百分之一。
语音交互延迟是怎么一步步降下来的
延迟相差几倍，产品体验就可能完全不同；成本相差一个数量级，能支撑的商业模式也随之改变。