深入理解 AI Agent · 全书图解

Agent = LLM + 上下文 + 工具

全书只有这一个核心公式,三项缺一不可。模型和产品几个月就迭代一次,但“看到什么、能做什么、如何验证做得对不对”这三个问题不会过时。下面十章,每章都是一个可以拖动、可以播放的交互页面。

Agent =
LLM理解 · 思考 · 规划 · 决策
上下文指令 · 记忆 · 知识 · 轨迹,也包括“有哪些工具可用”
工具感知 · 执行 · 协作 · 代码

三种说法对应同一个对象,只是表达层次不同。“眼睛”只是粗略的类比:上下文是模型能感知到的一切信息。

全书结构

先构建,再提升

各章相对独立。点开任一章进入对应的交互页面。

第一部分 如何构建 Agent

评估提供反馈,后训练、持续进化与协作据此扩展能力

第二部分 如何提升 Agent 能力

引言

实践在前,命名在后

这些原则来自 Pine AI 的长流程、高风险任务:代表用户与真人沟通,处理账单协商、退款投诉、订阅取消。一项任务可能持续数小时到数周,一步出错就有实际损失。很多后来流行的术语,对应的做法早就在这里出现了。

Skill
早已实践:动态加载提示词,解决提示词无限膨胀;用命令行执行工具,解决工具列表无限膨胀;用系统状态栏,让 Agent 感知环境、时间和工作状态
后来命名为 Skill
Harness
早已实践:类似 Claude Code 的做法,处理工具调用不稳定、幻觉、危险或越权操作、不遵循指令
后来命名为 harness
Loop engineering
早已实践:提议者—审核者(proposer–reviewer),解决模型过早认为任务完成
后来命名为 loop engineering

更早识别问题的条件一

选对 Agent 能力上限要求足够高的真实业务,持续拿到真实反馈。需求太容易被下一次模型升级覆盖,团队就积累不出稳定的设计原则。

条件二

建立系统的评估。没有评估,分不清一次改动的提升来自设计本身还是随机波动。第 7 章专门讲这套方法。

后记

两朵乌云与一个飞轮

第一朵:流式、实时地与环境交互

今天的 Agent 大多是按轮次的“请求—应答”,但真实世界不会停下来等它想完。两条路并行推进:架构上快慢分离(前台快模型维持对话节奏,后台慢模型深度思考);把推理本身做快,当 decode 足够快,按轮次的等待短到几乎消失。

第二朵:从成败中持续积累经验

今天的模型像一个记性极好、却学不会新东西的天才。“小世界假设”认为大模型训练一次就够,瓶颈在数据;“大世界假设”指出,具体用户和公司的知识不在任何语料里且一直在变,只能上岗后持续学习,这是第 3 章记忆和第 9 章持续进化在探索的方向。

推理变快,“想完再说”和“边想边说”的差距被抹平

小米 MiMo:1T 参数模型在单个 8 卡节点上超过 1000 token/s;Taalas HC1 把 Llama 3.1 8B 固化进芯片,约 17000 token/s、响应低于 100 ms,代价是只能跑这一个模型,更新要重新流片。

模型与 Harness 的共同演进

用户提出真实难题 → 应用层用 harness 补上模型暂时做不好的事 → 这些补救变成下一轮训练信号 → 模型内化后,对应的 harness 层可以删掉,harness 迁移到新的前沿。

只改 harness 不换模型

52.8% → 66.5%

任务准确率的提升说明 harness 今天杠杆很大,也说明这是因为模型还没走到那一步。

模型会吃掉 Harness 吗

会,但是一层一层地吃,而且没有吃完的那天:训练以月计,业务等不起;模型内化不了所有业务约束;每一代模型都会打开新前沿,而前沿处恰恰最不稳。造应用的人应该用 harness 争取时间,把时间用来构筑技术之外的壁垒:独占数据、渠道、用户信任、网络效应。