先构建,再提升
各章相对独立。点开任一章进入对应的交互页面。
第一部分 如何构建 Agent
第二部分 如何提升 Agent 能力
实践在前,命名在后
这些原则来自 Pine AI 的长流程、高风险任务:代表用户与真人沟通,处理账单协商、退款投诉、订阅取消。一项任务可能持续数小时到数周,一步出错就有实际损失。很多后来流行的术语,对应的做法早就在这里出现了。
更早识别问题的条件一
选对 Agent 能力上限要求足够高的真实业务,持续拿到真实反馈。需求太容易被下一次模型升级覆盖,团队就积累不出稳定的设计原则。
条件二
建立系统的评估。没有评估,分不清一次改动的提升来自设计本身还是随机波动。第 7 章专门讲这套方法。
两朵乌云与一个飞轮
第一朵:流式、实时地与环境交互
今天的 Agent 大多是按轮次的“请求—应答”,但真实世界不会停下来等它想完。两条路并行推进:架构上快慢分离(前台快模型维持对话节奏,后台慢模型深度思考);把推理本身做快,当 decode 足够快,按轮次的等待短到几乎消失。
第二朵:从成败中持续积累经验
今天的模型像一个记性极好、却学不会新东西的天才。“小世界假设”认为大模型训练一次就够,瓶颈在数据;“大世界假设”指出,具体用户和公司的知识不在任何语料里且一直在变,只能上岗后持续学习,这是第 3 章记忆和第 9 章持续进化在探索的方向。
推理变快,“想完再说”和“边想边说”的差距被抹平
小米 MiMo:1T 参数模型在单个 8 卡节点上超过 1000 token/s;Taalas HC1 把 Llama 3.1 8B 固化进芯片,约 17000 token/s、响应低于 100 ms,代价是只能跑这一个模型,更新要重新流片。
模型与 Harness 的共同演进
用户提出真实难题 → 应用层用 harness 补上模型暂时做不好的事 → 这些补救变成下一轮训练信号 → 模型内化后,对应的 harness 层可以删掉,harness 迁移到新的前沿。
只改 harness 不换模型
52.8% → 66.5%
任务准确率的提升说明 harness 今天杠杆很大,也说明这是因为模型还没走到那一步。
模型会吃掉 Harness 吗
会,但是一层一层地吃,而且没有吃完的那天:训练以月计,业务等不起;模型内化不了所有业务约束;每一代模型都会打开新前沿,而前沿处恰恰最不稳。造应用的人应该用 harness 争取时间,把时间用来构筑技术之外的壁垒:独占数据、渠道、用户信任、网络效应。