交互：观察与动作空间的扩展

第一章的论断：模型固定时，提升 Agent 表现最主要的工程手段，是重新定义或扩展观察空间和动作空间。前几章扩展的是空间里的内容，这一章扩展它们的模态（以什么形式看、以什么形式动）和时机（谁来触发、动作能否跨回合与被打断）。

早期工具调用接口按同步轮次组织消息，这是约定，正在改变。截至 2026 年 9 月，GPT-6 Astra 已提供原生异步工具调用和回合中途追加指令。本章同时讨论“原生支持”和“兼容既有同步接口”两条路线。

这一节模态没变，还是文本，变的只有时机。同步的 Agent 像只会叫号的柜台：要么等后台任务做完才能对话，要么等对话结束才处理新事件。异步的 Agent 像秘书：桌上摆着邮件、电话、来访者，按紧急程度决定先处理哪个，做到一半可以切走。

代码里用了 asyncio，不等于模型具备原生异步能力。有的接口要求先补齐工具结果才能继续，需要事件队列、任务句柄和兼容层；有的已允许工具挂起、生成中接收更新。两种情况下，事件来源、工具生命周期和结果归属都仍由应用管理。

OpenClaw：定时检查够不够

OpenClaw 用 Gateway 控制平面接收多渠道消息，内置三种事件机制。真正能让 Agent 在没有用户消息时自己动起来的只有 Cron 和 Heartbeat，而它们都由时间驱动。

三类事件触发工具 + 用户沟通工具

没有事件触发工具，Agent 只能循环思考、调工具、输出结果，然后等用户。这三类工具把世界的变化转成 Agent 能处理的事件。

事件处理：先结构化，再按紧急度分三种策略

把每个输入建模为带来源（谁）、渠道（方式）、内容（什么）、上下文（背景）的结构化事件。这样 Agent 才不会把用户输入当成工具结果，也不会把藏有指令的工具结果当成用户指令而被提示注入。

{
  "source":  {"type": "email", "sender": "client@example.com"},
  "channel": "gmail_webhook",
  "content": {"subject": "退款请求", "body": "订单#12345 希望退款..."},
  "context": {"priority": "high", "customer_tier": "vip", "related_orders": ["#12345"]}
}

同步接口在“安全点”消费事件：一段推理结束，或一次工具返回。队列式等下一个自然安全点，取消式主动提前制造一个，并行式另起一个循环，不等主循环。收到“停止”消息本身不会撤销已经发生的动作；工具取消要执行器响应取消信号，类似 Go 检查 ctx.Done()。

不支持原生异步时：五条规则维持工具配对

场景：Agent 起草邮件，调用 search_contacts，结果还没回来，用户说“等一下，先帮我查一下明天的天气”。若接口要求未完成的工具调用先有结果，就不能带着悬空调用处理新消息。这是所选协议与模型的限制，不是所有 LLM 的规律。

占位符的风险：模型可能把“任务已启动”误当“任务已完成”。要用明确的任务状态和结果校验防止，并在评估中检查是否编造了未到达的数据。

[未处理事件1/4] Tool result from database_query：...
[未处理事件2/4] User 补充说明：只看北京地区的数据
[未处理事件3/4] 系统提醒：报告截止时间还有30 分钟
[未处理事件4/4] User 询问：进度如何？
上面有4 个未处理事件，包括1 个工具结果、
2 条用户消息、1 个系统提醒。请确保回应涵盖所有信息。

模型原生异步：GPT-6 Astra

另一条路线让模型自己理解等待与中途变化：异步工具调用把“发起行动”和“获得结果”分开，能独立推进的继续做，依赖结果的决策等结果到；回合中途引导让用户在 Agent 还在思考时追加“预算减少了”“参会人数变了”，系统保留已完成的工作，把新约束带进后续处理。

能接收异步消息，不等于能可靠处理异步任务。评估覆盖两层：模型是否理解了变化，系统是否按变化正确执行。

正常说话的速度约为打字的四倍，不占手和眼，天然适合持续工作、随时被打断的回路。本节同时讨论用户对 Agent 说话，和 Agent 替用户对外部世界说话。语音模型决定“能回答什么”，交互架构决定能否听清、及时回应、自然换手。

三种范式的主线：摆脱“轮流说话”和 VAD 对发言权的猜测。级联和 Omni 仍要划分轮次，只有全双工把“该谁说话”变成模型的持续决策。（三分法出自 OpenAI GPT-Live 介绍，2026-07-08。）

范式一 · 级联流水线

图 6-6。技术栈：Node.js WebSocket + AudioWorklet（128 样本 ≈ 2.7 ms）+ FFmpeg。瓶颈分别是：静音阈值带来的等待与误切分、识别延迟与上下文丢失、首 token 延迟（开 reasoning 更长）、首包合成与播放缓冲。

从串行到流式感知

完全串行有三个问题：要等一段静音才确认说完；有声/无声的二值信号表达不了犹豫、情绪、附和和环境声；邮箱、人名、专有名词被分片识别而出错。保留模块分工的优化是让每一级尽早产出增量结果。

范式二 · 端到端 Omni；范式三 · 全双工

Omni 用同一个模型听音频、生成回复并输出语音，能理解停顿，也能唱歌、用特殊语调说话。但它仍假设轮流说话，通常靠 VAD 划分发言权：用户报数字时的中途停顿，仍可能被误判为说完。全双工不预设轮次，持续听、持续说，不断决定继续、停顿、打断或调用工具。

实验 6-6 ★★：本地 MiniCPM-o 4.5 关闭 thinking，比较直接从音频作答与同模型“先转录再作答”的自级联，测的是音频信息是否被保留。

认知时序：实时交互与深度思考

“交互表现”和“智能上限”是两个维度：前台要在用户在线时回应，后台可以多花时间想。下面三种方案是取舍，不是线性迭代。

更像人的语音合成

语音的观察是一维声音流，Computer Use 把问题搬上二维屏幕：观察是持续变化的像素，动作是坐标上的点击与输入。语音强调“何时开口”，Computer Use 强调“下一步点哪里”，以及语音里没有的问题：动作之后，现实是否还和计划一致。

动作空间：三类工具

Anthropic 参考实现的划分。它不是私有协议：只要 Harness 能把截图、动作约束和执行结果转成目标模型支持的格式，Claude、开放权重视觉模型和自托管端点都能驱动同一个循环。

视觉定位：选择题还是填空题

每一轮都要回答“搜索框在哪里”。选择题思路先给界面元素编号，模型只说“点击 [123]”；填空题思路让模型直接报出“(350, 464)”。输出坐标对模型更难，要大量训练，换分辨率还容易错。

结构化信息可得时，优先用 DOM / Accessibility Tree 索引，最精确稳定。不可得时（Photoshop 这类原生软件、Canvas/WebGL、游戏），对通用模型用视觉标注更友好，对做过 GUI 定位训练的模型用坐标预测更直接。

能看动画、能听声音：重新设计观察接口

截一张图、想一步、点一下的循环，隐含“屏幕是静止的”。可屏幕会放视频、弹出转瞬即逝的通知、播放会议人声。每 3–5 秒才睁一次眼、没有耳朵的 Agent，看不见也听不到两帧之间的事。Agent–电脑观察接口（AOI）把连续环境观察转成离散事件。

世界模型：先预测，偏离了才停下

观察接口不消除规划延迟。OSWorld-Human 的效率研究显示，即使任务成功，Agent 的步骤仍明显多于人类，等待也更长：准确率达到人类水平，不等于已经实用。人操作电脑时会先预测动作后果，实际变化与预期一致就继续，偏离了才重新观察和规划。

整节只用一个任务：把红色杯子放进托盘，把黄色废纸放进垃圾盒，最后重新观察并确认桌面状态。XLeRobot 既能由人通过键盘、Xbox 手柄、Switch Joy-Con、VR 遥操作，也能把摄像头和一组受约束的动作工具交给 Agent。硬件和任务都不变，只换操作者。

几百美元的机械臂通过遥操作已经能完成这个连续多步任务，所以对这个任务来说，瓶颈是算法，不是硬件。这个诊断只限于本节的桌面任务：硬件跨过了负载、精度和工作空间的门槛，不代表能胜任所有开放环境。人类操作者会自然地在靠近杯子时减速、杯子滑动时修正抓取点、没夹住纸时重新观察、放好后检查。

验收不能只看“桌面好像收拾好了”：杯子在托盘内、废纸在垃圾盒内、机械臂回到安全姿态，全程无碰撞、越界或未经确认的人工代做。真机和模拟分开报告，任务目标、动作语义和成功条件保持一致。

机器人控制的分层与时间尺度

把“任务顺序”和“眼前动作”分开。否则高层推理延迟拖慢底层控制，底层高频控制又让高层处理大量无关细节。模型不直接输出任意关节角，只选择 pick、place、verify_state、stop 等有边界的技能，由标定过、限速、带超时的执行器变成真实动作。

VLA：当前观察 + 技能指令 → 动作

规划器只提交 pick(red_cup)；VLA 还要决定从哪个方向接近、夹爪何时闭合、手臂沿什么轨迹抬起。执行完这一小段后重新拍摄，确认杯子确实被夹住，规划器才允许提交 place。工具调用定义期望的状态变化，VLA 定义如何用连续动作实现它。RT-2 和 OpenVLA 把动作切成离散 token 逐个输出，更易与语言模型结合；π₀ 直接生成连续平滑的轨迹，更适合表达平滑运动。

世界模型：动作结果预测器

当前状态 + 候选动作 → 预测下一状态或未来片段 → 比较候选结果 → 选择动作、重新规划或安全停止

预测只能帮助选择，不能代替验收；真实摄像头的观察才是最终事实。只会描述视频的 VLM、只会生成画面的模型，都不会自动变成可靠的机器人世界模型：它必须知道动作是什么，并能预测动作对物体的影响。V-JEPA 2 在内部状态中预测未来，World-Action Model 显式学习“动作—未来观察”。预测越远误差越大；逼真的画面也可能违反真实的接触和摩擦规律，所以仍需短期预测、实时观察、不确定性估计和独立的硬件安全控制器。

从仿真到真机

异步与事件驱动把观察从“主动去取”扩展为“世界推来”，把动作从“回合内做完”扩展为“先发起、事件收尾”。语音把尺度压到毫秒，三种范式从轮流说话走向持续听说，并在前台交互与后台思考之间分工。Computer Use 的瓶颈从“能否完成”扩展到操作效率、连续视觉理解和动作后的状态确认。机器人把闭环推到物理世界，动作分块在平滑与反应之间取舍，是否完成仍由新的观察判定。下一章讨论如何判断系统构建得对不对。