# 用说话写代码：两个反馈回路

> 语音交互和编码执行分开反馈，协议通过还不等于眼镜可用。

- 作者：王乙锟 (William Wang)
- 日期：2026-11-16
- 栏目：术（怎么动手）
- 网址：https://blog.openet.ai/posts/voice-coding-two-loops/

> 多言数穷，不如守中。 —— 《道德经》第五章

---

code_eyes 这个项目把语音编码的反馈拆成两条回路：一条处理我正在说什么，另一条报告代码实际做到哪里。接住一句话，不能就算完成一次编码。让这两件事各自有结果，才有机会在离开键盘后继续掌握工作。

## 眼镜是入口，电脑才是工作台

code_eyes 的目标是戴着 Rokid RV101 AR 眼镜，用语音操作 Claude Code。AR 眼镜把信息显示在视野里，编码 agent 则是能在工作区改文件、执行命令的程序。服务端放在笔记本或台式机上，眼镜负责收音、触控、显示和播放；我没有把整套编码环境搬进镜腿。

用到的 RV101 销售版是 Android 12、API 32，屏幕为 480×640 的单色绿色显示。5 月 15 日的真机盘点核对过系统和屏幕参数。这证明我知道面对的设备是什么，不等于已经把应用的整条语音编码流程在设备上跑通。

还有一个浏览器调试端。它与眼镜连同一个服务端，适合调协议和语音管线，但 README 明说它不是眼镜的忠实替身：桌面布局和鼠标都不一样。两端通过 WebSocket 连接，也就是能持续来回传消息的通道；共享消息格式，只解决通信约定，不能替代佩戴体验。

## 两条回路，各自把结果送回来

第一条是语音交互回路。服务端先把声音转成文字，再交给负责理解意图和选择工具的调度层；它使用 OpenAI 模型，负责把任务送到合适的位置。结果可以压成 HUD，也就是眼前的一屏短提示，也可以通过 TTS 合成为语音。这层回答的是系统如何理解这句话、接下来准备做什么。

语音状态机把处理分成空闲、录音、处理和播报，避免同时处理多句输入。按文档里的交互规则，一轮大致这样走：

1. 在支持语音输入的页面单击，进入录音；检测到说话结束或识别服务给出最终文字，再进入处理。
2. 调度层读取上下文，调用工具，把工具结果写回记录；如果还需要工具，就继续下一轮。
3. 有回复就显示或播报，结束后回到空闲；处理中再次单击，可以打断当前语音交互，开始新的录音。

第二条是编码执行回路。调度层把任务发给 Claude Code，执行者在工作区里真正改文件、跑命令。派发接口先返回运行标识，后续通过会话状态和活动记录观察进展；会话身份还会保存在本地数据库里，服务端重启后可以继续接回原会话。我不能把派发成功当成代码已经改对。

界面也按这个区别做了取舍。会话页面每 2 秒推送一次编码 agent 的近期活动，重点是最新工具调用、输出和错误，不再默认拿电脑的处理器占用填满眼前。这个频率是推送策略，不能拿它当语音响应延迟的实测值。我看工作进展，需要知道它正在做哪一步。

## 打断播报，不顺手杀掉编码任务

最关键的决定落在取消操作上。点击打断时，系统停止当前播报和语音编排，但已经交给 Claude Code 的任务默认继续。真要停止编码任务，要明确调用停止 agent 的工具；语音状态机文档专门把这个边界写了出来。

我的判断是，插话不应该自动使正在进行的工作作废。查询进度、换一个页面、补充一句话，都可能发生在编码尚未结束时。如果每次重新开口都先掐掉工作，语音入口就会把人的注意力变化误当成任务取消。

代价是取消的含义变复杂了。用户可能以为停止播报就等于停止所有动作，而后台任务还在继续。这个设计只有在界面能清楚交代任务状态、停止入口足够明确时才成立；两条回路分开以后，反馈必须把它们重新交代给人。我还不能用服务端的状态机测试，证明戴眼镜的人一定能理解这个区别。

## 九项通过，只能说到协议这一层

2026 年 5 月 14 日生成的交付报告列了 9 项 smoke，全数通过。smoke 是冒烟检查，用来确认基本链路能接通。按报告实际列出的项目，检查范围是：

- 旧协议客户端能收到状态快照，二维码接口有返回，配对交换可以完成，并检查同一配对材料不能重复使用。
- 新握手有应答，撤销配对的接口调用成功。
- 长按释放消息能被服务端接受，断开后重连的新客户端能收到快照。
- Kotlin 客户端与服务端的 13 对消息字段通过一致性检查。

这些项目覆盖了服务端和调试客户端之间的协议边界。浏览器确实是项目提供的调试入口，但这份报告没有注明执行检查的浏览器环境，也没有记录佩戴眼镜说话、识别、改文件、回显和听到播报的全程。因此我只把它算作协议与接口的交付检查；连浏览器里用真实麦克风走完整个任务，都不能靠这张表补出来。

字段一致性检查同样有用，也同样有范围。它能帮助发现两端对消息结构的理解不一致，却不能证明摄像头扫得出二维码，或眼镜扬声器真的播出了返回音频。每项通过都应保留；要跨到设备体验，还缺另一套观察。

## 真眼镜推翻了长按方案

长按就是一个现成反例。交付 smoke 里，长按释放消息被接受了；随后 5 月 15 日的真机盘点发现，RV101 的长按会直接拉起系统助手，并不向应用发送预想的按键事件。原先依靠长按触发应用行为的设计因此作废。服务器愿意接收一条消息，不代表硬件能把它发出来。

目前 README 写的交互约定已经改成单击输入或打断、双击返回、滑动导航，长按归系统。这个调整没有改变服务端理解任务和编码执行的分工，却改变了人怎么进入第一条回路。眼镜的输入能力必须进设计，不能从桌面上的鼠标操作反推。

对我来说，浏览器调试仍然值得保留。先把消息和状态流转理清，能让设备验收更集中；但它节省的是排查范围。触控能不能稳定触发、眼前文字是否可读、麦克风和播放能否顺畅接续，仍要在眼镜上观察。

## 现在停在能继续验的地方

README 把服务端链路标为完成，眼镜应用代码也已写完，同时明确保留「真机端到端未验证」。设备连接与桥接步骤仍有硬件阻塞，需要真机的手动流程没有全过；缺真实服务凭据或硬件的用例还会跳过。因此回归全绿，不能替这些跳过的项目签字。

接下来最需要的是一段真正佩戴时的完整验收：从输入任务，到查看编码进展，再到插话和明确停止编码工作。我把它列为待验证，不填一个响应时间或成功率。两条回路在架构上已经分开；眼镜上的端到端流程，还没验证。
