用说话写代码:两个反馈回路
语音交互和编码执行分开反馈,协议通过还不等于眼镜可用。
多言数穷,不如守中。《道德经》第五章code_eyes 这个项目把语音编码的反馈拆成两条回路:一条处理我正在说什么,另一条报告代码实际做到哪里。接住一句话,不能就算完成一次编码。让这两件事各自有结果,才有机会在离开键盘后继续掌握工作。
眼镜是入口,电脑才是工作台
code_eyes 的目标是戴着 Rokid RV101 AR 眼镜,用语音操作 Claude Code。AR 眼镜把信息显示在视野里,编码 agent 则是能在工作区改文件、执行命令的程序。服务端放在笔记本或台式机上,眼镜负责收音、触控、显示和播放;我没有把整套编码环境搬进镜腿。
用到的 RV101 销售版是 Android 12、API 32,屏幕为 480×640 的单色绿色显示。5 月 15 日的真机盘点核对过系统和屏幕参数。这证明我知道面对的设备是什么,不等于已经把应用的整条语音编码流程在设备上跑通。
还有一个浏览器调试端。它与眼镜连同一个服务端,适合调协议和语音管线,但 README 明说它不是眼镜的忠实替身:桌面布局和鼠标都不一样。两端通过 WebSocket 连接,也就是能持续来回传消息的通道;共享消息格式,只解决通信约定,不能替代佩戴体验。
两条回路,各自把结果送回来
第一条是语音交互回路。服务端先把声音转成文字,再交给负责理解意图和选择工具的调度层;它使用 OpenAI 模型,负责把任务送到合适的位置。结果可以压成 HUD,也就是眼前的一屏短提示,也可以通过 TTS 合成为语音。这层回答的是系统如何理解这句话、接下来准备做什么。
语音状态机把处理分成空闲、录音、处理和播报,避免同时处理多句输入。按文档里的交互规则,一轮大致这样走:
- 在支持语音输入的页面单击,进入录音;检测到说话结束或识别服务给出最终文字,再进入处理。
- 调度层读取上下文,调用工具,把工具结果写回记录;如果还需要工具,就继续下一轮。
- 有回复就显示或播报,结束后回到空闲;处理中再次单击,可以打断当前语音交互,开始新的录音。
第二条是编码执行回路。调度层把任务发给 Claude Code,执行者在工作区里真正改文件、跑命令。派发接口先返回运行标识,后续通过会话状态和活动记录观察进展;会话身份还会保存在本地数据库里,服务端重启后可以继续接回原会话。我不能把派发成功当成代码已经改对。
界面也按这个区别做了取舍。会话页面每 2 秒推送一次编码 agent 的近期活动,重点是最新工具调用、输出和错误,不再默认拿电脑的处理器占用填满眼前。这个频率是推送策略,不能拿它当语音响应延迟的实测值。我看工作进展,需要知道它正在做哪一步。
打断播报,不顺手杀掉编码任务
最关键的决定落在取消操作上。点击打断时,系统停止当前播报和语音编排,但已经交给 Claude Code 的任务默认继续。真要停止编码任务,要明确调用停止 agent 的工具;语音状态机文档专门把这个边界写了出来。
我的判断是,插话不应该自动使正在进行的工作作废。查询进度、换一个页面、补充一句话,都可能发生在编码尚未结束时。如果每次重新开口都先掐掉工作,语音入口就会把人的注意力变化误当成任务取消。
代价是取消的含义变复杂了。用户可能以为停止播报就等于停止所有动作,而后台任务还在继续。这个设计只有在界面能清楚交代任务状态、停止入口足够明确时才成立;两条回路分开以后,反馈必须把它们重新交代给人。我还不能用服务端的状态机测试,证明戴眼镜的人一定能理解这个区别。
九项通过,只能说到协议这一层
2026 年 5 月 14 日生成的交付报告列了 9 项 smoke,全数通过。smoke 是冒烟检查,用来确认基本链路能接通。按报告实际列出的项目,检查范围是:
- 旧协议客户端能收到状态快照,二维码接口有返回,配对交换可以完成,并检查同一配对材料不能重复使用。
- 新握手有应答,撤销配对的接口调用成功。
- 长按释放消息能被服务端接受,断开后重连的新客户端能收到快照。
- Kotlin 客户端与服务端的 13 对消息字段通过一致性检查。
这些项目覆盖了服务端和调试客户端之间的协议边界。浏览器确实是项目提供的调试入口,但这份报告没有注明执行检查的浏览器环境,也没有记录佩戴眼镜说话、识别、改文件、回显和听到播报的全程。因此我只把它算作协议与接口的交付检查;连浏览器里用真实麦克风走完整个任务,都不能靠这张表补出来。
字段一致性检查同样有用,也同样有范围。它能帮助发现两端对消息结构的理解不一致,却不能证明摄像头扫得出二维码,或眼镜扬声器真的播出了返回音频。每项通过都应保留;要跨到设备体验,还缺另一套观察。
真眼镜推翻了长按方案
长按就是一个现成反例。交付 smoke 里,长按释放消息被接受了;随后 5 月 15 日的真机盘点发现,RV101 的长按会直接拉起系统助手,并不向应用发送预想的按键事件。原先依靠长按触发应用行为的设计因此作废。服务器愿意接收一条消息,不代表硬件能把它发出来。
目前 README 写的交互约定已经改成单击输入或打断、双击返回、滑动导航,长按归系统。这个调整没有改变服务端理解任务和编码执行的分工,却改变了人怎么进入第一条回路。眼镜的输入能力必须进设计,不能从桌面上的鼠标操作反推。
对我来说,浏览器调试仍然值得保留。先把消息和状态流转理清,能让设备验收更集中;但它节省的是排查范围。触控能不能稳定触发、眼前文字是否可读、麦克风和播放能否顺畅接续,仍要在眼镜上观察。
现在停在能继续验的地方
README 把服务端链路标为完成,眼镜应用代码也已写完,同时明确保留「真机端到端未验证」。设备连接与桥接步骤仍有硬件阻塞,需要真机的手动流程没有全过;缺真实服务凭据或硬件的用例还会跳过。因此回归全绿,不能替这些跳过的项目签字。
接下来最需要的是一段真正佩戴时的完整验收:从输入任务,到查看编码进展,再到插话和明确停止编码工作。我把它列为待验证,不填一个响应时间或成功率。两条回路在架构上已经分开;眼镜上的端到端流程,还没验证。