板上的 agent,云上的模型:一块 ESP32 的验收记录
板卡能启动不等于能交付,每项通过都要绑定真实路径和固件。
大成若缺,其用不弊。《道德经》第四十五章验收这块 ESP32,最该看的是:通过记录能不能指向真实运行的那条路径。板卡启动了、播放器停了、固件重启了,各自只能证明一件事。要把它们写成能对话、能打断、能回滚,还得补证据。
板子管行动,模型负责推理
器灵用的是 ESP32-S3,配有 16 MB 闪存和 8 MB PSRAM,也就是外部内存。板上运行 agent,这里指维护会话、选择和执行工具、推进任务的程序。唤醒、录音、记忆、硬件控制、定时任务和固件更新的编排都在板上;联网模型由板子直接访问服务商。
Hermes 是这套 agent 行为的迁移基础,Kimi 提供联网推理。STT 把语音变成文字,TTS 把文字变成声音,这两项走直连服务商。开发用的语音网关只是模拟和注入故障的替身,生产固件不依赖它。
我把主控制权留在设备上,是要让会话和硬件动作有一个明确的主人。这个分工有边界:架构要求断网时保留唤醒、按键或串口入口、硬件控制和本地记忆,但不能假装板上能离线运行云端规模的语音识别和语言模型。服务商不可用时,语义语音能力就要降级。
先写清每道门在查什么
README 列了七类真机日志:声学回环、完整语音链路、打断、相机、音量、持续运行和回滚。声学回环查扬声器发出的声音能不能被麦克风收回;持续运行查一段时间内会不会崩溃。发布记录另外检查冷启动、记忆跨重启保存,以及主机上的架构测试,不能拿其中一项替代整张清单。
我采用 HIL,也就是把真实硬件接入测试流程。先核对构建产物在传输前后是否一致,确认写入校验,再观察板上启动和功能。最初的 600 秒生产持续运行通过:没有重启、崩溃、断言或看门狗复位;记忆哨兵也跨主动重启和应用固件重刷召回成功。
这些结果很有用,但它们还没证明模型能自主选工具。让一个工具直接执行成功,和让模型根据任务决定调用哪个工具,是两道门。我需要分别留下结果。
第一次失败,未必是板子算不动
最初的自主任务进入了 Hermes 循环,却在模型选工具之前收到 HTTP 429,也就是服务商拒绝了这次调用。当时配置里的模型也不是记录想验收的 Kimi K3。主机上的模拟测试通过,不能补上这段空白;后续复验才记录了 K3 自主选择表情、光照、接近和加速度四类能力,并安装了可回滚的技能。
复验又暴露了测试任务自己的栈溢出。栈是函数调用和局部变量占用的内存;验证任务只有 4 KiB,却在栈上留着 2 KiB 的结果,还要进入工具和解析函数。修正把结果搬到 PSRAM,任务栈增至 8 KiB;同一路径随后剩余 5648 字节,观察到 337 秒没有复位。测试代码也得按完整调用链算内存。
语音打断原先用定时器直接请求取消,只能说明播放器可以停。换成真实 WakeNet 唤醒模型后,第一版固定素材又因为不含唤醒词而失败。后来换了带唤醒词的素材,才在扬声器播放期间触发生产唤醒回调,并检查新会话接管、旧会话的迟到结果被拒绝。
回滚也有类似的假象。A/B 是保留两个固件位置、让候选版本失败后退回原版本的办法;第一次演练中,测试控制器在外部内存栈上调用闪存存储,触发断言。修正把控制器移到内部内存,并增加候选自身的启动标记。复验看到了控制器、不同的候选、再回控制器的完整次序,才算回滚通过。
最后合并生产固件时还踩了一次启动模式问题:手工指定了不适合这块板的闪存入口模式,程序没进入应用就循环失败。改回已验证的模式后,写入校验通过,三轮独立启动稳定。这个失败发生在应用之前,不能因为最后要运行 Hermes,就归成 Hermes 崩溃。
复验要穿过生产路径
唤醒复验的停止耗时是 6 ms。它指真实唤醒回调触发后的播放停止,不能写成人从开口到系统响应只要 6 ms。同期扬声器到麦克风的物理回环也通过了,但固定素材识别、播放器取消和声学收回仍各有自己的判定。
完整语音链路另跑一遍:把固定音频送到生产语音识别服务,得到非空转写;板上的 Hermes 接着发现工具,再读取光照。TTS 返回后,播放端消费了全部 485038 字节音频,断供次数为零,没有取消。这证明该固定输入走通了识别、工具选择和播放,不能扩大成任意口音、任意噪声都已验过。
7 月 29 日的生命周期复验还换了起点。先备份板上的原始状态,再带着已有的 13 个技能做安装、更新、任务和会话分支,重启后检查回滚、移除、取消与会话连续性。最后恢复原始分区并做写入校验,生产镜像继续运行麦克风和唤醒。空文件系统上通过,不足以说明已有资产的设备也能恢复。
连续说话,也有等待的代价
7 月的一次固定语音播放没有断供,不代表后来的配置始终如此。8 月 1 日的实测发现,24 KiB 预缓冲刚好等于服务商首批数据,耗尽后网络间隙造成两次断供。改成 128 KiB 流缓冲、64 KiB 启动水位后,同一镜像完整播放 642480 字节,断供归零;代价是实测约 1.58 秒首音延迟。
我接受这次取舍里的等待,但不把它藏在「更稳定」后面。等缓冲和等模型都属于用户的等待,播放顺畅不能替它们免责。如果要更快开口,还得在相同条件下重测,而不能把旧版本的低等待和新版本的连续播放拼成同一个产品成绩。
已经通过的,还不是完整移植
后来的规则更严格:每个候选都要查冷启动、持续运行和回滚,旧版本的日志不能替新候选签字。8 月 3 日的组合验收规则允许一次启动同时测音频、唤醒、识别和模型,但各项分别判定;模型返回 429,不能抹掉有效的本地音频结果,也不能藏在兜底播报成功后面。
完整 Hermes 移植仍不能宣布完成。兼容矩阵把后台学习、技能完整生命周期、持久任务和委派的部分验收留着;8 月 3 日的教训已记录真实模型语义样本与生命周期测试要分开,不能把较早的「部分」理解成后来毫无进展。我还缺一份绑定同一最终候选、覆盖全部行为与故障恢复的完整通过记录。现在能说的是这些具体路径分别验到了哪里,整机成熟度还要继续验。