ESP32 agent
在开发板上调度工具与硬件的智能体
它是什么
我对「在板上运行 agent」的理解,是让板子自己持有状态、安排动作,而非把它当成麦克风。这个项目把调用工具做事的程序放在 ESP32-S3 开发板上,唤醒、会话、记忆和硬件控制由固件调度。模型服务仍由板子联网调用,不能因此宣称它能离线运行云端规模的模型。
断网时,设备还能保留唤醒、按键入口、本地记忆和硬件控制;语音理解的能力会降级。开发用的网关只负责仿真和测试,不该成为设备正常运行的必要条件。我看重的是设备自身承担了哪些职责,边界要说清楚。
我做了什么
这个项目把会话状态集中管理,给异步返回的结果标上所属轮次,过时的结果要丢掉。人在说新要求时,上一轮模型的回答可能才回来;如果它还能改变当前动作,设备就会拿旧话当新命令。这个约束服务于能被打断、能继续做事的身体。
板上验证已经做到过:模型在同一轮中选择并执行表情显示、光照读取、距离读取和加速度读取,还安装了可以回退的自检技能。技能在这里是设备能调用和更新的一段能力。我能确认的是项目完成了这条实测,不能顺着它推出所有硬件都能自动接上。
关键取舍
一个实际付出的代价是等待。播放曾因网络数据间隙出现断续,项目加大音频缓冲,并等积累到一定量再开播;同一固件的那次验证不再出现缓冲耗尽,但第一声来得更晚。连续地说完和尽快开口,在这里需要取舍。
验证方式也改过。定时器让播放器停下,只能说明停止动作有效,不能证明它真的听见了唤醒词。后来改用带唤醒词的固定音频,在真机上触发实际的唤醒检测,再检查打断与旧结果丢弃;这比一个「停止成功」多验证了关键的一段。
现在到哪了
2026 年 7 月的发布验收留下了多工具调用的记录,8 月的调试记录继续把音频、识别、语义和工具执行分别判定。一次播放成功,不能替上游模型失败的那一项过关。我认可这种分开记账的办法,否则板子能发声很容易被说成整条链都能工作。
按项目的验收标准,它还不能算全部完成。后台学习、技能的完整生命周期和任务委派仍有未完成的验收。当前有板上能力,也有明确缺口;我愿意把每一项通过的范围写窄一点,等完整的重启与恢复验证补上,再扩大结论。