48. 语音、多模态 AI 与 OpenClaw¶
48.1 学习目标¶
把语音、视觉或聊天入口接到机器人上层决策，同时保留确定性的指令校验、速度限制和停止链。
人工智能（Artificial Intelligence, AI）在本章用于理解语音、图像或文字输入，并生成高层任务意图。多模态大模型（Multimodal Large Language Model）可以同时处理多种输入形式。模型输出存在不确定性，所以它只能进入受控任务接口，不能越过速度限制、通信超时和急停。
48.2 适用范围¶
ROS 2 文本转语音（Text-to-Speech, TTS）、多模态大模型交互和 OpenClaw 应用。应用程序编程接口（Application Programming Interface, API）是程序之间约定的调用入口；QQBot 等网络服务也只作为可选入口。在本章的控制链中，OpenClaw 位于上层，负责把聊天或工具调用接到受限的机器人任务接口。
48.3 操作前检查¶
- 核心底盘、传感器和导航不依赖大模型也能独立验收。
- API 凭据不写入源码、日志或教材。
- 运动命令采用白名单，急停不经过云服务。
48.4 工作原理¶
AI 可以把“去实验室门口”这样的自然语言转换成导航目标。连续轮速仍由确定的 ROS 状态机、Nav2 或固定控制器计算。模型输出先经过结构检查、动作白名单和参数范围校验，随后才交给这些执行模块。
48.5 操作步骤¶
- 单独验证麦克风、语音识别和 TTS，不连接运动。
- 记录模型输入、结构化输出和解析失败行为。
- 为可执行意图建立白名单、参数范围和确认步骤。
- 把导航类指令转换为 Nav2 目标，把简单动作转换为短时受限命令。
- 超时、网络断开、模型拒答或格式错误时保持停止。
- OpenClaw/聊天机器人只调用上述受控接口，不直接访问串口或 PWM。
- 日志隐藏令牌和个人消息，记录决策来源与最终动作。
48.6 验收标准¶
- 无网络或无模型时，底盘基础功能仍正常。
- 非白名单、歧义和越界命令不会执行。
- 每次运动有明确超时、最大速度和停止条件。
- 急停和底盘通信超时不依赖 AI 服务。
48.7 故障排查¶
| 现象 | 处理 |
|---|---|
| 同一句话动作不一致 | 使用结构化输出、低随机性和规则校验 |
| 模型返回文本无法解析 | 拒绝执行并记录原始响应 |
| 网络中断后动作持续 | 上层心跳和底盘超时必须独立生效 |
| 令牌出现在日志 | 立即撤销，改用环境变量或安全凭据存储 |
代码资源边界
教材源码仓库不提供可直接控制底盘的语音或 AI 执行器；任何实现都必须重新建立白名单、超时和急停边界。