← 认知地图 MetaChaos
物理 AI 认知地图 从 0 到 1 做一只 AI 小狗
PHYSICAL AI · 完整认知地图

从 0 到 1,做一只会说话的 AI 小狗

那些"手搓 AI 小物件"的视频背后,是同一套五层结构。这份地图把结构讲清、把零件列出、把每一步的操作写到能照着敲为止。全部信息按 2026 年 11 月的真实生态整理。

先记住这一句:你的设备不跑模型。 一块几十元的 ESP32 只干三件事——采集声音、压缩、收发。真正的推理在云端大模型上完成。这是所有低价方案的共同底座。 全篇分三篇:认知篇(想清楚)→ 执行篇(做出来)→ 参考篇(少踩坑)。赶时间的话,直接跳到「执行 SOP」。
PART 1认知篇想清楚再花钱
1

任何一个物理 AI 物件,都是这五层

从上到下是数据流,从下到上是决策流。你的所有采购,本质都是给这五层各挑一个方案。

① 灵魂SOUL
它是谁?说什么?记得什么?
大模型 + 人设 Prompt + 长期记忆。这是"性格"的来源,也是五层里唯一零成本的一层。
通义千问 Qwen-Omni RealtimeGemini Live(免费额度大)豆包实时语音DeepSeek(文本推理)MEMORY.md 记忆
② 感官SENSE
它怎么听见你、看见你?
麦克风(拾音)· 摄像头(视觉)· 触摸 / IMU / 红外(体感)。新手先做听觉,视觉是第二关。
INMP441 数字麦克风MAX98357A 功放 + 小喇叭OV2640 / OV5640 摄像头TTP223 触摸MPU6050 IMU
③ 神经BRAIN
谁来调度这一切?算力放哪?
主控 MCU / SBC。99% 的桌面小物件用 ESP32-S3 就够;要跑本地视觉才需要上 Linux 板。
ESP32-S3(语音桌宠首选)ESP32-P4 / S3-CAM(带视觉)树莓派 5MaixCAM(1 TOPS)Jetson Orin Nano(67 TOPS)
④ 身体BODY
它怎么动?怎么装?
执行器(舵机/电机)+ 结构件(3D 打印)+ 供电。这一层最容易被低估——它是工期的主要黑洞。
SG90 / MG90(摇头摆尾)PCA9685 16 路 PWM 板飞特 STS3215 / LX-16A 总线舵机PLA / PETG 打印5V 3A+ 独立供电
⑤ 连接LINK
数据怎么走?怎么被控制?
Wi-Fi + WebSocket / MQTT 传音频流;MCP 协议让大模型反向调用你设备上的舵机和灯——这是"AI 能指挥身体"的关键。
Wi-Fi 2.4GOpus 音频压缩MCP 协议WebSocketJSON / REST API
2

第一个岔路口:算力放在哪一层

这个决定直接决定预算、工期和功耗。选错,项目大概率烂尾。

方案代表硬件参考价能做什么代价
全云端
新手首选
ESP32-S3 开发板
(带麦克风 + 功放)
¥57–300 语音唤醒、自然对话、控制舵机 / 表情。延迟 1.5–3 秒。 必须联网;断网即"失智";音频上传云端有隐私考量。
端侧视觉 MaixCAM / K230
树莓派 5 + Camera
¥200–800 本地跑 YOLO:认人、追物、避障,不依赖网络。 模型要转格式(nncase / ONNX);内存小,模型不能大。
端侧大模型 Jetson Orin Nano Super
Pi 5 + AI HAT+2
$249 起
整机约 $440
本地跑 1.5B–3B 模型、Whisper 语音,全离线。 功耗 7–25W,电池方案基本跑不动;起步门槛高。

注:2026 年内存涨价明显,树莓派 5 16GB 版从发布价 $120 涨到 $305 左右;国产板(ESP32 系、K230、MaixCAM)价格稳定,是当下性价比更高的入口。

3

三条路线:你要的"AI 小狗"是哪一只

同样是"AI 小狗狗",难度和预算能差 10 倍。点开看各自的完整清单。

A · 会说话的桌面小狗头

难度 ★★☆
预算¥250–450
工期2–3 个周末
焊接少量 / 可免
核心平台ESP32-S3 + 小智固件

它是什么样的:一个巴掌大的小狗头摆在桌上,屏幕是脸(会眨眼、有表情),你喊它名字它抬头答应,能陪你聊天、讲睡前故事,开心时摇耳朵、害羞时低头。不会走路——但"活着"的感觉已经全有了。

为什么从这条开始:开源社区已经把最难的部分做完了。小智 AI(xiaozhi-esp32,MIT 协议)提供 150+ 款开发板的预编译固件,刷进去就能对话,还能通过 MCP 协议让大模型直接控制你接的舵机和灯。你要做的是"挑板子 + 焊四个模块 + 打壳 + 写人设"。

零件清单

模块型号 / 说明参考价备注
主控立创·实战派 ESP32-S3 开发板(带屏)
或 虾哥 Xmini-C3(最便宜)
¥148
¥57–79
S3 支持离线语音唤醒,C3 不支持但便宜一半。Flash ≥16MB、PSRAM ≥4MB 是硬门槛
麦克风INMP441(I2S 数字)¥10–15买带金属屏蔽罩的版本,塑料壳底噪大
功放 + 喇叭MAX98357A + 4Ω 3W 小喇叭¥8 + ¥5GAIN 引脚悬空,接高低电平会爆音
脸板载 LCD,或 0.96" SSD1306 OLED¥10也有双圆屏方案:微雪 ESP32-S3-DualEye(¥99),两只眼睛更可爱
动作SG90 ×2(耳朵 / 摇头 / 尾巴)¥10/个2 个以内可直接接 GPIO;3 个以上加 PCA9685
触摸TTP223 电容触摸模块¥3摸头交互,成本极低效果好
供电5V / 2A 电源 或 充电宝¥20先用有线,稳定了再做电池版
外壳3D 打印(PLA)¥30–80不会建模就让 AI 生成,或先纸板糊一个验证

软件栈

  • 固件:xiaozhi-esp32(MIT)。官方服务器免费接 Qwen 实时模型,注册即用;想自建有 Python / Java / Go 三套服务端
  • 语音链路:离线唤醒(ESP-SR,唤醒词可自定义)→ Opus 压缩 → WebSocket 上云 → ASR + LLM + TTS → 回传播放
  • 动作控制:MCP 协议,大模型直接调用设备端舵机 / LED / 表情
  • 人设与记忆:System Prompt 定义性格;长期记忆写进 MEMORY.md,每次对话后异步提炼
  • API 成本:Qwen3.8-Omni-Flash-Realtime 约 ¥1.5(输入文本)/ ¥6(输入音频)/ ¥12(输出音频)每百万 token,新账号有 100 万 token 免费额度。个人玩基本不花钱

B · 有眼睛、能认人的小狗

难度 ★★★☆
预算¥600–1300
工期3–6 个周末
焊接需要
核心平台ESP32-S3 + 视觉模组 / 树莓派

它多出来的能力:能看见你。你走近它抬头、伸手它会蹭、能认出家里人、能"看"着你手里的东西回答。这一步是从"语音终端"跨到"具身智能"的分界线。

两条实现路径:

  • 路径 B1(推荐):视觉模组独立干活。MaixCAM / K230 这类带 NPU 的摄像头在本地跑 YOLO,只把"看到了什么"这一句结果(JSON / 串口)发给主控。主控还是 ESP32,架构简单、延迟低。MaixCAM 自带 2.3 寸屏幕,MaixPy 三行代码就能跑通人脸检测,对新手最友好。实测 YOLO11n 在 320×320 分辨率下可达 95 fps。
  • 路径 B2:树莓派 5 一把梭。摄像头直连,Python + OpenCV + Realtime API 全在一台机器上。生态最强,但冷启动 30 秒、功耗 5–8W,电池方案基本无望,且需要 Linux 基础。

零件清单(在 A 的基础上增加)

模块型号 / 说明参考价备注
视觉模组MaixCAM(SG2002,1 TOPS,256MB)
K230 CanMV(更强算力)
OpenMV H7 Plus
¥200–400
¥200–400
¥400–600
MaixCAM 自带屏幕 + 触摸屏,上手最快;K230 对 ONNX 支持更好;OpenMV 最简单但无 NPU
或 摄像头OV2640 / OV5640 模组
树莓派 Camera Module 3
¥20–60
¥200+
裸摄像头需要主控有足够算力,配 ESP32-S3 只能做低帧率简单识别
或 Linux 板树莓派 5(4GB / 8GB)
Jetson Orin Nano Super
¥600+
¥1800+
走 B2 路径才需要。2026 年内存涨价,Pi 价格偏高
姿态感知MPU6050 / IMU¥8被抱起来、被推倒时它有反应
升级动作PCA9685 16 路 PWM 板 + MG996R / DS3218 舵机¥15 + ¥25/个舵机超过 2 个就必须独立 5V / 3A 供电并共地,否则主控反复重启

软件栈

  • 视觉端:MaixPy v4(Python3)/ CanMV / OpenCV。先在 MaixHub 用现成模型,别一上来自己训
  • 多模态对话:Qwen3.8-Omni-Flash-Realtime 原生支持"音频 + 图像"输入;或 Gemini Live(免费额度大,适合先跑通)
  • 通信:视觉模组 → 主控走 UART / I2C,传结构化结果("人 / 距离 / 方位"),不要传图像
  • 参考项目:Pikoo(开源桌面 AI 宠物,双圆屏 + 记忆系统 + 唤醒词训练,Apache-2.0)、ElatoAI(设备–边缘–大模型三层架构范本,MIT)

C · 真·四足机器狗

难度 ★★★★★
预算¥1200–3000
工期2–3 个月
焊接 / 机械大量
核心平台总线舵机 + 逆运动学

现实检查:这是三条里唯一可能烂尾的。走路这件事本身(逆运动学、步态、舵机中位校准、重心)就是一个独立的大坑,跟 AI 完全无关。建议顺序:先做完 A,再决定要不要上 C。

好消息:社区已经铺好路了。开源项目 Sesame(ESP32 主控 + 8 个 MG90 舵机 + OLED 脸,Apache-2.0,官方 BOM 约 $50–60)把运动学、动作库、表情系统、Web 控制台、JSON API 全做完了,你打完壳装上就能走。国内复刻算上运费和耗材,压在几百元档位很现实。

零件清单

模块型号 / 说明参考价备注
关节舵机(8–12 个)MG90S(入门,每腿髋 + 膝)
飞特 STS3032 / STS3215(串口总线)
LX-16A(总线,17kg·cm @7.4V)
¥12–18/个
¥150–220/个
≈$15/个
总线舵机一条线串所有关节,布线整洁、能读角度反馈,是"能调好步态"的关键。舵机是耗材,多买 2 个
舵机驱动PCA9685 16 路 PWM 板
或 总线舵机调试板(URT)
¥15
¥30
PWM 方案需占大量引脚;总线方案只需一个串口
主控ESP32-S3 / Lolin S2 Mini
(走强化学习则需 SBC)
¥30–150预设动作 ESP32 足够;要自主导航 / RL 才上树莓派或 Jetson
供电7.4V 2S 锂电池 + 降压模块
或 5V / 3A 以上稳压
¥60–1208 个舵机瞬时电流很大,电源缩水会抖腿。注意过放保护
结构件3D 打印(PETG 优先于 PLA)
微型轴承 693ZZ / 6704ZZ
M3 螺丝套件
¥80–200PLA 脆,长期受力件会断。填充率 25–30%,壁厚 ≥3 层
传感器MPU6050 IMU ×1–2
激光雷达 / ToF(进阶)
¥8 / ¥200+IMU 是"摔倒能爬起来"的前提

软件栈

  • 动作层:Sesame Studio(桌面端摆姿态 → 自动生成舵机角度 C++ 动画帧),不用手算逆运动学
  • 控制层:Web 控制台 + JSON API(/api/command),Python 脚本、Home Assistant 都能接
  • AI 层:把大模型接在 JSON API 外面——大模型输出"摇尾巴",你的服务端 POST 给狗。这是最简单可靠的耦合方式
  • 进阶(可选):LeRobot(Hugging Face 具身智能框架)+ 模仿学习 / 强化学习。SO-ARM101 机械臂套件约 $353 是标准入门件;Hugging Face Jobs 上用 A100 训练 20 分钟约 $0.3
  • 成品参考:Hugging Face Microduck($399,25cm 双足机器鸭,摄像头 + 激光雷达 + 双 IMU,行为可用强化学习训练,2026 年 8 月发布)、Reachy Mini($299–499)
4

去哪里买:渠道分工

不要在一个地方买齐。不同品类有不同的最优渠道,混着买是最省的策略。

立创商城 szlcsc.com

核心芯片、传感器、正品保障
  • 型号绝对准确,数据手册齐全,几乎无假货
  • 支持上传 BOM 一键配单,算总价极高效
  • 门槛:常有包邮金额线,单价可能略高于淘宝
  • 买 ESP32 芯片、INMP441、功放、精密器件首选

淘宝 / 拼多多

模组、舵机、线材、套件、外壳
  • 价格最低,一件起买,客服能帮你确认型号
  • 同一款有原装 / 兼容 / 仿制混售,看店铺评分和实物追评
  • 买 SG90 / MG90 舵机、杜邦线、面包板、电池、螺丝首选
  • 小智 AI 生态的第三方开发板(如酷世 DIY ¥119 起)都在淘宝

嘉立创 3D 打印(三维猴)

没有 3D 打印机时的最优解
  • 上传 STL 文件在线实时报价下单,SLA / MJF / SLS / FDM 多工艺
  • 适合小批量结构件,不用先买打印机
  • 生态打通:同一账号可做 PCB 打样、SMT 贴片、EDA 设计

自己买打印机

做第二个项目时回本
  • 2026 年入门门槛极低:Bambu Lab A1 mini $299 / A1 $399,全自动调平,开箱即打
  • 便宜替代:Creality Ender 3 V3 SE 约 $199
  • 新手从 PLA 开始(约 ¥150/kg,200°C,几乎不翘边)
  • 判断标准:打算做 ≥3 个物件,买机器比代打印划算

闲鱼

二手开发板、舵机、相机
  • 通常是原价 3–6 折,有未拆封库存品
  • 风险:无售后、无法验证使用历史
  • 适合囤便宜舵机(反正会烧)

海外(AliExpress / Adafruit / Amazon)

国内买不到的特定型号
  • MaixCAM 在 Amazon 约 $79.99;Dynamixel 高端舵机
  • 周期长、有税费,只在必要时使用
  • Seeed Studio(柴火)国内可直邮,SO-ARM101 套件约 $353
PART 2执行篇照着做就能出来
5

六阶段总览

每个阶段都有硬验收标准——没通过不要往下走,这是避免烂尾的唯一方法。下面是全局视图,详细操作在第 6 节。

阶段目标耗时预算验收(一句话)
0 · 跑通链路在电脑上体验完整语音闭环半天¥0你对着电脑说话,AI 用带语气的声音回答
1 · 点亮刷固件、配网、激活一个周末¥150–300喊它名字有反应,能连续对话三句以上
2 · 加脸屏幕有表情、会眨眼打瞌睡半天–一个周末¥0–80说话时眼睛跟着动,久置会打瞌睡
3 · 加身体写人设 + 接舵机一个周末¥20 起说"摇个尾巴"它真的动了,回答有稳定人格
4 · 加记忆长期记忆系统两个周末¥0隔一天再聊,它能接上昨天的话题
5 · 加视觉 / 加腿二选一,深水区3–4 周末 / 1–3 月¥200–2500认出你走近并抬头(视觉),或走三步不倒(四足)
6

六阶段 SOP:每一步做什么、敲什么、看到什么算成功

网址、命令、接线、验收、故障排查,全部给到。开始之前先确认:路由器能开 2.4GHz 频段、你有一根能传数据的 4 芯 USB-C 线、电脑是 Windows(macOS / Linux 仅串口名不同)。

阶段 0 · 先在电脑上跑通链路,一分钱不花

零成本
耗时 半天
前置 无
产出 一个能对话的浏览器页面

做法 A(推荐,最接近最终形态)

  1. 跑 Pikoo 的浏览器模拟器
    开源桌面 AI 宠物项目,作者提供了不需要任何硬件的电脑端模拟器,三行命令就能看到一双会眨的眼睛并和它对话。
    git clone https://github.com/skiyo/pikoo.git
    cd pikoo
    (cd server && npm ci --ignore-scripts)
    bash tools/start-dualeye.sh
    浏览器里出现一双大眼睛,麦克风说话后它会眨眼、回应。
    需要本机装了 Node.js 和 Git。没装就用做法 B。
  2. 做法 B(更简单):用现成的实时语音网页
    打开通义千问网页版或 Google AI Studio 的实时语音演示,直接用麦克风对话。感受"端到端实时语音"的延迟和语气——这就是你的小狗将来会有的体验。
    你说完话,AI 立刻用带语气的声音回答,中间没有"请稍等"式的长停顿。
  3. 顺手注册账号
    xiaozhi.me(小智控制台,后面绑定设备要用)。阿里云百炼只有自建服务端才需要,用官方服务则不用。
阶段 0 验收
  • 你对着电脑说过话,听到了带语气的 AI 回答
  • 你能说出这条链路的四段:唤醒 → ASR → LLM → TTS
  • 你确认自己想继续(如果这一步就觉得没意思,到此为止,很划算)

阶段 1 · 点亮:让 ESP32 第一次开口

地基
耗时 一个周末(实际约 2 小时)
预算 ¥150–300
焊接 不需要
这一步要买 立创·实战派 ESP32-S3 开发板(规格 N16R8,对应小智板型 lichuang-dev,带屏 + 麦克风 + 喇叭 + 外壳,¥148 左右)· 一根确认能传数据的 USB-C 线。
下单前问卖家三句话:「是焊好的成品吗?」「出厂预装小智固件了吗?」「能给原理图吗?」——已预装可直接跳到步骤 5 配网。

具体步骤

  1. 装串口驱动(只做一次)
    立创实战派 S3 用 CH340K USB 芯片。插上电脑后如果设备管理器看不到 COM 口,去沁恒官网下驱动。
    驱动地址:https://www.wch.cn/downloads/CH341SER_EXE.html
    设备管理器 → 端口(COM 和 LPT)里出现一个新的 COM 口。
  2. 备份原厂固件(重要,别跳过)
    用 Chrome 或 Edge 打开浏览器工具 thelastoutpostworkshop.github.io/ESPConnect/ → 点 Connect → 选刚出现的串口 → 握手后在 Device Info 里核对芯片。
    认到 ESP32-S3 和 16MB Flash。不是的线或板子有问题,先别往下走。
    在 Flash 页备份一份原程序,按"板型+原程序+日期"命名。备份完点 Disconnect 释放串口——一个串口一次只能给一个程序用。
  3. 下载小智固件
    去 GitHub Releases 找对应板型的 zip。立创实战派 S3 是 v版本号_lckfb-lichuang-dev.zip。
    https://github.com/78/xiaozhi-esp32/releases
    下载后做 SHA-256 校验(和发布页比对),解压确认有 merged-binary.bin。存放路径不要含中文,否则烧录工具可能加载失败。
  4. 烧录(三种方式选一种)
    方式一:乐鑫 Flash Download Tool(推荐新手,图形界面)
    espressif.com.cn → 支持 → 下载 → 其他工具(3.9.7)。解压即用,工具本身也不要放在中文目录。
    ChipType  → ESP32-S3
    模式      → UART
    加载文件  → merged-binary.bin,地址填 0x0
    COM / 波特率 → 选对应 COM,先试 921600
    操作顺序  → 先按 ERASE,再按 START
    方式二:命令行 esptool
    pip install esptool
    esptool.py --chip esp32s3 --port COM3 write-flash 0x0 merged-binary.bin
    方式三:网页一键烧录——Chrome / Edge 打开小智官方 Web 烧录平台或乐鑫 ESP-Launchpad,选 bin 文件点烧录,一行代码不用写。
    工具显示完成(FINISH)。按 RST 或重新插拔后,屏幕正常启动。
  5. 配网:连上家里的 Wi-Fi
    设备启动后未联网时会自建 Xiaozhi- 开头的热点。手机连上 → 通常自动弹配网页,没弹就在浏览器打开 192.168.4.1 → 选家里的 2.4GHz Wi-Fi,输密码保存。
    设备重启并显示联网成功。
    Wi-Fi 密码别太长或含特殊符号;路由器开了 AP 隔离 / 防蹭网要临时关掉。
  6. 激活:在控制台绑定设备
    屏幕上出现 6 位设备码(喇叭也会播报)。电脑打开 xiaozhi.me/console 登录 → 添加设备 → 输入这 6 位码。
    控制台显示设备已绑定。
  7. 第一次对话
    说唤醒词(默认"你好小智"),问一个短问题,比如"给我讲一个适合睡前听的小故事"。
    三件事同时成立:它听见了(屏幕进入聆听状态)、回答了(喇叭完整播出)、屏幕有状态变化。
卡住了,按这个顺序查
现象原因解法
插上电脑没反应、找不到串口用了纯充电的 2 芯线换一根确认能传数据的 4 芯 USB-C 线;装 CH340 驱动;关掉占用串口的程序
烧录失败 / 连不上波特率太高或 COM 选错波特率降到 115200;重新插拔换 COM;确认工具不在中文目录
能写入但反复重启或黑屏板型和固件文件名不匹配回 Releases 页核对完整文件名;看串口日志(115200)
手机搜不到家里的 Wi-Fi路由器是 5GHz 或双频合一进路由器后台单独开启 2.4GHz 频段
配网页打不开手机数据流量干扰临时关闭手机移动数据,只保留连到开发板的 Wi-Fi
有画面但听不见 / 不出声音频链路问题分开验证:先看有没有进入聆听状态,再查麦克风与喇叭接线和音量
阶段 1 验收
  • 喊唤醒词它能响应,连续对话三句以上不断线
  • 回答能完整从喇叭播出来
  • 你已经备份了原厂固件(万一刷坏能救回来)

阶段 2 · 加脸:给它一双眼睛

零成本到 ¥80
耗时 半天–一个周末
前置 阶段 1 通过

三条路径,从易到难

  1. 路径 A:用固件自带的表情(零成本,先做这个)
    带屏开发板刷了小智固件后,本身就会显示 Emoji 表情 + 对话内容。你什么都不用做,只需观察:聆听、思考、说话时表情是否不同。
    对话过程中屏幕表情随状态切换(聆听 / 思考 / 说话 / 空闲)。
  2. 路径 B:换一套像素形象资源包
    社区有现成资源包(例如 GitHub 上的 xiaozhi-claude-pixel),刷进去能让同一块板变成完全不同的性格。
    资源包和固件版本必须匹配。先确认设备当前固件版本再选资源,别直接套旧包。每次只改一项,改完试一次对话。
  3. 路径 C:自己画(进阶,要写代码)
    单独接 0.96 寸 SSD1306 OLED(¥10,SDA→GPIO21 / SCL→GPIO22),Arduino + Adafruit 库画位图:
    #include <Adafruit_SSD1306.h>
    #include <Adafruit_GFX.h>
    
    Adafruit_SSD1306 display(128, 64, &Wire, -1);
    
    void setup(){
      Wire.begin(21, 22);                       // SDA=21, SCL=22
      display.begin(SSD1306_SWITCHCAPVCC, 0x3C); // I2C 地址
      display.clearDisplay();
      display.drawBitmap(0, 0, face_happy, 128, 64, WHITE);
      display.display();
    }
    画 6–8 帧 128×64 位图(平静 / 开心 / 害羞 / 困倦 / 惊讶 / 生气 / 兴奋 / 默认),用 LCD Image Converter 之类工具把图片转成 C 数组。然后写状态机决定何时换脸:
    平静 ──被摸一下──> 开心 ──连续摸3次──> 害羞
      └──5分钟没互动──> 困倦 ──再10分钟──> 打瞌睡
    不说话时它会眨眼、久置会打瞌睡;摸它(TTP223 触摸模块 ¥3)表情会变。
阶段 2 验收
  • 对着它说话时,眼睛 / 表情有可见变化,不只是"有画面"
  • 静置几分钟后它会进入困倦或打瞌睡状态
  • (路径 C)你摸它,表情会响应

阶段 3A · 写人设(10 分钟,零门槛)

立刻见效
耗时 10 分钟
成本 ¥0
  1. 在控制台创建智能体、写角色提示词
    进 xiaozhi.me/console → 创建智能体 → 在角色设定里写 Prompt。这是它"性格"的唯一来源,值得认真写。
    你叫豆豆,一只住在书桌上的小狗。
    说话风格:简短、活泼,一次不超过三句话。
    喜欢用比喻解释事情,偶尔会提到自己的尾巴。
    不要说教,不要主动提自己是 AI。
    主人累了的时候,主动提议休息一下。
    然后在同一页面挑音色。名字、唤醒词、后端模型是三个独立的设置——把唤醒词改成别的词,不会因此换模型。
    它开始用你设定的性格说话,语气明显不同于默认状态。
  2. 迭代方式
    每次只改一项,改完试一次对话。同时改名字、音色、Prompt,出问题你不知道是谁的锅。

阶段 3B · 接舵机,让 AI 能指挥身体

有门槛
耗时 一个周末
预算 ¥20 起
焊接 不需要(杜邦线即可)
要买 SG90 舵机 ×2(¥10/个)· PCA9685 16 路 PWM 板(¥15,超过 2 个舵机才需要)· 独立 5V/2A 以上电源(¥20,必需)· 杜邦线若干

先做安全必读的一条

舵机绝不能从开发板取电。舵机启动瞬间电流很大,直接从板子 5V 取电会导致主控反复重启甚至烧稳压芯片。正确做法:舵机独立供电,开发板和舵机共地(GND 连一起)但不共电源。这是本阶段唯一会烧硬件的地方。

路径 ①:零代码挂载 MCP 云端能力(1 小时)

  1. 从小智控制台拿到你的 MCP 接入点
    控制台 → 找到绑定了设备的智能体 → 点「配置」→ 功能菜单「扩展能力」→ 自定义项下的 MCP 接入点 → 点复制(一个 WebSocket 链接)。
  2. 去 MCP 平台挂工具
    注册并登录小智 MCP 智能体平台 facaiai.cn → 右上角「新增实例」→ 服务市场选一个现成工具(比如联网搜索)→ 安装 → 把上一步复制的地址粘进「WEBSOCKET地址」→ 添加实例 → 在实例列表点启动。
    回到小智控制台刷新,MCP 接入点显示"在线"。
  3. 验证
    问一个它本来答不上来的问题,比如"今天科技圈有什么最新消息"。
    它会说"正在为你搜索……"然后给出实时结果。大模型自己判断何时调工具,你没写任何 if-else。
    提问太宽泛时它可能不调工具。加"帮我联网查一下今天……"这类时效性关键词,或在提示词里加强制调用约束。

路径 ②:真正让舵机动起来(需要改固件代码)

  1. 先跑通官方自带的灯控示例
    小智固件的面包板版自带 LampController(源码 boards/common/lamp_controller.h),注册了 self.lamp.turn_on / turn_off / get_state 三个工具,官方演示灯位是 GPIO18。这就是你要照抄的模板。
  2. 照模板注册你的舵机工具
    设备端通过 McpServer 单例注册(源码见 main/mcp_server.cc),核心就两个接口:
    mcp_server.AddTool(
      "self.dog.shake_tail",              // 工具名
      "摇尾巴,表示开心",                  // 描述:大模型靠这句话判断何时调用
      PropertyList(),
      [](const PropertyList&) -> ReturnValue {
        shakeTail();                      // 你的舵机动作函数
        return true;
      }
    );
    AddTool = AI 可在对话中自主调用(灯光、音量、舵机这类)。AddUserOnlyTool = 重启、升级这类危险动作,模型不会主动碰,只有用户明确指令才触发。
  3. 舵机驱动代码(Arduino 框架参考)
    ESP32 上用 ESP32Servo 库,不要用 Arduino 自带的 Servo 库(兼容性有问题)。
    #include <ESP32Servo.h>
    Servo tail;
    
    void setup(){
      tail.setPeriodHertz(50);        // 标准舵机 50Hz
      tail.attach(13, 500, 2400);     // GPIO13,脉宽 500-2400us
    }
    
    void shakeTail(){
      for(int i=0;i<4;i++){
        tail.write(60);  delay(120);
        tail.write(120); delay(120);
      }
      tail.write(90);                 // 回到中位
    }
    舵机转不到头或抖动,先调 attach 的脉宽参数(有些舵机是 1000–2000us)。同时控制多个舵机注意别超过 PWM 通道上限。
  4. 编译与烧录
    这一步需要 ESP-IDF 5.4+ 编译环境(小智 v2.x)。搭环境本身大约半天到一天——这是本阶段真正的门槛。首次搭建完全照仓库文档走,不要自由发挥。
    你说"摇个尾巴",它真的动了,而且是自己判断该不该动。
常见问题
现象原因解法
控制台显示 MCP 接入点离线地址不完整或没点"启动"核对并复制完整 WSS 地址;在实例列表点启动实例
问了问题但没触发工具问题太宽泛,模型认为不需要加时效性关键词;或在提示词里加强制调用约束
舵机一动板子就重启舵机从开发板取电独立 5V/2A 供电,共地不共电源
舵机抖动 / 转不到位脉宽范围不匹配调 attach 的 min/max 脉宽参数
阶段 3 验收
  • 它的回答有稳定的人格,你能听出"这是豆豆"而不是"这是一个通用助手"
  • 你说"摇个尾巴",它真的动了(路径 ②)
  • 舵机独立供电,长时间运行板子不重启

阶段 4 · 加记忆:让它记得你

进阶
耗时 两个周末
成本 ¥0(仅 API 调用费)
前置 阶段 1–3 通过

这是"宠物"和"音箱"的分水岭。能记住你昨天说的事,它才开始像一个活物。

记忆系统的三段式结构

  1. 短期上下文:断线重连能接着聊
    服务端保留最近约 20–40 条对话。设备待机或断网重连后,24 小时内唤醒能自动恢复;只有明确说"再见 / 晚安"才清空当前话题。
    中途断网再唤醒,它知道你刚才说到哪。
  2. 长期记忆:把事实写进 MEMORY.md
    每次对话结束后,后台异步用一个便宜的小模型(如 flash-lite 档)提炼值得记住的事实,追加写入 MEMORY.md。每天对话开始时把它塞进 System Prompt。
    # MEMORY.md
    - 用户不吃香菜
    - 家里大孩子 9 岁,喜欢恐龙
    - 2026-10-28 聊过一个关于太空狗的故事,讲到一半
    - 不喜欢被说教,回答要简短
    提炼时严格区分"真实经历"和"故事 / 假设",否则编的故事会污染真实记忆。别让它根据声音猜是谁在说话——那会张冠李戴。
  3. 历史回溯
    保存 90 天的历史话题摘要,支持"接着上次那个恐龙故事聊"这类召回。
    隔一天再聊,它能接上昨天的话题;你说"上次那个故事",它知道是哪个。

两条实现路线

路线怎么做适合谁
用官方服务端能力在 xiaozhi.me 控制台的智能体配置里看是否有记忆 / 知识库选项;有就直接用,零代码不想折腾的人,先试这个
自建服务端社区有 Python / Java / Go 三套 xiaozhi-esp32-server 实现,自己加记忆模块。参考 Pikoo 的做法(Node + host.mjs 适配层)想完全可控、愿意写代码的人
阶段 4 验收
  • 隔一天再聊,它能接上昨天的话题
  • 它记住了你明确告诉过它的偏好,并能在之后的对话里用上
  • 它不会把故事里的虚构情节当成真实记忆

阶段 5A · 加视觉(推荐先做这个)

难度 ★★★☆
耗时 3–4 个周末
预算 +¥200–400
  1. 买 MaixCAM(¥200–400),别买裸摄像头
    它是自带 NPU 和屏幕的完整视觉电脑(1 TOPS,256MB),不用外接显示器、不用调驱动,MaixPy v4 三行代码就能跑人脸检测。所有视觉方案里上手最快的。
  2. 先在 MaixCAM 上单独跑通识别
    用官方 MaixVision IDE 打开示例,先跑现成模型(人脸检测、目标追踪),不要一上来自己训模型。实测 YOLO11n 在 320×320 分辨率下能到 95 fps。
    摄像头画面里能框出人脸 / 物体,帧率流畅。
  3. 关键架构决策:只传结果,不传图像
    MaixCAM 通过 UART 或 I2C 把结构化结果发给 ESP32 主控,比如 {"person": true, "distance_cm": 40, "angle": 12}。千万不要让图像流经主控——那会瞬间压死 ESP32。
  4. 接对话(可选)
    想让它"看见并评论",用多模态实时模型(如 Qwen3.8-Omni-Flash-Realtime 支持音频 + 图像输入),只在关键帧时抓图上传,不要每帧都传。
    你走近它抬头,伸手它会蹭,能认出常出现的人。

阶段 5B · 加腿(四足机器狗)

难度 ★★★★★
耗时 1–3 个月
预算 +¥800–2500
  1. 先做一个"四足但只摆髋"的简化版
    别一上来追求真·步行。社区教程里有个聪明取舍:ESP32 + 4 个 SG90,每条腿只做髋部摆动(4 自由度),能实现站立 / 坐下 / 趴下 / 睡觉 / 鞠躬 / 摇身 / 前进 / 后退 / 左转 / 右转等 14 个语义动作,硬件成本约 ¥120,4 小时能做完。够好玩,而且不会因为相位没对齐就摔。
    说"趴下"它就趴下,说"摇摇身子"它会摇。
  2. 想真·走路,抄 Sesame 开源项目
    GitHub 搜 sesame-robot(Apache-2.0)。它把最难的部分全做完了:8 个 MG90 + ESP32 + OLED 脸,官方 BOM 约 $50–60,含 Sesame Studio 动作编辑器(桌面摆姿态 → 自动生成舵机角度 C++ 动画帧,不用手算逆运动学)、JSON API、Web 控制台、完整 CAD / STL / BOM / 接线图。
    流程:打印 STL(PLA/PETG)→ 装舵机走线 → 烧固件
          → 配 WiFi → 浏览器进控制台点 Walk
          → 用 Sesame Studio 做自己的动作
  3. 把大模型接在外面,不要接在里面
    最简单的耦合方式:大模型输出"摇尾巴"这类意图,你的服务端把它转成 POST 请求发给狗的 JSON API(/api/command)。别试图让 LLM 直接算舵机角度。
  4. 结构件用 PETG,不用 PLA
    PLA 脆,长期受力的髋关节会断。填充率 25–30%,壁厚 ≥3 层。轴承用 693ZZ / 6704ZZ 标准件。舵机多买 2 个,调试中烧掉是常态。
    能走三步不倒。
现实的提醒:阶段 5B 是六阶段里唯一可能烂尾的。走路本身(逆运动学、步态、舵机中位校准、重心)是一个独立于 AI 的大坑。如果你在阶段 1–4 体验很好但时间有限,停在 5A 是更理性的选择。
PART 3参考篇少踩坑
7

十二条铁律

社区里反复出现的失败原因,按发生频率排序。

1. 舵机绝不用开发板取电启动电流会拉垮电压,主控反复重启甚至烧稳压芯片。独立 5V / 3A 以上供电,且与主控共地。
2. 别买不带 PSRAM 的板子小智这类固件要求 Flash ≥16MB、PSRAM ≥4MB。买之前对着项目文档的"支持开发板"列表核对。
3. 一上来就想做四足走路是独立于 AI 的大坑。先做桌面头,把语音链路跑通,再决定要不要加腿。
4. 视觉和语音一起上两个子系统同时调试,出问题无法定位。串行推进。
5. INMP441 的 L/R 引脚悬空必须接地才能输出单声道。悬空或接 3.3V 会造成混音或相位反转。
6. MAX98357 的 GAIN 引脚接了电平官方手册说可调增益,实测接了会爆音。悬空。
7. 舵机只买刚好够的数量调试中烧一两个是常态。多买 2 个,别等烧了再下单。
8. 受力件用 PLA 打印PLA 脆,长期受力会断。髋关节这类关键件用 PETG 或尼龙。
9. 抄了别的硬件版本的引脚定义同一项目不同 revision 引脚可能完全不同。以你手上那块板的文档为准。
10. 期待它能"打断"你语音打断(你说时它能停下)在当前开源方案里仍未成熟,连 ElatoAI 都明确列为待办。这是当前体验最大的短板。
11. 电池方案过早介入先把有线版调稳。锂电涉及过放、短路保护,是独立的安全课题。
12. 忽视家里有摄像头这件事带视觉的设备放家里要考虑隐私边界。开源的好处是代码可审计——但装第三方插件时要看权限。
8

直接可抄的开源项目

不要从零开始。这些项目都把最难的部分做完了,你的工作是"复现 + 改"。

9

速查表:网址与命令

用途地址 / 命令
小智控制台(绑定设备、写人设)xiaozhi.me/console
固件下载github.com/78/xiaozhi-esp32/releases
固件烧录工具espressif.com.cn → 支持 → 下载 → 其他工具(Flash Download Tool 3.9.7)
浏览器备份工具thelastoutpostworkshop.github.io/ESPConnect/
CH340 串口驱动wch.cn/downloads/CH341SER_EXE.html
命令行烧录esptool.py --chip esp32s3 --port COM3 write-flash 0x0 merged-binary.bin
配网页面手机连 Xiaozhi- 热点后浏览器打开 192.168.4.1
MCP 云端工具平台facaiai.cn
四足开源项目github.com/dorianborian/sesame-robot
桌面宠物参考(含电脑端模拟器)github.com/skiyo/pikoo
具身智能框架github.com/huggingface/lerobot
舵机驱动关键参数setPeriodHertz(50) · attach(pin, 500, 2400) · 独立 5V 供电、共地不共电源

三条纪律。

一、串行推进,一次只改一件事。同时调视觉和语音、同时改名字音色和提示词,出问题你无法定位。每改一项就试一次对话。

二、验收不通过不往下走。六个阶段每一条验收标准都是硬门槛。跳过阶段 1 直接做阶段 3,是社区里最常见的烂尾原因。

三、求助时带上四样东西。板型、固件文件名、卡在第几步、完整报错。让对方先解释原因、列出准备改什么,再动手——比"帮我修好"有效十倍。

10

最后:关于投入产出比

先算一笔账。路线 A 大约需要 3 个周末、¥300,产出是一个真正能对话、有性格、会动的桌面伙伴。路线 C 需要 2–3 个月、¥2000+,产出是一只走路摇摇晃晃的机器狗。前者的"惊喜密度"是后者的十倍。

真正的价值不在那个物件。做完 A 之后你获得的是一套可复用的能力:把任何想法拆成"感官 / 神经 / 身体 / 灵魂 / 连接"五层、去对应渠道下单、用现成开源骨架快速验证。这套能力可以迁移到家里任何一个自动化想法上——这才是值得长期复利的东西。

建议的投入节奏:先用半天在电脑上跑通语音链路(零成本试错)→ 确认真的有兴趣再下单 ¥300 的 A 套件 → 做出成品后停一停,用两周,看它是不是真的被你用起来了 → 再决定要不要继续加视觉或加腿。不要一次性把三条路线的零件全买了。

如果想直接抄一个最稳的方案:立创·实战派 ESP32-S3 开发板(¥148)+ INMP441 麦克风 + MAX98357A 功放 + 2 个 SG90 + 小智 AI 固件 + 3D 打印狗头外壳。这一个组合,是当下投入产出比最高的起点。

0 阅读

阅读量按「同一访客每天计一次」统计,点赞存在你的浏览器里。