那些"手搓 AI 小物件"的视频背后,是同一套五层结构。这份地图把结构讲清、把零件列出、把每一步的操作写到能照着敲为止。全部信息按 2026 年 11 月的真实生态整理。
从上到下是数据流,从下到上是决策流。你的所有采购,本质都是给这五层各挑一个方案。
这个决定直接决定预算、工期和功耗。选错,项目大概率烂尾。
| 方案 | 代表硬件 | 参考价 | 能做什么 | 代价 |
|---|---|---|---|---|
| 全云端 新手首选 |
ESP32-S3 开发板 (带麦克风 + 功放) |
¥57–300 | 语音唤醒、自然对话、控制舵机 / 表情。延迟 1.5–3 秒。 | 必须联网;断网即"失智";音频上传云端有隐私考量。 |
| 端侧视觉 | MaixCAM / K230 树莓派 5 + Camera |
¥200–800 | 本地跑 YOLO:认人、追物、避障,不依赖网络。 | 模型要转格式(nncase / ONNX);内存小,模型不能大。 |
| 端侧大模型 | Jetson Orin Nano Super Pi 5 + AI HAT+2 |
$249 起 整机约 $440 |
本地跑 1.5B–3B 模型、Whisper 语音,全离线。 | 功耗 7–25W,电池方案基本跑不动;起步门槛高。 |
注:2026 年内存涨价明显,树莓派 5 16GB 版从发布价 $120 涨到 $305 左右;国产板(ESP32 系、K230、MaixCAM)价格稳定,是当下性价比更高的入口。
同样是"AI 小狗狗",难度和预算能差 10 倍。点开看各自的完整清单。
它是什么样的:一个巴掌大的小狗头摆在桌上,屏幕是脸(会眨眼、有表情),你喊它名字它抬头答应,能陪你聊天、讲睡前故事,开心时摇耳朵、害羞时低头。不会走路——但"活着"的感觉已经全有了。
为什么从这条开始:开源社区已经把最难的部分做完了。小智 AI(xiaozhi-esp32,MIT 协议)提供 150+ 款开发板的预编译固件,刷进去就能对话,还能通过 MCP 协议让大模型直接控制你接的舵机和灯。你要做的是"挑板子 + 焊四个模块 + 打壳 + 写人设"。
| 模块 | 型号 / 说明 | 参考价 | 备注 |
|---|---|---|---|
| 主控 | 立创·实战派 ESP32-S3 开发板(带屏) 或 虾哥 Xmini-C3(最便宜) | ¥148 ¥57–79 | S3 支持离线语音唤醒,C3 不支持但便宜一半。Flash ≥16MB、PSRAM ≥4MB 是硬门槛 |
| 麦克风 | INMP441(I2S 数字) | ¥10–15 | 买带金属屏蔽罩的版本,塑料壳底噪大 |
| 功放 + 喇叭 | MAX98357A + 4Ω 3W 小喇叭 | ¥8 + ¥5 | GAIN 引脚悬空,接高低电平会爆音 |
| 脸 | 板载 LCD,或 0.96" SSD1306 OLED | ¥10 | 也有双圆屏方案:微雪 ESP32-S3-DualEye(¥99),两只眼睛更可爱 |
| 动作 | SG90 ×2(耳朵 / 摇头 / 尾巴) | ¥10/个 | 2 个以内可直接接 GPIO;3 个以上加 PCA9685 |
| 触摸 | TTP223 电容触摸模块 | ¥3 | 摸头交互,成本极低效果好 |
| 供电 | 5V / 2A 电源 或 充电宝 | ¥20 | 先用有线,稳定了再做电池版 |
| 外壳 | 3D 打印(PLA) | ¥30–80 | 不会建模就让 AI 生成,或先纸板糊一个验证 |
它多出来的能力:能看见你。你走近它抬头、伸手它会蹭、能认出家里人、能"看"着你手里的东西回答。这一步是从"语音终端"跨到"具身智能"的分界线。
两条实现路径:
| 模块 | 型号 / 说明 | 参考价 | 备注 |
|---|---|---|---|
| 视觉模组 | MaixCAM(SG2002,1 TOPS,256MB) K230 CanMV(更强算力) OpenMV H7 Plus | ¥200–400 ¥200–400 ¥400–600 | MaixCAM 自带屏幕 + 触摸屏,上手最快;K230 对 ONNX 支持更好;OpenMV 最简单但无 NPU |
| 或 摄像头 | OV2640 / OV5640 模组 树莓派 Camera Module 3 | ¥20–60 ¥200+ | 裸摄像头需要主控有足够算力,配 ESP32-S3 只能做低帧率简单识别 |
| 或 Linux 板 | 树莓派 5(4GB / 8GB) Jetson Orin Nano Super | ¥600+ ¥1800+ | 走 B2 路径才需要。2026 年内存涨价,Pi 价格偏高 |
| 姿态感知 | MPU6050 / IMU | ¥8 | 被抱起来、被推倒时它有反应 |
| 升级动作 | PCA9685 16 路 PWM 板 + MG996R / DS3218 舵机 | ¥15 + ¥25/个 | 舵机超过 2 个就必须独立 5V / 3A 供电并共地,否则主控反复重启 |
现实检查:这是三条里唯一可能烂尾的。走路这件事本身(逆运动学、步态、舵机中位校准、重心)就是一个独立的大坑,跟 AI 完全无关。建议顺序:先做完 A,再决定要不要上 C。
好消息:社区已经铺好路了。开源项目 Sesame(ESP32 主控 + 8 个 MG90 舵机 + OLED 脸,Apache-2.0,官方 BOM 约 $50–60)把运动学、动作库、表情系统、Web 控制台、JSON API 全做完了,你打完壳装上就能走。国内复刻算上运费和耗材,压在几百元档位很现实。
| 模块 | 型号 / 说明 | 参考价 | 备注 |
|---|---|---|---|
| 关节舵机(8–12 个) | MG90S(入门,每腿髋 + 膝) 飞特 STS3032 / STS3215(串口总线) LX-16A(总线,17kg·cm @7.4V) | ¥12–18/个 ¥150–220/个 ≈$15/个 | 总线舵机一条线串所有关节,布线整洁、能读角度反馈,是"能调好步态"的关键。舵机是耗材,多买 2 个 |
| 舵机驱动 | PCA9685 16 路 PWM 板 或 总线舵机调试板(URT) | ¥15 ¥30 | PWM 方案需占大量引脚;总线方案只需一个串口 |
| 主控 | ESP32-S3 / Lolin S2 Mini (走强化学习则需 SBC) | ¥30–150 | 预设动作 ESP32 足够;要自主导航 / RL 才上树莓派或 Jetson |
| 供电 | 7.4V 2S 锂电池 + 降压模块 或 5V / 3A 以上稳压 | ¥60–120 | 8 个舵机瞬时电流很大,电源缩水会抖腿。注意过放保护 |
| 结构件 | 3D 打印(PETG 优先于 PLA) 微型轴承 693ZZ / 6704ZZ M3 螺丝套件 | ¥80–200 | PLA 脆,长期受力件会断。填充率 25–30%,壁厚 ≥3 层 |
| 传感器 | MPU6050 IMU ×1–2 激光雷达 / ToF(进阶) | ¥8 / ¥200+ | IMU 是"摔倒能爬起来"的前提 |
/api/command),Python 脚本、Home Assistant 都能接不要在一个地方买齐。不同品类有不同的最优渠道,混着买是最省的策略。
每个阶段都有硬验收标准——没通过不要往下走,这是避免烂尾的唯一方法。下面是全局视图,详细操作在第 6 节。
| 阶段 | 目标 | 耗时 | 预算 | 验收(一句话) |
|---|---|---|---|---|
| 0 · 跑通链路 | 在电脑上体验完整语音闭环 | 半天 | ¥0 | 你对着电脑说话,AI 用带语气的声音回答 |
| 1 · 点亮 | 刷固件、配网、激活 | 一个周末 | ¥150–300 | 喊它名字有反应,能连续对话三句以上 |
| 2 · 加脸 | 屏幕有表情、会眨眼打瞌睡 | 半天–一个周末 | ¥0–80 | 说话时眼睛跟着动,久置会打瞌睡 |
| 3 · 加身体 | 写人设 + 接舵机 | 一个周末 | ¥20 起 | 说"摇个尾巴"它真的动了,回答有稳定人格 |
| 4 · 加记忆 | 长期记忆系统 | 两个周末 | ¥0 | 隔一天再聊,它能接上昨天的话题 |
| 5 · 加视觉 / 加腿 | 二选一,深水区 | 3–4 周末 / 1–3 月 | ¥200–2500 | 认出你走近并抬头(视觉),或走三步不倒(四足) |
网址、命令、接线、验收、故障排查,全部给到。开始之前先确认:路由器能开 2.4GHz 频段、你有一根能传数据的 4 芯 USB-C 线、电脑是 Windows(macOS / Linux 仅串口名不同)。
git clone https://github.com/skiyo/pikoo.git
cd pikoo
(cd server && npm ci --ignore-scripts)
bash tools/start-dualeye.sh
lichuang-dev,带屏 + 麦克风 + 喇叭 + 外壳,¥148 左右)· 一根确认能传数据的 USB-C 线。驱动地址:https://www.wch.cn/downloads/CH341SER_EXE.html
v版本号_lckfb-lichuang-dev.zip。https://github.com/78/xiaozhi-esp32/releases
merged-binary.bin。存放路径不要含中文,否则烧录工具可能加载失败。ChipType → ESP32-S3
模式 → UART
加载文件 → merged-binary.bin,地址填 0x0
COM / 波特率 → 选对应 COM,先试 921600
操作顺序 → 先按 ERASE,再按 START
pip install esptool
esptool.py --chip esp32s3 --port COM3 write-flash 0x0 merged-binary.bin
192.168.4.1 → 选家里的 2.4GHz Wi-Fi,输密码保存。| 现象 | 原因 | 解法 |
|---|---|---|
| 插上电脑没反应、找不到串口 | 用了纯充电的 2 芯线 | 换一根确认能传数据的 4 芯 USB-C 线;装 CH340 驱动;关掉占用串口的程序 |
| 烧录失败 / 连不上 | 波特率太高或 COM 选错 | 波特率降到 115200;重新插拔换 COM;确认工具不在中文目录 |
| 能写入但反复重启或黑屏 | 板型和固件文件名不匹配 | 回 Releases 页核对完整文件名;看串口日志(115200) |
| 手机搜不到家里的 Wi-Fi | 路由器是 5GHz 或双频合一 | 进路由器后台单独开启 2.4GHz 频段 |
| 配网页打不开 | 手机数据流量干扰 | 临时关闭手机移动数据,只保留连到开发板的 Wi-Fi |
| 有画面但听不见 / 不出声 | 音频链路问题 | 分开验证:先看有没有进入聆听状态,再查麦克风与喇叭接线和音量 |
xiaozhi-claude-pixel),刷进去能让同一块板变成完全不同的性格。#include <Adafruit_SSD1306.h>
#include <Adafruit_GFX.h>
Adafruit_SSD1306 display(128, 64, &Wire, -1);
void setup(){
Wire.begin(21, 22); // SDA=21, SCL=22
display.begin(SSD1306_SWITCHCAPVCC, 0x3C); // I2C 地址
display.clearDisplay();
display.drawBitmap(0, 0, face_happy, 128, 64, WHITE);
display.display();
}
平静 ──被摸一下──> 开心 ──连续摸3次──> 害羞
└──5分钟没互动──> 困倦 ──再10分钟──> 打瞌睡
你叫豆豆,一只住在书桌上的小狗。
说话风格:简短、活泼,一次不超过三句话。
喜欢用比喻解释事情,偶尔会提到自己的尾巴。
不要说教,不要主动提自己是 AI。
主人累了的时候,主动提议休息一下。
LampController(源码 boards/common/lamp_controller.h),注册了 self.lamp.turn_on / turn_off / get_state 三个工具,官方演示灯位是 GPIO18。这就是你要照抄的模板。McpServer 单例注册(源码见 main/mcp_server.cc),核心就两个接口:mcp_server.AddTool(
"self.dog.shake_tail", // 工具名
"摇尾巴,表示开心", // 描述:大模型靠这句话判断何时调用
PropertyList(),
[](const PropertyList&) -> ReturnValue {
shakeTail(); // 你的舵机动作函数
return true;
}
);
AddTool = AI 可在对话中自主调用(灯光、音量、舵机这类)。AddUserOnlyTool = 重启、升级这类危险动作,模型不会主动碰,只有用户明确指令才触发。#include <ESP32Servo.h>
Servo tail;
void setup(){
tail.setPeriodHertz(50); // 标准舵机 50Hz
tail.attach(13, 500, 2400); // GPIO13,脉宽 500-2400us
}
void shakeTail(){
for(int i=0;i<4;i++){
tail.write(60); delay(120);
tail.write(120); delay(120);
}
tail.write(90); // 回到中位
}
attach 的脉宽参数(有些舵机是 1000–2000us)。同时控制多个舵机注意别超过 PWM 通道上限。| 现象 | 原因 | 解法 |
|---|---|---|
| 控制台显示 MCP 接入点离线 | 地址不完整或没点"启动" | 核对并复制完整 WSS 地址;在实例列表点启动实例 |
| 问了问题但没触发工具 | 问题太宽泛,模型认为不需要 | 加时效性关键词;或在提示词里加强制调用约束 |
| 舵机一动板子就重启 | 舵机从开发板取电 | 独立 5V/2A 供电,共地不共电源 |
| 舵机抖动 / 转不到位 | 脉宽范围不匹配 | 调 attach 的 min/max 脉宽参数 |
这是"宠物"和"音箱"的分水岭。能记住你昨天说的事,它才开始像一个活物。
MEMORY.md。每天对话开始时把它塞进 System Prompt。# MEMORY.md
- 用户不吃香菜
- 家里大孩子 9 岁,喜欢恐龙
- 2026-10-28 聊过一个关于太空狗的故事,讲到一半
- 不喜欢被说教,回答要简短
| 路线 | 怎么做 | 适合谁 |
|---|---|---|
| 用官方服务端能力 | 在 xiaozhi.me 控制台的智能体配置里看是否有记忆 / 知识库选项;有就直接用,零代码 | 不想折腾的人,先试这个 |
| 自建服务端 | 社区有 Python / Java / Go 三套 xiaozhi-esp32-server 实现,自己加记忆模块。参考 Pikoo 的做法(Node + host.mjs 适配层) | 想完全可控、愿意写代码的人 |
{"person": true, "distance_cm": 40, "angle": 12}。千万不要让图像流经主控——那会瞬间压死 ESP32。sesame-robot(Apache-2.0)。它把最难的部分全做完了:8 个 MG90 + ESP32 + OLED 脸,官方 BOM 约 $50–60,含 Sesame Studio 动作编辑器(桌面摆姿态 → 自动生成舵机角度 C++ 动画帧,不用手算逆运动学)、JSON API、Web 控制台、完整 CAD / STL / BOM / 接线图。流程:打印 STL(PLA/PETG)→ 装舵机走线 → 烧固件
→ 配 WiFi → 浏览器进控制台点 Walk
→ 用 Sesame Studio 做自己的动作
/api/command)。别试图让 LLM 直接算舵机角度。社区里反复出现的失败原因,按发生频率排序。
不要从零开始。这些项目都把最难的部分做完了,你的工作是"复现 + 改"。
| 用途 | 地址 / 命令 |
|---|---|
| 小智控制台(绑定设备、写人设) | xiaozhi.me/console |
| 固件下载 | github.com/78/xiaozhi-esp32/releases |
| 固件烧录工具 | espressif.com.cn → 支持 → 下载 → 其他工具(Flash Download Tool 3.9.7) |
| 浏览器备份工具 | thelastoutpostworkshop.github.io/ESPConnect/ |
| CH340 串口驱动 | wch.cn/downloads/CH341SER_EXE.html |
| 命令行烧录 | esptool.py --chip esp32s3 --port COM3 write-flash 0x0 merged-binary.bin |
| 配网页面 | 手机连 Xiaozhi- 热点后浏览器打开 192.168.4.1 |
| MCP 云端工具平台 | facaiai.cn |
| 四足开源项目 | github.com/dorianborian/sesame-robot |
| 桌面宠物参考(含电脑端模拟器) | github.com/skiyo/pikoo |
| 具身智能框架 | github.com/huggingface/lerobot |
| 舵机驱动关键参数 | setPeriodHertz(50) · attach(pin, 500, 2400) · 独立 5V 供电、共地不共电源 |
三条纪律。
一、串行推进,一次只改一件事。同时调视觉和语音、同时改名字音色和提示词,出问题你无法定位。每改一项就试一次对话。
二、验收不通过不往下走。六个阶段每一条验收标准都是硬门槛。跳过阶段 1 直接做阶段 3,是社区里最常见的烂尾原因。
三、求助时带上四样东西。板型、固件文件名、卡在第几步、完整报错。让对方先解释原因、列出准备改什么,再动手——比"帮我修好"有效十倍。
先算一笔账。路线 A 大约需要 3 个周末、¥300,产出是一个真正能对话、有性格、会动的桌面伙伴。路线 C 需要 2–3 个月、¥2000+,产出是一只走路摇摇晃晃的机器狗。前者的"惊喜密度"是后者的十倍。
真正的价值不在那个物件。做完 A 之后你获得的是一套可复用的能力:把任何想法拆成"感官 / 神经 / 身体 / 灵魂 / 连接"五层、去对应渠道下单、用现成开源骨架快速验证。这套能力可以迁移到家里任何一个自动化想法上——这才是值得长期复利的东西。
建议的投入节奏:先用半天在电脑上跑通语音链路(零成本试错)→ 确认真的有兴趣再下单 ¥300 的 A 套件 → 做出成品后停一停,用两周,看它是不是真的被你用起来了 → 再决定要不要继续加视觉或加腿。不要一次性把三条路线的零件全买了。
如果想直接抄一个最稳的方案:立创·实战派 ESP32-S3 开发板(¥148)+ INMP441 麦克风 + MAX98357A 功放 + 2 个 SG90 + 小智 AI 固件 + 3D 打印狗头外壳。这一个组合,是当下投入产出比最高的起点。
阅读量按「同一访客每天计一次」统计,点赞存在你的浏览器里。