xiaozhi-esp32 完全指南M5Stack CoreS3 AI 语音助手从零跑通【免费下载链接】xiaozhi-esp32An MCP-based chatbot | 一个基于MCP的聊天机器人项目地址: https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32xiaozhi-esp32 是一个基于 MCP 协议的开源 AI 语音聊天机器人固件。接上 USB 给 M5Stack CoreS3 上电喊一声唤醒词就能和云端大模型对话还能通过 MCP 反向控制设备硬件。本文用仓库自带的 CoreS3 板级代码走一遍编译 → 烧录 → 看懂关键驱动的最小闭环。能力速览CoreS3 的板级代码集中在 main/boards/m5stack/core-s3/约 300 行 C 就把音频、屏幕、触摸、电源全部接好了各模块参数如下模块关键参数说明主控ESP32-S38MB PSRAMQuad板基类继承 WifiBoard音频AW88298 功放 ES7210 三麦克风I2S 24kHz/16bitTX 走标准模式RX 走 TDM 4 槽位显示ILI9342 320×240SPI 40MHz FT6336 触摸触摸 20ms 轮询短触对话、启动期短触进配网电源AXP2101I2C 0x34AW9523 IO 扩展0x5860s 进睡眠、300s 关机仅电池供电时生效摄像头GC0308320×24020fpsDVP 8bit编译期由 sdkconfig 注入从零跑通环境、编译与烧录环境要求一句话装好 ESP-IDF v6.0.2官方推荐版本装 docs/esp-idf-6-migration.md 里有完整兼容性说明Linux 编译更快。git clone https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32 cd xiaozhi-esp32 source export.sh python ./scripts/build.py m5stack-core-s3 idf.py -p /dev/ttyUSB0 flash monitorbuild.py会读取板级目录下的 config.json 自动选择目标芯片esp32s3并注入附加编译项CoreS3 对应的是CONFIG_SPIRAM_MODE_QUAD和 GC0308 摄像头三项见 main/boards/m5stack/core-s3/config.json。不用自己一个个开 menuconfig。烧录前 CoreS3 需要进下载模式长按板子复位键约 3 秒内部指示灯变绿后松开。上电正常后串口日志会依次出现Init AXP2101、CoreS3AudioCodec initialized、Duplex channels created设备连上服务器后说唤醒词即可对话。最常见报错idf.py flash提示找不到串口。原因不是线坏了而是没进下载模式——CoreS3 的 BOOT 按键GPIO 0兼作下载模式触发键按上面长按复位的步骤重来即可。设备上电后的三个关键动作板级构造函数 m5stack_core_s3.cc 里初始化顺序是电源保存定时器 → I2C 总线 → AXP2101 → AW9523 → SPI/LCD → 摄像头 → FT6336 触摸。下面挑三条最有信息量的链路。双路音频通道如何建立一句话原理同一对 I2S 引脚上发送通道用标准模式推数据给功放接收通道用 TDM 模式同时收多路麦克风从而实现边听边说的双工。i2s_std_config_t std_cfg { .clk_cfg { .sample_rate_hz (uint32_t)output_sample_rate_, .mclk_multiple I2S_MCLK_MULTIPLE_256 }, .slot_cfg { .data_bit_width I2S_DATA_BIT_WIDTH_16BIT, .slot_mode I2S_SLOT_MODE_STEREO }, .gpio_cfg { .mclk mclk, .bclk bclk, .ws ws, .dout dout }, }; // 接收通道 TDM 模式4 个槽位同时收 3 颗麦克风 i2s_tdm_config_t tdm_cfg { .clk_cfg { .sample_rate_hz (uint32_t)input_sample_rate_, .mclk_multiple I2S_MCLK_MULTIPLE_256, .bclk_div 8 }, .slot_cfg { .slot_mode I2S_SLOT_MODE_STEREO, .slot_mask I2S_TDM_SLOT0 | I2S_TDM_SLOT1 | I2S_TDM_SLOT2 | I2S_TDM_SLOT3 }, .gpio_cfg { .mclk mclk, .bclk bclk, .ws ws, .din din }, }; ESP_ERROR_CHECK(i2s_channel_init_std_mode(tx_handle_, std_cfg)); ESP_ERROR_CHECK(i2s_channel_init_tdm_mode(rx_handle_, tdm_cfg));关键参数都在 cores3_audio_codec.cc采样率 24000Hz 输入输出一致代码里有 assert 强制mclk_multiple 256决定主时钟 24000×2566.144MHz是 AW88298/ES7210 都认的频率。RX 端bclk_div 8配合 4 槽位 TDM把 ES7210 的 MIC1/2/3 一次全收上来三麦数据后面进 AFE 引擎做波束成形和回声消除。液晶屏与触摸如何接起来一句话原理SPI 推像素给 ILI9342I2C 每 20ms 轮询一次 FT6336 拿坐标短触500ms触发对话开关。io_config.cs_gpio_num GPIO_NUM_3; io_config.dc_gpio_num GPIO_NUM_35; io_config.spi_mode 2; io_config.pclk_hz 40 * 1000 * 1000; // 40MHz SPI ESP_ERROR_CHECK(esp_lcd_new_panel_io_spi(SPI3_HOST, io_config, panel_io)); esp_lcd_panel_dev_config_t panel_config {}; panel_config.reset_gpio_num GPIO_NUM_NC; // 复位脚借用 AW9523 扩展口 panel_config.rgb_ele_order LCD_RGB_ELEMENT_ORDER_BGR; panel_config.bits_per_pixel 16; // RGB565 ESP_ERROR_CHECK(esp_lcd_new_panel_ili9341(panel_io, panel_config, panel));两个容易忽略的点reset_gpio_num GPIO_NUM_NC是因为 CoreS3 的屏幕复位线在 AW9523 扩展芯片后面代码里先aw9523_-ResetIli9342()拉一下再esp_lcd_panel_initspi_mode 2是 ILI9341 系列 datasheet 要求的相位组合改错会花屏。触摸侧PollTouchpad()里用TOUCH_THRESHOLD_MS 500区分短触长按启动状态下短触直接进 Wi-Fi 配网正常状态下短触ToggleChatState()开始/结束对话。60 秒睡眠与 5 分钟关机怎么管一句话原理一个统一的 PowerSaveTimer 盯无交互时长到点走睡眠回调、再超时走关机回调且只在电池放电时激活。power_save_timer_ new PowerSaveTimer(-1, 60, 300); power_save_timer_-OnEnterSleepMode([this]() { GetDisplay()-SetPowerSaveMode(true); GetBacklight()-SetBrightness(10); // 背光压到最低 }); power_save_timer_-OnExitSleepMode([this]() { GetDisplay()-SetPowerSaveMode(false); GetBacklight()-RestoreBrightness(); }); power_save_timer_-OnShutdownRequest([this]() { pmic_-PowerOff(); // 通过 AXP2101 硬件关机 });三个构造参数分别是 CPU 最高频率-1 不限制、60 秒进睡眠、300 秒请求关机。注意 board.cc 的GetBatteryLevel()里有一行power_save_timer_-SetEnabled(discharging)——插着 USB 时这个定时器被关掉所以插电脑调试时设备永不自动关机是预期行为不是 bug。进阶从对话扩展到设备控制跑通基础对话后CoreS3 上的这几个扩展点可以直接用设备端 MCP固件内建 main/mcp_server.cc把音量、LED 等暴露成工具让大模型直接调用。协议交互流程见 docs/mcp-protocol_zh.md用法示例见 docs/mcp-usage_zh.md。摄像头视觉对话CoreS3 自带 GC0308320×24020fps 的 DVP 流由 main/boards/common/esp_video.cc 封装成EspVideo构造函数里InitializeCamera()已挂好大模型侧配置好视觉通道即可看图说话。换通信协议WebSocket 和 MQTTUDP 两套实现在 main/protocols/协议细节分别见 docs/websocket_zh.md 和 docs/mqtt-udp_zh.md按服务端能力二选一。改自己的硬件CoreS3 这套Axp2101 电源 AW9523 扩展 I2S 双工的写法是通用模板照 docs/custom-board_zh.md 复制一个板级目录改引脚即可。避坑与调优清单现象原因做法烧录时找不到串口未进下载模式长按复位键约 3 秒至绿灯亮再松开然后idf.py flash喇叭无声、日志有 AW88298 复位功放复位线时序不对复位经 AW9523 拉低 10ms 再拉高见Aw9523::ResetAw88298确认 I2C 扫描能找到 0x36触摸无响应FT6336 未上拉成功或地址冲突看启动时I2cDetect()打印的扫描表0x38 应亮屏幕花屏/颜色反SPI mode 或 BGR 顺序错了保持spi_mode 2LCD_RGB_ELEMENT_ORDER_BGR别随意改电池模式不自动关机PowerSaveTimer 只对放电状态生效属设计如此需要改 main/boards/common/power_save_timer.cc 的触发条件编译报 sensor not found没走 build.py缺 GC0308 配置统一用python ./scripts/build.py m5stack-core-s3由 config.json 注入 sdkconfig⚡ 调音量、改屏幕方向、换触摸阈值这类小改动都在这一个板级目录内闭环改完重跑 build.py 约两分钟出固件。写在最后xiaozhi-esp32 的 CoreS3 板级实现证明一块带屏、带三麦的 ESP32-S3 开发板300 行胶水代码就能接进完整的语音大模型链路。下一步建议从 main/mcp_server.cc 入手给设备注册一个属于自己的 MCP 工具让对话变成办事。【免费下载链接】xiaozhi-esp32An MCP-based chatbot | 一个基于MCP的聊天机器人项目地址: https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考