Xiaozhi Esp32 Server Java
小智ESP32的Java企业级管理平台,提供设备监控、音色定制、角色切换和对话记录管理的前后端及服务端一体化解决方案
基于 Xiaozhi ESP32 项目开发的 Java 版本服务端,包含完整前后端管理平台
为智能硬件设备提供强大的后端支持和直观的管理界面
如果这个项目对您有帮助,请考虑给它一个 ⭐ Star!
您的支持是我们持续改进的动力!
项目简介
Xiaozhi ESP32 Server Java 是基于 Xiaozhi ESP32 项目开发的 Java 企业级服务端,采用多模块 + 双进程架构设计,为 ESP32 智能硬件提供完整的后端支撑和可视化管理平台。
核心亮点
- 多模块 + 双进程架构 — 管理后台与对话服务独立运行,互不影响,支持分别扩容
- 多 AI 平台集成 — OpenAI / 智谱 / 讯飞 / Ollama / Dify / Coze,MCP 工具协议扩展
- 语音全链路 — 本地 & 云端 STT/TTS,音色克隆,双向流式交互,实时打断,智能防误打断,极速响应
- 声纹识别 — 识别家庭成员,多成员独立记忆,共用设备互不干扰
- WebSocket + MQTT — 实时双向通信,服务端主动唤醒与消息推送,OTA 分批升级与时间窗控制
- 多设备就近应答 — 同空间多台设备同时唤醒,仅一台应答
- IoT 智能家居 — 语音指令控制设备,多设备协同,Function Call 智能决策
- RAG 知识库 — 多格式文档解析(PDF / Office / 图片),检索增强生成
- 长期记忆与记忆图谱 — 记住用户偏好与关键信息,理解人物关系,跨会话记忆
- 全链路监控 — Token / 时延 / 设备活跃度多维可视化,运维指标对接,设备接入一键自检
- 一键部署 — bin 脚本 / Docker Compose,Flyway 自动建表,模型自动下载
技术栈
| 类别 | 技术选型 |
|---|---|
| 后端 | Spring Boot、Spring MVC、MyBatis-Plus、Flyway、WebSocket |
| 前端 | Vue.js、Ant Design、响应式布局 |
| 数据层 | MySQL 8.0、Redis 7、Qdrant(向量检索) |
| 语音识别 | sherpa-onnx SenseVoice(本地)、Vosk(本地)、FunASR、阿里云、阿里云 NLS、腾讯云、讯飞、火山引擎 |
| 语音合成 | sherpa-onnx(本地)、Edge TTS、阿里云、阿里云 NLS、腾讯云、讯飞、火山引擎、MiniMax |
| 大语言模型 | OpenAI、智谱 AI、讯飞星火、火山方舟、星辰、Ollama、Dify、Coze |
| 扩展能力 | MCP 工具协议与接入点、Function Call、RAG 知识库、长期记忆与记忆图谱、声纹识别、音色克隆 |
项目架构
📐 架构图源文件:docs/architecture.drawio(可用 draw.io 打开编辑)
双进程架构:两个独立进程共享 MySQL 和 Redis,可分别部署与扩容。
xiaozhi-server:8091 — 管理后台,提供 REST API、用户/设备/角色管理、OTA 升级xiaozhi-dialogue:8092 — 对话服务,处理 WebSocket/MQTT 实时音频流、AI 对话管道
dialogue支持横向扩展,新实例自动注册至server,通过设备 OTA 实现负载均衡。
适用人群
- 已购买 ESP32 硬件,需要功能完善的管理平台
- 需要企业级稳定性和扩展性
- 个人开发者,希望快速搭建使用
- 需要支持大量设备并发连接的场景
功能对比
部分功能未开源,有需求请通过下方联系方式沟通
部署
From the project's README.