esp ai

Esp-ai

硬件接入ai 最简单、最低成本的方案
任何物品访问AI的最简单和最低的成本解决方案

ChangElog·英语文档

简体中文

为您的开发委员会提供了完整的AI对话解决方案，包括但不限于IAT(ASR)+LLM+TTS集成解决方案，用于ESP32系列开发板。它被注入项目中的依赖项而不会影响现有项目。

为了开发机器人的对话功能，您只需要准备IAT(ASR) ， LLM和TTS服务，然后将其余部分留给ESP-AI 。

该项目的服务器端代码基于Node.js ，硬件代码基于Arduino / IDF 。

开源不容易，单击右上角的Star按钮以显示您的支撑〜

？网站

• 中文网站
• 英语

？开放平台

一个基于ESP-AI的平台，为企业和个人提供最终服务和管理服务。访问开放平台。它提供免费的ASR（自动语音识别），TTS（文本到语音）和LLM（大语言模型）服务。在此平台上，您只需使用15秒的音频剪辑即可克隆自定义语音。

特征

• ✔️可自定义的脱机唤醒单词，具有多个内置的唤醒方法（语音，按钮，串行端口，tianwen asrpro）
• ✔️完整的对话链：IAT（ASR）➡️LLM/抹布➡️TTS
• TTS/LLM的快速响应算法，旨在平衡服务成本，同时提供最快的响应时间
• ✔️支持对话中断
• ✔️识别用户命令（设备控制，唱歌等），并且可以根据上下文动态响应
• ✔️可配置
• ✔️基于插件，允许使用插件与任何LLM/TTS/IAT集成
• 服务与客户之间的一对多关系，每个客户端具有独立的配置（硬件）
• ✔️连接支持身份验证
• ✔️全链流数据互动
• ✔️开发人员平台提供：免费服务，视觉配置等。
• 提供的客户端配置网页提供
• ✔️很容易处理高并发方案（需要NGINX才能进行负载平衡）
• ✔️准备好开箱即用

？下一步

• ？提高内置离线唤醒的准确性（目前建议使用Tianwen Asrpro）
• ？在线唤醒单词生成
• ？用其他语言开发插件（避免仅依靠Node.js进行插件开发）

？安装

服务器

docker run -itd -p 8088:8088 -v /esp-ai-server/index.js:/server/index.js --name esp-ai-server registry.cn-shanghai.aliyuncs.com/xiaomingio/esp-ai:1.0.0

客户

下载发布页面上的依赖性并将其刻录到开发板上，请参阅详细信息：客户端安装

？只需几行代码将灵魂注入机器人

以下是Node.js和Arduino代码，只要您只需要对话功能就需要编写。

？讨论组

QQ讨论小组：854445223

？案例研究视频

比利比利

？贡献

让我们一起建立一个更好的esp-ai 。

我们热烈地邀请所有人的贡献。随时通过拉动请求或GitHub问题分享您的想法。

？星形分布

引用

如果该项目帮助您的研究，请引用我们：

 @software{ESP-AI,
    title        = {{ESP-AI}},
    author       = {小明IO},
    year         = 2024,
    journal      = {GitHub repository},
    publisher    = {GitHub},
    howpublished = {url{https://github.com/wangzongming/esp-ai}}
}