esp ai

Esp-ai

硬件接入ai 最簡單、最低成本的方案
任何物品訪問AI的最簡單和最低的成本解決方案

ChangElog·英語文檔

簡體中文

為您的開發委員會提供了完整的AI對話解決方案，包括但不限於IAT(ASR)+LLM+TTS集成解決方案，用於ESP32系列開發板。它被注入項目中的依賴項而不會影響現有項目。

為了開發機器人的對話功能，您只需要準備IAT(ASR) ， LLM和TTS服務，然後將其餘部分留給ESP-AI 。

該項目的服務器端代碼基於Node.js ，硬件代碼基於Arduino / IDF 。

開源不容易，單擊右上角的Star按鈕以顯示您的支撐〜

？網站

• 中文網站
• 英語

？開放平台

一個基於ESP-AI的平台，為企業和個人提供最終服務和管理服務。訪問開放平台。它提供免費的ASR（自動語音識別），TTS（文本到語音）和LLM（大語言模型）服務。在此平台上，您只需使用15秒的音頻剪輯即可克隆自定義語音。

特徵

• ✔️可自定義的脫機喚醒單詞，具有多個內置的喚醒方法（語音，按鈕，串行端口，tianwen asrpro）
• ✔️完整的對話鏈：IAT（ASR）➡️LLM/抹布➡️TTS
• TTS/LLM的快速響應算法，旨在平衡服務成本，同時提供最快的響應時間
• ✔️支持對話中斷
• ✔️識別用戶命令（設備控制，唱歌等），並且可以根據上下文動態響應
• ✔️可配置
• ✔️基於插件，允許使用插件與任何LLM/TTS/IAT集成
• 服務與客戶之間的一對多關係，每個客戶端具有獨立的配置（硬件）
• ✔️連接支持身份驗證
• ✔️全鏈流數據互動
• ✔️開發人員平台提供：免費服務，視覺配置等。
• 提供的客戶端配置網頁提供
• ✔️很容易處理高並發方案（需要NGINX才能進行負載平衡）
• ✔️準備好開箱即用

？下一步

• ？提高內置離線喚醒的準確性（目前建議使用Tianwen Asrpro）
• ？在線喚醒單詞生成
• ？用其他語言開發插件（避免僅依靠Node.js進行插件開發）

？安裝

伺服器

docker run -itd -p 8088:8088 -v /esp-ai-server/index.js:/server/index.js --name esp-ai-server registry.cn-shanghai.aliyuncs.com/xiaomingio/esp-ai:1.0.0

客戶

下載發布頁面上的依賴性並將其刻錄到開發板上，請參閱詳細信息：客戶端安裝

？只需幾行代碼將靈魂注入機器人

以下是Node.js和Arduino代碼，只要您只需要對話功能就需要編寫。

？討論組

QQ討論小組：854445223

？案例研究視頻

比利比利

？貢獻

讓我們一起建立一個更好的esp-ai 。

我們熱烈地邀請所有人的貢獻。隨時通過拉動請求或GitHub問題分享您的想法。

？星形分佈

引用

如果該項目幫助您的研究，請引用我們：

 @software{ESP-AI,
    title        = {{ESP-AI}},
    author       = {小明IO},
    year         = 2024,
    journal      = {GitHub repository},
    publisher    = {GitHub},
    howpublished = {url{https://github.com/wangzongming/esp-ai}}
}