esp ai

esp-ai

硬件接入ai 最简单、最低成本的方案
あらゆるアイテムがAIにアクセスするための最も単純で最低コストソリューション

changelog・中文文档？・英語のドキュメント

简体中文

ESP32シリーズ開発ボードのIAT(ASR)+LLM+TTS統合ソリューションを含むがこれらに限定されない、開発ボードに完全なAIダイアログソリューションを提供します。既存のプロジェクトに影響を与えることなく、依存関係としてプロジェクトに注入されます。

ロボットの対話機能を開発するには、 IAT(ASR) 、 LLM 、およびTTSサービスを準備し、残りをESP-AIに任せるだけです。

このプロジェクトのサーバー側のコードはNode.jsに基づいており、ハードウェアコードはArduino / IDFに基づいています。

オープンソースは簡単ではありません。右上隅のStarボタンをクリックしてサポートを表示します〜

？ Webサイト

• 中文网站
• 英語

？オープンプラットフォーム

企業や個人に最終サービスと管理サービスを提供するESP-AIに基づくプラットフォーム。オープンプラットフォームにアクセスしてください。無料のASR（自動音声認識）、TTS（テキストからスピーチ）、およびLLM（大手言語モデル）サービスを提供します。このプラットフォームでは、たった15秒のオーディオクリップでカスタム音声をクローンできます。

特徴

• ✔️複数の組み込みウェイクアップ方法を備えたカスタマイズ可能なオフラインウェイクワード（音声、ボタン、シリアルポート、Tianwen Asrpro）
• ✔️完全な会話チェーン：IAT（ASR）➡️LLM/rag➡️TTS
• tts/llmの高速応答アルゴリズム。サービスコストのバランスをとりながら最も速い応答時間を提供するように設計されています
• ✔唱は会話の中断をサポートします
• ✔️ユーザーコマンド（アプライアンスコントロール、歌など）を認識し、コンテキストに基づいて動的に応答できます
• ✔️設定可能
• プラグインベースで、プラグインを使用して任意のLLM/TTS/IATとの統合を可能にします
• arusyおよびクライアントの1対多数の関係、各クライアントの独立した構成（ハードウェア）
• [接続]は認証をサポートします
• ✔️フルチェーンストリーミングデータインタラクション
• developersプラットフォームは、無料のサービス、視覚的構成などを提供します。
• ✔️クライアント構成Webページが提供されます
• ✔️高い並行性シナリオを簡単に処理します（ロードバランシングにはnginxが必要です）
• bock箱から使用する準備ができています

？次のステップ

• ？組み込みのオフラインウェイクアップの精度を向上させる（現在Tianwen asrproを使用することをお勧めします）
• ？オンラインウェイクワード生成
• ？他の言語でプラグインを開発する（プラグイン開発のためにnode.jsのみに依存することを避けるため）

？インストール

サーバ

docker run -itd -p 8088:8088 -v /esp-ai-server/index.js:/server/index.js --name esp-ai-server registry.cn-shanghai.aliyuncs.com/xiaomingio/esp-ai:1.0.0

クライアント

リリースページへの依存関係をダウンロードして、開発ボードに焼き付けます。詳細を参照してください：クライアントインストール

？わずか数行のコードでロボットに魂を注入する

以下は、ダイアログ機能のみが必要な場合に記述する必要があるNode.jsおよびArduinoコードです。

？ディスカッショングループ

QQディスカッショングループ：854445223

？ケーススタディビデオ

ビリビリ

？貢献

一緒により良いesp-aiを構築しましょう。

私たちは皆からの貢献を温かく招待します。プルリクエストやgithubの問題を介してアイデアを自由に共有してください。

？星の地理的分布

引用

このプロジェクトがあなたの研究に役立っているなら、私たちを引用してください：

 @software{ESP-AI,
    title        = {{ESP-AI}},
    author       = {小明IO},
    year         = 2024,
    journal      = {GitHub repository},
    publisher    = {GitHub},
    howpublished = {url{https://github.com/wangzongming/esp-ai}}
}