esp ai

ESP-AI

硬件接入 ai 最简单、最低成本的方案
Die einfachste und kostengünstigste Lösung für jeden Artikel zum Zugriff auf KI

ChangeLog · 中文文档 · Englische Dokumente

简体中文

Bietet eine vollständige KI -Dialoglösung für Ihr Entwicklungsausschuss, einschließlich, aber nicht beschränkt auf die IAT(ASR)+LLM+TTS -Integrationslösung für die ESP32 -Serienentwicklungsboards. Es wird in das Projekt als Abhängigkeit injiziert, ohne bestehende Projekte zu beeinflussen.

Für die Entwicklung der Dialogfunktionalität von Robotern müssen Sie nur die IAT(ASR) , LLM und TTS Dienste vorbereiten und den Rest ESP-AI überlassen.

Der serverseitige Code dieses Projekts basiert auf Node.js und der Hardwarecode basiert auf Arduino / IDF .

Open Source ist nicht einfach. Klicken Sie in der oberen rechten Ecke auf die Star , um Ihre Unterstützung anzuzeigen ~

? Webseite

• 中文网站
• Englisch

? Offene Plattform

Eine Plattform, die auf ESP-AI basiert, die Unternehmen und Einzelpersonen Enddienste und Managementdienste anbietet. Besuchen Sie die offene Plattform. Es bietet Dienste für kostenlose ASR- (Automatische Spracherkennung), TTS (Text-to-Speech) und LLM (großes Sprachmodell). Auf dieser Plattform können Sie eine benutzerdefinierte Stimme mit nur einem 15-Sekunden-Audioclip klonen.

Merkmale

• ✔️ Anpassbare Offline-Wake-Wörter mit mehreren integrierten Weckmethoden (Voice, Taste, serieller Port, Tianwen ASRPRO)
• ✔️ Komplette Gesprächskette: IAT (ASR) ➡️ LLM/RAG ➡️ TTS
• ✔️ Schnelle Reaktionalgorithmen für TTS/LLM, die den Ausgleich der Servicekosten entwickelt und gleichzeitig die schnellste Reaktionszeit liefern
• ✔️ unterstützt die Unterbrechung der Konversation
• ✔️ erkennt Benutzerbefehle (Gerätesteuerung, Gesang usw.) und kann dynamisch auf dem Kontext reagieren
• ✔️ Konfigurierbar
• ✔️ Plugin-basiert und ermöglicht die Integration in LLM/TTS/IAT mit Plugins
• ✔️ Eins-zu-Viele-Beziehung zwischen Service und Clients mit unabhängiger Konfiguration für jeden Client (Hardware)
• ✔️ Verbindung unterstützt die Authentifizierung
• ✔️ Vollketten-Streaming-Dateninteraktion
• ✔️ Entwicklerplattform Angebote: Kostenlose Dienste, visuelle Konfiguration usw.
• ✔️ Client -Konfigurationswebseite zur Verfügung gestellt
• ✔️ Griff einfach hohe Parallelitätsszenarien (erfordert Nginx für den Lastausgleich)
• ✔️ Bereit, aus der Schachtel zu verwenden

? Nächste Schritte

• ? Verbesserung der Genauigkeit des integrierten Offline-Aufwachens (derzeit empfohlen, Tianwen ASRPRO zu verwenden)
• ? Online -Wake -Word -Generation
• ? Entwickeln Sie Plugins in anderen Sprachen (um zu vermeiden, dass Sie sich ausschließlich auf Node.js für die Plugin -Entwicklung verlassen))

? Installieren

Server

docker run -itd -p 8088:8088 -v /esp-ai-server/index.js:/server/index.js --name esp-ai-server registry.cn-shanghai.aliyuncs.com/xiaomingio/esp-ai:1.0.0

Kunde

Laden Sie die Abhängigkeit auf der Release -Seite herunter und verbrennen

? Einmischen Seele in Ihren Roboter mit nur wenigen Codezeilen in Ihren Roboter

Im Folgenden finden Sie die Codes von Node.js und Arduino , die Sie schreiben müssen, wenn Sie nur Dialogfunktionen benötigen.

? Diskussionsgruppe

QQ -Diskussionsgruppe: 854445223

? Fallstudienvideo

Bilibili

? Beitragen

Lassen Sie uns zusammen ein besseres esp-ai bauen.

Wir laden alle Beiträge von allen ein. Fühlen Sie sich frei, Ihre Ideen durch Pull -Anfragen oder Github -Probleme zu teilen.

? Sterngeografische Verteilung

Zitat

Wenn dieses Projekt Ihrer Forschung geholfen hat, zitieren Sie uns bitte:

 @software{ESP-AI,
    title        = {{ESP-AI}},
    author       = {小明IO},
    year         = 2024,
    journal      = {GitHub repository},
    publisher    = {GitHub},
    howpublished = {url{https://github.com/wangzongming/esp-ai}}
}