esp ai

ESP-AI

硬件接入 ai 最简单、最低成本的方案
La solution la plus simple et la plus faible pour tout article pour accéder à l'IA

Changelog · 中文文档 · Doc anglais

简体中文

Fournit une solution de dialogue AI complète pour votre tableau de développement, y compris, mais sans s'y limiter, la solution d'intégration IAT(ASR)+LLM+TTS pour les cartes de développement de la série ESP32 . Il est injecté dans le projet comme une dépendance sans affecter les projets existants.

Pour développer la fonctionnalité de dialogue des robots, il vous suffit de préparer les services IAT(ASR) , LLM et TTS et laisser le reste à ESP-AI .

Le code côté serveur de ce projet est basé sur Node.js , et le code matériel est basé sur Arduino / IDF .

L'Open source n'est pas facile, cliquez sur le bouton Star dans le coin supérieur droit pour afficher votre support ~

? Site web

• 中文网站
• Anglais

? plate-forme ouverte

Une plate-forme basée sur ESP-AI qui fournit des services finaux et des services de gestion aux entreprises et aux particuliers. Visitez la plate-forme ouverte. Il propose des services GRATUITS ASR (Automatic Speech Recognition), TTS (text-to-dispeops) et LLM (modèle grand langage). Sur cette plate-forme, vous pouvez cloner une voix personnalisée avec seulement un clip audio de 15 secondes.

Caractéristiques

• ✔️ Mots de réveil hors ligne personnalisables avec plusieurs méthodes de réveil intégrées (voix, bouton, port série, Tianwen Asrpro)
• ✔️ Chaîne de conversation complète: IAT (ASR) ➡️ LLM / RAG ➡️ TTS
• ✔️ Les algorithmes de réponse rapide pour TTS / LLM, conçus pour équilibrer le coût du service tout en fournissant le temps de réponse le plus rapide
• ✔️ soutient l'interruption de la conversation
• ✔️ reconnaît les commandes utilisateur (contrôle des appareils, chant, etc.) et peut répondre dynamiquement en fonction du contexte
• ✔️ configurable
• ✔️ basé sur le plugin, permettant l'intégration avec n'importe quel LLM / TTS / IAT à l'aide de plugins
• ✔️ Relation un à plusieurs entre le service et les clients, avec une configuration indépendante pour chaque client (matériel)
• ✔️ La connexion prend en charge l'authentification
• ✔️ Interaction de données de streaming à chaîne complète
• ✔️ Les offres de plate-forme du développeur: services gratuits, configuration visuelle, etc.
• Page Web de configuration du client fourni
• ✔️ gère facilement des scénarios de concurrence élevés (nécessite Nginx pour l'équilibrage de la charge)
• ✔️ prêt à l'emploi

? Étapes suivantes

• ? Améliorer la précision du réveil hors ligne intégré (actuellement recommandé d'utiliser Tianwen Asrpro)
• ? Génération de mots de sillage en ligne
• ? Développer des plugins dans d'autres langues (pour éviter de compter uniquement sur Node.js pour le développement des plugins)

? Installer

Serveur

docker run -itd -p 8088:8088 -v /esp-ai-server/index.js:/server/index.js --name esp-ai-server registry.cn-shanghai.aliyuncs.com/xiaomingio/esp-ai:1.0.0

Client

Téléchargez la dépendance de la page de version et le brûlez-le dans la carte de développement, voir les détails: Installation du client

? Injectez l'âme dans votre robot avec seulement quelques lignes de code

Vous trouverez ci-dessous les codes Node.js et Arduino que vous devez écrire si vous ne avez besoin que de la fonctionnalité de dialogue.

? Groupe de discussion

Groupe de discussion QQ: 854445223

? Vidéo d'étude de cas

bilibili

? Contributif

Construisons ensemble un meilleur esp-ai .

Nous invitons chaleureusement les contributions de tout le monde. N'hésitez pas à partager vos idées grâce à des demandes de traction ou à des problèmes de github.

? Distribution géographique des étoiles

citation

Si ce projet a aidé vos recherches, veuillez nous citer:

 @software{ESP-AI,
    title        = {{ESP-AI}},
    author       = {小明IO},
    year         = 2024,
    journal      = {GitHub repository},
    publisher    = {GitHub},
    howpublished = {url{https://github.com/wangzongming/esp-ai}}
}