esp ai

ESP-AI

硬件接入 ai 最简单、最低成本的方案
La solución de costo más simple y de menor costo para cualquier artículo para acceder a AI

ChangeLog · 中文文档 · Documentos en inglés

简体中文

Proporciona una solución completa de diálogo de IA para su tablero de desarrollo, que incluye, entre otros, la solución de integración IAT(ASR)+LLM+TTS para los tableros de desarrollo de la serie ESP32 . Se inyecta en el proyecto como una dependencia sin afectar los proyectos existentes.

Para desarrollar la funcionalidad de diálogo de los robots, solo necesita preparar los servicios IAT(ASR) , LLM y TTS , y dejar el resto a ESP-AI .

El código del lado del servidor de este proyecto se basa en Node.js , y el código de hardware se basa en Arduino / IDF .

El código abierto no es fácil, haga clic en el botón Star en la esquina superior derecha para mostrar su soporte ~

? Sitio web

• 中文网站
• Inglés

? plataforma abierta

Una plataforma basada en ESP-AI que brinda servicios finales y servicios de gestión a empresas e individuos. Visite la plataforma abierta. Ofrece servicios gratuitos de ASR (reconocimiento automático de voz), TTS (texto a voz) y LLM (modelo de lenguaje grande). En esta plataforma, puede clonar una voz personalizada con solo un clip de audio de 15 segundos.

Características

• ✔️ Palabras de vigilia fuera de línea personalizables con múltiples métodos de activación incorporados (voz, botón, puerto serie, Tianwen asrpro)
• ✔️ Cadena de conversación completa: IAT (ASR) ➡️ llm/trapo ➡️ TTS
• ✔️ Algoritmos de respuesta rápida para TTS/LLM, diseñados para equilibrar el costo del servicio al tiempo que proporciona el tiempo de respuesta más rápido
• ✔️ Apoya la interrupción de la conversación
• ✔️ reconoce los comandos de usuario (control del dispositivo, canto, etc.) y puede responder dinámicamente en función del contexto
• ✔️ Configurable
• ✔️ basado en complementos, lo que permite la integración con cualquier LLM/TTS/IAT usando complementos
• ✔️ Relación de uno a muchos entre el servicio y los clientes, con configuración independiente para cada cliente (hardware)
• ✔️ La conexión admite la autenticación
• ✔️ Interacción de datos de transmisión de cadena completa
• ✔️ Ofertas de plataforma de desarrollador: servicios gratuitos, configuración visual, etc.
• ✔️ Página web de configuración del cliente proporcionada
• ✔️ Maneja fácilmente escenarios de concurrencia (requiere Nginx para el equilibrio de carga)
• ✔️ listo para usar fuera de la caja

? Siguientes pasos

• ? Mejorar la precisión de la activación incorporada (actualmente recomendada para usar Tianwen ASRPRO)
• ? Generación de palabras de estela en línea
• ? Desarrolle complementos en otros idiomas (para evitar confiar únicamente en node.js para el desarrollo de complementos)

? Instalar

Servidor

docker run -itd -p 8088:8088 -v /esp-ai-server/index.js:/server/index.js --name esp-ai-server registry.cn-shanghai.aliyuncs.com/xiaomingio/esp-ai:1.0.0

Cliente

Descargue la dependencia en la página de lanzamiento y quítelo en el tablero de desarrollo, consulte los detalles: Instalación del cliente

? Inyectar alma en tu robot con solo unas pocas líneas de código

A continuación se presentan los códigos Node.js y Arduino que debe escribir si solo necesita funcionalidad de diálogo.

? Grupo de discusión

Grupo de discusión QQ: 854445223

? Video de estudio de caso

bilibili

? Que contribuye

Vamos a construir un mejor esp-ai juntos.

Invitamos calurosamente las contribuciones de todos. Siéntase libre de compartir sus ideas a través de solicitudes de extracción o problemas de GitHub.

? Distribución geográfica de las estrellas

cita

Si este proyecto ha ayudado a su investigación, cíquanos:

 @software{ESP-AI,
    title        = {{ESP-AI}},
    author       = {小明IO},
    year         = 2024,
    journal      = {GitHub repository},
    publisher    = {GitHub},
    howpublished = {url{https://github.com/wangzongming/esp-ai}}
}