esp ai

ESP-AI

硬件接入 ai 最简单、最低成本的方案
A solução de custo mais simples e mais baixa para qualquer item acessar a IA

Changelog · 中文文档 · documentos em inglês

简体中文

Fornece uma solução completa de diálogo de IA para o seu conselho de desenvolvimento, incluindo, entre outros, a solução de integração IAT(ASR)+LLM+TTS para as placas de desenvolvimento da série ESP32 . É injetado no projeto como uma dependência sem afetar os projetos existentes.

Para desenvolver a funcionalidade de diálogo dos robôs, você só precisa preparar os serviços IAT(ASR) , LLM e TTS e deixar o restante para ESP-AI .

O código do lado do servidor deste projeto é baseado no Node.js , e o código de hardware é baseado no Arduino / IDF .

O código aberto não é fácil, clique no botão Star no canto superior direito para mostrar seu suporte ~

? Site

• 中文网站
• Inglês

? Plataforma aberta

Uma plataforma baseada no ESP-AI que fornece serviços finais e serviços de gerenciamento para empresas e indivíduos. Visite a plataforma aberta. Oferece serviços gratuitos de ASR (reconhecimento automático de fala), TTS (texto em fala) e LLM (Modelo de Linguagem Grande). Nesta plataforma, você pode clonar uma voz personalizada com apenas um clipe de áudio de 15 segundos.

Características

• ✔️ Palavras de despertar offline personalizáveis ​​com vários métodos de despertar interno (voz, botão, porta serial, Tianwen Asrpro)
• ✔️ Cadeia de conversação completa: IAT (ASR) ➡️ LLM/RAG ➡️ TTS
• ✔️ Algoritmos de resposta rápida para TTS/LLM, projetados para equilibrar o custo do serviço, fornecendo o tempo de resposta mais rápido
• ✔️ Apoia a interrupção da conversa
• ✔️ Reconheça os comandos do usuário (controle do dispositivo, canto etc.) e pode responder dinamicamente com base no contexto
• ✔️ Configurável
• ✔️ baseado em plug-in, permitindo integração com qualquer LLM/TTS/IAT usando plugins
• RELACIONALENTE A RELACIONAL DE OUT-MO
• ✔️ Conexão suporta autenticação
• ✔️ Interação de dados de streaming de cadeia inteira
• Platform Plataforma de desenvolvedor Oferta: Serviços Grátis, Configuração Visual, etc.
• ✔️ Configuração do cliente Página da web fornecida
• ✔️ Lida facilmente cenários de alta concorrência (requer nginx para balanceamento de carga)
• ✔️ Pronto para usar fora da caixa

? PRÓXIMOS PASSOS

• ? Melhore a precisão do despertar off-line interno (atualmente recomendado para usar Tianwen Asrpro)
• ? Geração de palavras de acordar online
• ? Desenvolva plugins em outros idiomas (para evitar confiar apenas no Node.js para o desenvolvimento de plug -in)

? Instalar

Servidor

docker run -itd -p 8088:8088 -v /esp-ai-server/index.js:/server/index.js --name esp-ai-server registry.cn-shanghai.aliyuncs.com/xiaomingio/esp-ai:1.0.0

Cliente

Faça o download da dependência da página de liberação e queime -a na placa de desenvolvimento, consulte Detalhes: Instalação do cliente

? Injete a alma em seu robô com apenas algumas linhas de código

Abaixo estão os códigos Node.js e Arduino que você precisa escrever se precisar apenas da funcionalidade de diálogo.

? Grupo de discussão

Grupo de discussão QQ: 854445223

? Vídeo de estudo de caso

Bilibili

? Contribuindo

Vamos construir um esp-ai melhor juntos.

Convidamos calorosamente contribuições de todos. Sinta -se à vontade para compartilhar suas idéias por meio de solicitações de tração ou problemas do GitHub.

? Distribuição geográfica da estrela

citar

Se este projeto ajudou sua pesquisa, cite -nos:

 @software{ESP-AI,
    title        = {{ESP-AI}},
    author       = {小明IO},
    year         = 2024,
    journal      = {GitHub repository},
    publisher    = {GitHub},
    howpublished = {url{https://github.com/wangzongming/esp-ai}}
}