esp ai

ESP-AI

硬件接入 ai 最简单、最低成本的方案
모든 품목에 대한 가장 간단하고 최저 비용 솔루션 AI

changelog · · · 영어 문서

简体中文

ESP32 시리즈 개발 보드에 대한 IAT(ASR)+LLM+TTS 통합 솔루션을 포함하되 이에 국한되지 않는 개발 보드를위한 완전한 AI 대화 솔루션을 제공합니다. 기존 프로젝트에 영향을 미치지 않으면 서 종속성으로 프로젝트에 주입됩니다.

로봇의 대화 기능을 개발하기 위해 IAT(ASR) , LLM 및 TTS 서비스 만 준비하고 나머지는 ESP-AI 로 맡기면됩니다.

이 프로젝트의 서버 측 코드는 Node.js 기반으로하며 하드웨어 코드는 Arduino / IDF 를 기반으로합니다.

오픈 소스는 쉽지 않습니다. 오른쪽 상단의 Star 버튼을 클릭하여 지원을 보여줍니다 ~

? 웹 사이트

• 中文网站
• 영어

? 오픈 플랫폼

비즈니스 및 개인에게 최종 서비스 및 관리 서비스를 제공하는 ESP-AI를 기반으로하는 플랫폼. 오픈 플랫폼을 방문하십시오. 무료 ASR (자동 음성 인식), TTS (텍스트 음성) 및 LLM (대형 언어 모델) 서비스를 제공합니다. 이 플랫폼에서는 15 초의 오디오 클립으로 사용자 정의 음성을 복제 할 수 있습니다.

특징

• ✔️ 여러 개의 내장 웨이크 업 메소드 (음성, 버튼, 직렬 포트, Tianwen Asrpro)가있는 사용자 정의 가능한 오프라인 웨이크 단어
• ✔️ 완전한 대화 체인 : IAT (ASR) ➡️ llm/rag ➡️ tts
• ✔️ TTS/LLM에 대한 빠른 응답 알고리즘, 서비스 비용의 균형을 맞추고 가장 빠른 응답 시간을 제공하도록 설계되었습니다.
• ✔️은 대화 중단을 지원합니다
• ✔️ 사용자 명령 (어플라이언스 제어, 노래 등)을 인식하고 컨텍스트에 따라 동적으로 응답 할 수 있습니다.
• ✔️ 구성 가능
• 플러그인을 사용하여 LLM/TTS/IAT와의 통합을 허용하는 플러그인 기반 플러그인 기반
• 각 클라이언트에 대한 독립적 인 구성 (하드웨어)을 갖춘 서비스와 클라이언트 간의 1 대 마니 관계
• connection은 인증을 지원합니다
• ✔️ 전체 체인 스트리밍 데이터 상호 작용
• ✔️ 개발자 플랫폼 제공 : 무료 서비스, 시각적 구성 등
• ✔️ 클라이언트 구성 웹 페이지 제공
• ✔️은 높은 동시성 시나리오를 쉽게 처리합니다 (로드 밸런싱을 위해서는 Nginx가 필요합니다)
• ✔️ 상자에서 사용할 준비가되었습니다

? 다음 단계

• ? 내장 오프라인 웨이크 업의 정확도를 향상시킵니다 (현재 Tianwen Asrpro를 사용하는 것이 좋습니다)
• ? 온라인 깨우기 단어 생성
• ? 플러그인 개발을 위해 Node.js에만 의존하지 않도록 다른 언어로 플러그인을 개발하십시오.

? 설치하다

섬기는 사람

docker run -itd -p 8088:8088 -v /esp-ai-server/index.js:/server/index.js --name esp-ai-server registry.cn-shanghai.aliyuncs.com/xiaomingio/esp-ai:1.0.0

고객

릴리스 페이지에 의존성을 다운로드하고 개발위원회에 태우고 세부 사항을 참조하십시오. 클라이언트 설치

? 몇 줄의 코드로 소울을 로봇에 주입하십시오.

다음은 대화 기능 만 필요할 경우 작성 해야하는 Node.js 및 Arduino 코드입니다.

? 토론 그룹

QQ 토론 그룹 : 854445223

? 사례 연구 비디오

빌리 빌리

? 기여

더 나은 esp-ai 함께 만들어 봅시다.

우리는 모든 사람의 기여를 따뜻하게 초대합니다. 풀 요청 또는 GitHub 문제를 통해 아이디어를 자유롭게 공유하십시오.

? 스타 지리적 분포

인용하다

이 프로젝트가 귀하의 연구에 도움이된다면 우리를 인용하십시오.

 @software{ESP-AI,
    title        = {{ESP-AI}},
    author       = {小明IO},
    year         = 2024,
    journal      = {GitHub repository},
    publisher    = {GitHub},
    howpublished = {url{https://github.com/wangzongming/esp-ai}}
}