esp ai

Esp-ai

硬件接入 ai 最简单、最低成本的方案
Solusi biaya paling sederhana dan terendah untuk setiap item untuk mengakses AI

Changelog · 中文文档 · Dokumen Bahasa Inggris

简体中文

Memberikan solusi dialog AI lengkap untuk Dewan Pengembangan Anda, termasuk tetapi tidak terbatas pada Solusi Integrasi IAT(ASR)+LLM+TTS untuk papan pengembangan seri ESP32 . Ini disuntikkan ke dalam proyek sebagai ketergantungan tanpa mempengaruhi proyek yang ada.

Untuk mengembangkan fungsionalitas dialog robot, Anda hanya perlu menyiapkan layanan IAT(ASR) , LLM , dan TTS , dan menyerahkan sisanya ke ESP-AI .

Kode sisi server dari proyek ini didasarkan pada Node.js , dan kode perangkat keras didasarkan pada Arduino / IDF .

Sumber terbuka tidak mudah, klik tombol Star di sudut kanan atas untuk menunjukkan dukungan Anda ~

? Situs web

• 中文网站
• Bahasa inggris

? platform terbuka

Platform yang didasarkan pada ESP-AI yang menyediakan layanan akhir dan layanan manajemen untuk bisnis dan individu. Kunjungi platform terbuka. Ini menawarkan layanan ASR gratis (pengenalan suara otomatis), TTS (teks-ke-speech), dan LLM (model bahasa besar). Pada platform ini, Anda dapat mengkloning suara khusus hanya dengan klip audio 15 detik.

Fitur

• ✔️ Kata bangun offline yang dapat disesuaikan dengan beberapa metode bangun bawaan (suara, tombol, port serial, tianwen asrpro)
• ✔️ Rantai percakapan lengkap: IAT (ASR) ➡️ LLM/RAG ➡️ TTS
• ✔️ Algoritma respons cepat untuk TTS/LLM, dirancang untuk menyeimbangkan biaya layanan sambil memberikan waktu respons tercepat
• ✔️ Mendukung gangguan percakapan
• ✔️ Mengenali perintah pengguna (kontrol alat, nyanyian, dll.) Dan dapat merespons secara dinamis berdasarkan konteks
• ✔️ dikonfigurasi
• ✔️ Berbasis plugin, memungkinkan integrasi dengan LLM/TTS/IAT menggunakan plugin apa pun
• ✔️ Hubungan satu-ke-banyak antara layanan dan klien, dengan konfigurasi independen untuk setiap klien (perangkat keras)
• ✔️ Koneksi mendukung otentikasi
• ✔️ interaksi data streaming rantai penuh
• ✔️ Platform pengembang menawarkan: Layanan gratis, konfigurasi visual, dll.
• ✔️ halaman web konfigurasi klien disediakan
• ✔️ dengan mudah menangani skenario konkurensi tinggi (membutuhkan nginx untuk penyeimbangan beban)
• ✔️ Siap digunakan di luar kotak

? Langkah selanjutnya

• ? Tingkatkan akurasi bangun offline bawaan (saat ini disarankan untuk menggunakan Tianwen Asrpro)
• ? Online Wake Word Generation
• ? Kembangkan plugin dalam bahasa lain (untuk menghindari mengandalkan hanya pada node.js untuk pengembangan plugin)

? Memasang

Server

docker run -itd -p 8088:8088 -v /esp-ai-server/index.js:/server/index.js --name esp-ai-server registry.cn-shanghai.aliyuncs.com/xiaomingio/esp-ai:1.0.0

Klien

Unduh ketergantungan pada halaman rilis dan bakar ke papan pengembangan, lihat detail: instal klien

? Menyuntikkan jiwa ke robot Anda hanya dengan beberapa baris kode

Di bawah ini adalah kode Node.js dan Arduino yang perlu Anda tulis jika Anda hanya memerlukan fungsionalitas dialog.

? Grup diskusi

Grup Diskusi QQ: 854445223

? Video studi kasus

Bilibili

? Berkontribusi

Mari kita membangun esp-ai yang lebih baik bersama.

Kami dengan hangat mengundang kontribusi dari semua orang. Jangan ragu untuk membagikan ide -ide Anda melalui permintaan tarik atau masalah gitub.

? Distribusi geografis bintang

mengutip

Jika proyek ini telah membantu penelitian Anda, silakan kutip kami:

 @software{ESP-AI,
    title        = {{ESP-AI}},
    author       = {小明IO},
    year         = 2024,
    journal      = {GitHub repository},
    publisher    = {GitHub},
    howpublished = {url{https://github.com/wangzongming/esp-ai}}
}