esp ai

ESP-AI

硬件接入 ai 最简单、最低成本的方案
โซลูชันค่าใช้จ่ายที่ง่ายและต่ำที่สุดสำหรับรายการใด ๆ เพื่อเข้าถึง AI

Changelog ·中文文档·เอกสารภาษาอังกฤษ

简体中文

จัดหาโซลูชันการสนทนา AI ที่สมบูรณ์สำหรับคณะกรรมการพัฒนาของคุณรวมถึง แต่ไม่ จำกัด เฉพาะโซลูชันการรวม IAT(ASR)+LLM+TTS สำหรับบอร์ดพัฒนา ESP32 Series มันถูกฉีดเข้าไปในโครงการเพื่อการพึ่งพาโดยไม่ส่งผลกระทบต่อโครงการที่มีอยู่

สำหรับการพัฒนาฟังก์ชั่นการสนทนาของหุ่นยนต์คุณจะต้องเตรียม IAT(ASR) , LLM และ TTS Services และปล่อยให้ส่วนที่เหลืออยู่ที่ ESP-AI

รหัสฝั่งเซิร์ฟเวอร์ของโครงการนี้ขึ้นอยู่กับ Node.js และรหัสฮาร์ดแวร์ขึ้นอยู่กับ Arduino / IDF

โอเพ่นซอร์สไม่ใช่เรื่องง่ายคลิกปุ่ม Star ที่มุมขวาบนเพื่อแสดงการสนับสนุนของคุณ ~

- เว็บไซต์

• 中文网站
• ภาษาอังกฤษ

- เปิดแพลตฟอร์ม

แพลตฟอร์มที่ใช้ ESP-AI ที่ให้บริการปลายทางและบริการการจัดการแก่ธุรกิจและบุคคล เยี่ยมชมแพลตฟอร์มเปิด ให้บริการ ASR ฟรี (การจดจำคำพูดอัตโนมัติ), TTS (ข้อความเป็นคำพูด) และบริการ LLM (รูปแบบภาษาขนาดใหญ่) บนแพลตฟอร์มนี้คุณสามารถโคลนเสียงที่กำหนดเองด้วยคลิปเสียง 15 วินาที

คุณสมบัติ

• ✔คำศัพท์การปลุกแบบออฟไลน์ที่ปรับแต่งได้ด้วยวิธีการปลุกในตัวหลายวิธี (เสียง, ปุ่ม, พอร์ตอนุกรม, Tianwen ASRPRO)
• ✔ห่วงโซ่การสนทนาที่สมบูรณ์: IAT (ASR) ➡ LLM/RAG ➡ TTS
• ✔อัลกอริทึมการตอบสนองที่รวดเร็วสำหรับ TTS/LLM ออกแบบมาเพื่อปรับสมดุลค่าบริการในขณะที่ให้เวลาตอบสนองที่เร็วที่สุด
• ✔สนับสนุนการหยุดชะงักของการสนทนา
• ✔รับรู้คำสั่งผู้ใช้ (การควบคุมอุปกรณ์การร้องเพลง ฯลฯ ) และสามารถตอบสนองแบบไดนามิกตามบริบท
• ✔กำหนดค่าได้
• ✔ตามปลั๊กอินช่วยให้สามารถรวมเข้ากับ LLM/TTS/IAT ใด ๆ ได้โดยใช้ปลั๊กอิน
• ✔ความสัมพันธ์แบบหนึ่งต่อหลาย ๆ ระหว่างบริการและลูกค้าด้วยการกำหนดค่าอิสระสำหรับลูกค้าแต่ละราย (ฮาร์ดแวร์)
• ✔การเชื่อมต่อรองรับการรับรองความถูกต้อง
• ✔การโต้ตอบข้อมูลการสตรีมแบบเต็มสายโซ่
• ✔ข้อเสนอแพลตฟอร์มนักพัฒนาซอฟต์แวร์: บริการฟรีการกำหนดค่าภาพ ฯลฯ
• ✔เว็บเพจการกำหนดค่าไคลเอ็นต์ที่ให้ไว้
• ✔จัดการกับสถานการณ์ที่เกิดขึ้นพร้อมกันได้อย่างง่ายดาย (ต้องการ Nginx สำหรับการปรับสมดุลโหลด)
• ✔พร้อมที่จะใช้นอกกรอบ

- ขั้นตอนต่อไป

• - ปรับปรุงความแม่นยำของการปลุกแบบออฟไลน์ในตัว (แนะนำให้ใช้ Tianwen ASRPRO)
• - การสร้างคำปลุกออนไลน์
• - พัฒนาปลั๊กอินในภาษาอื่น ๆ (เพื่อหลีกเลี่ยงการพึ่งพา แต่เพียงผู้เดียวใน node.js สำหรับการพัฒนาปลั๊กอิน)

- ติดตั้ง

เซิร์ฟเวอร์

docker run -itd -p 8088:8088 -v /esp-ai-server/index.js:/server/index.js --name esp-ai-server registry.cn-shanghai.aliyuncs.com/xiaomingio/esp-ai:1.0.0

ลูกค้า

ดาวน์โหลดการพึ่งพาในหน้ารีลีสและเบิร์นไปยังบอร์ดพัฒนาดูรายละเอียด: การติดตั้งไคลเอนต์

- ฉีดวิญญาณเข้าไปในหุ่นยนต์ของคุณด้วยรหัสเพียงไม่กี่บรรทัด

ด้านล่างคือรหัส Node.js และ Arduino ที่คุณต้องเขียนหากคุณต้องการฟังก์ชั่นการสนทนาเท่านั้น

- กลุ่มสนทนา

กลุ่มสนทนา QQ: 854445223

- วิดีโอกรณี

Bilibili

- การบริจาค

มาสร้าง esp-ai ที่ดีขึ้นด้วยกัน

เราเชิญการมีส่วนร่วมอย่างอบอุ่นจากทุกคน อย่าลังเลที่จะแบ่งปันความคิดของคุณผ่านการร้องขอการดึงหรือปัญหา GitHub

- การกระจายทางภูมิศาสตร์ของดาว

อ้าง

หากโครงการนี้ช่วยงานวิจัยของคุณโปรดอ้างอิงเรา:

 @software{ESP-AI,
    title        = {{ESP-AI}},
    author       = {小明IO},
    year         = 2024,
    journal      = {GitHub repository},
    publisher    = {GitHub},
    howpublished = {url{https://github.com/wangzongming/esp-ai}}
}