voice ai js starter

Fullstack AI Assistant Assistant Starter Project

วิดีโอสาธิต

ลองด้วยตัวเอง

https://voiceai-js-starter.vercel.app/

---

repo นี้มีโครงการเริ่มต้นแบบ end-to-end สำหรับผู้ช่วย AI Voice ที่ใช้ Websocket อย่างง่าย ฉันจะไม่อ้างว่าโครงการนี้เป็นโครงการที่เร็วที่สุดหรือแข็งแกร่งที่สุด แต่มันฟรีและโอเพนซอร์ซ 100% ดังนั้นอย่าลังเลที่จะปรับเปลี่ยนและใช้เป็นฐานสำหรับโครงการของคุณเอง

ด้วยการกำหนดค่าที่เร็วที่สุดคุณสามารถเห็นเวลาตอบสนองของผู้ช่วยใน ~ 1S TTFB (เวลาถึงไบต์แรก) หลังจากผู้ใช้หยุดพูด

หากคุณมีคำถามหรือข้อเสนอแนะใด ๆ โปรดเปิดปัญหา

คุณสมบัติ:

• การสนับสนุนแบบดรอปอินสำหรับผู้ให้บริการ TTS / STT ยอดนิยมหลายรายรวมถึง (OpenAI, Deepgram, Elevenlabs, Playht)
• การสตรีมเสียงและการเล่นแบบเรียลไทม์ผ่าน WebSocket
• การตรวจจับเสียงด้วยเสียงเบราว์เซอร์ต่ำ
• การขัดจังหวะได้
• รองรับการสนับสนุนการเรียกใช้ฟังก์ชัน (โดยค่าเริ่มต้น Assistatnt Call Ending ได้รับการสนับสนุน)

เริ่มต้นอย่างรวดเร็ว

ตัวเลือกที่ 1: NPX Create-Voice-AI

เพียงเรียกใช้คำสั่งนี้เพื่อสร้างโครงการ AI เสียงใหม่

 npx create-voice-ai

ตัวเลือกที่ 2: โคลน repo นี้

เริ่ม Web-App:

 cd web
npm install
npm run start

สิ่งนี้จะเริ่มต้นเว็บแอปบน localhost:3000

เริ่มเซิร์ฟเวอร์:

คุณจะต้องสร้างไฟล์ .env พร้อมตัวแปรสภาพแวดล้อมต่อไปนี้ ด้วยเพียง OPENAI_API_KEY คุณสามารถยืนขึ้นตัวแทนเต็มสแต็คที่ทรงพลังได้

 OPENAI_API_KEY = <REQUIRED> # Required
ELEVEN_LABS_API_KEY = <OPTIONAL> # For use with ElevenLabs
DEEPGRAM_API_KEY = <OPTIONAL> # For use with Deepgram
PLAYHT_USER_ID = <OPTIONAL> # For use with PlayHT
PLAYHT_API_KEY = <OPTIONAL> # For use with PlayHT 

 cd server
npm install
npm run start

สิ่งนี้จะเริ่มต้นเซิร์ฟเวอร์บน localhost:8000

การกำหนดค่าแรกของคุณ

ตัวอย่างของเล่นที่กำหนดค่าในโครงการนี้เป็นผู้ช่วยสั่งซื้ออย่างง่ายสำหรับ L&L Hawaiian BBQ หากต้องการสร้างผู้ช่วยของคุณเองให้ดูที่ server/index.starter.js และทำตามคำแนะนำ