JARVIS

จาร์วิส

ผู้ช่วยส่วนตัวเสียงของคุณเอง: เสียงไปยังข้อความถึง LLM ไปยังคำพูดแสดงในเว็บอินเตอร์เฟส

มันทำงานอย่างไร

1. - ผู้ใช้พูดกับไมโครโฟน
2. ⌨เสียงถูกแปลงเป็นข้อความโดยใช้ DeepGram
3. - ข้อความถูกส่งไปยัง GPT-3 API ของ OpenAI เพื่อสร้างการตอบกลับ
4. - การตอบสนองจะถูกแปลงเป็นคำพูดโดยใช้ Elevenlabs
5. - คำพูดเล่นโดยใช้ pygame
6. การสนทนาจะแสดงในหน้าเว็บโดยใช้ Taipy

ตัวอย่างวิดีโอ

ความต้องการ

Python 3.8 - 3.11

ตรวจสอบให้แน่ใจว่าคุณมีคีย์ API ต่อไปนี้:

• กรัม
• Openai
• สิบเอ็ดคน

วิธีการติดตั้ง

1. โคลนที่เก็บ

git clone https://github.com/AlexandreSajus/JARVIS.git

2. ติดตั้งข้อกำหนด

pip install -r requirements.txt

3. สร้างไฟล์ .env ในไดเรกทอรีรูทและเพิ่มตัวแปรต่อไปนี้:

DEEPGRAM_API_KEY=XXX...XXX
OPENAI_API_KEY=sk-XXX...XXX
ELEVENLABS_API_KEY=XXX...XXX

วิธีใช้

1. เรียกใช้ display.py เพื่อเริ่มเว็บอินเตอร์เฟส

python display.py

2. ในเทอร์มินัลอื่นเรียกใช้ jarvis.py เพื่อเริ่มผู้ช่วยเสียง

python main.py

• เมื่อพร้อมทั้งเว็บอินเตอร์เฟสและเทอร์มินัลจะแสดง Listening...
• ตอนนี้คุณสามารถพูดกับไมโครโฟนได้
• เมื่อคุณหยุดพูดมันจะแสดง Stopped listening
• จากนั้นจะเริ่มดำเนินการตามคำขอของคุณ
• เมื่อการตอบกลับพร้อมแล้วมันจะแสดง Speaking...
• การตอบกลับจะเล่นและแสดงในเว็บอินเตอร์เฟส

นี่คือตัวอย่าง:

 Listening...
Done listening
Finished transcribing in 1.21 seconds.
Finished generating response in 0.72 seconds.
Finished generating audio in 1.85 seconds.
Speaking...

 --- USER: good morning jarvis
 --- JARVIS: Good morning, Alex! How can I assist you today?

Listening...
...