Echo XI

ก้อง

ข้อมูล

ฉันเผยแพร่ทัวร์คุณสมบัติต่าง ๆ ทั้งหมดที่มีอยู่ใน YouTube คลิกที่นี่เพื่อดู

เป้าหมายหลักของโครงการคือการเสนอการพูดเพื่อส่งข้อความถึงการพูด

ตอนนี้มี GUI และเก็บการตั้งค่าทั้งหมดที่คุณป้อน รายละเอียดที่ละเอียดอ่อนเช่นคีย์ API จะถูกเก็บไว้ในพายระบบ

ในกรณีที่คุณต้องการใช้ CLI เพียงเรียกสคริปต์จากบรรทัด comamnd ด้วยอาร์กิวเมนต์ -คลอ

ให้บริการการจดจำคำพูดแยกต่างหากสามรายการ:

• Vosk พร้อม recasepunc เพื่อเพิ่มเครื่องหมายวรรคตอน
• การจดจำคำพูดของ Azure
• Whisper ทั้งสองทำงานในพื้นที่ ( ตอนนี้ใช้เร็วขึ้นเพื่อการจดจำที่เร็วขึ้นและการใช้ VRAM ที่ต่ำกว่า ) และผ่าน API ของ Openai

นอกจากนี้ยังแปลเอาต์พุตเป็นภาษาของการเลือกของผู้ใช้โดยอัตโนมัติ (จากที่รองรับโดยโมเดลหลายภาษาของ Elevenlabs) หากผู้ใช้กำลังพูดภาษาที่แตกต่างกัน

ผู้ให้บริการจดจำคำพูดแต่ละคนมีการสนับสนุนภาษาที่แตกต่างกันดังนั้นอย่าลืมอ่านรายละเอียด

การแปลมีให้ผ่าน Deepl สำหรับภาษาที่รองรับหรือ Google แปล

ข้อความที่ได้รับการยอมรับและแปลจะถูกส่งไปยังผู้ให้บริการ TTS ซึ่งสองรายการได้รับการสนับสนุน:

• Elevenlabs ผ่านโมดูล elevenlabslib ซึ่งเป็นบริการ TTS ที่มีคุณภาพสูง แต่จ่ายเงินออนไลน์ที่รองรับหลายภาษา
• PYTTSX3 ซึ่งเป็น TTS คุณภาพต่ำที่ทำงานในพื้นที่

โครงการยังช่วยให้คุณสามารถซิงโครไนซ์ข้อความที่ตรวจพบกับแหล่งข้อความ OBS โดยใช้ Obsws-Python

การติดตั้งและการใช้งาน

คำเตือน: Python 3.11 ยังไม่ได้รับการสนับสนุนอย่างเต็มที่จาก Pytorch (แต่ควรทำงานในการสร้างยามค่ำคืน) ฉันขอแนะนำให้ใช้ Python 3.10.6

ก่อนสิ่งอื่นใด: คุณจะต้องมี FFMPEG ในเส้นทาง $ ของคุณ คุณสามารถติดตามบทช่วยสอนนี้ได้หากคุณอยู่ใน Windows

นอกจากนี้หากคุณอยู่ใน Linux คุณจะต้องตรวจสอบให้แน่ใจว่ามีการติดตั้ง Portaudio

บน Windows:

1. โคลน repo: git clone https://github.com/lugia19/Echo-XI.git

2. run.bat - มันจะจัดการขั้นตอนต่อไปนี้ทั้งหมดสำหรับคุณ

ทุกที่อื่น:

1. โคลน repo: git clone https://github.com/lugia19/Echo-XI.git

2. สร้าง venv: python -m venv venv

3. เปิดใช้งาน venv: venvScriptsactivate

4. หากคุณทำอย่างถูกต้องควรมี (VENV) ในช่วงเริ่มต้นของบรรทัดคำสั่ง

5. ติดตั้งข้อกำหนด: pip install -r requirements.txt

6. เรียกใช้

หากคุณต้องการใช้เสียงในสิ่งที่ชอบ Discord ให้ใช้ VB-cable ในสคริปต์ให้เลือกไมโครโฟนปกติของคุณเป็นอินพุต VB-Cable input เป็นเอาต์พุตจากนั้นใช้เอาต์พุต Discord เลือก VB-Cable output เป็นอินพุต ใช่มันสับสนเล็กน้อย

หมายเหตุเกี่ยวกับ vosk/recasepunc

หากคุณกำลังมองหาที่จะใช้ Vosk/Recasepunc และคุณต้องการบางสิ่งบางอย่างนอกเหนือจากรุ่นที่รวม (ดาวน์โหลดได้) อ่านต่อ

รุ่น VOSK สามารถพบได้ที่นี่ หน้าเดียวกันยังมีรุ่น Recasepunc สำหรับคนเพิ่มเติมคุณสามารถดู recasepunc repo

สำหรับภาษาอังกฤษฉันใช้ vosk-model-en-us-0.22 และ vosk-recasepunc-en-0.22 RECASEPUNC เป็นทางเลือกทางเทคนิคเมื่อใช้ VOSK แต่ขอแนะนำอย่างยิ่งในการปรับปรุงผลลัพธ์

สคริปต์ค้นหาโมเดลภายใต้โมเดล/VOSK และโมเดล/โฟลเดอร์ recasepunc

โครงสร้างโฟลเดอร์ทั่วไปจะมีลักษณะเช่นนี้ (รุ่น Recasepunc สามารถอยู่ในโฟลเดอร์ของตัวเองหรือด้วยตัวเองขึ้นอยู่กับแหล่งที่คุณดาวน์โหลดจากทั้งสองได้รับการสนับสนุน)::

 -misc
-models
    -vosk
        -vosk-model-en-us-0.22
        -vosk-model-it-0.22
    -recasepunc
        -vosk-recasepunc-en-0.22
        it.22000
-speechRecognition
-ttsProviders
helper.py
speechToSpeech.py

สำหรับทุกสิ่งทุกอย่างเพียงเรียกใช้สคริปต์และทำตามคำแนะนำ

หากคุณต้องการใช้เสียงในสิ่งที่ชอบ Discord ให้ใช้ VB-cable ในสคริปต์ให้เลือกไมโครโฟนปกติของคุณเป็นอินพุต VB-Cable input เป็นเอาต์พุตจากนั้นใช้เอาต์พุต Discord เลือก VB-Cable output เป็นอินพุต ใช่มันสับสนเล็กน้อย