whispering ui

กระซิบ Tiger UI (แปลสด/ถอดความ)

Whispering Tiger UI เป็น พื้นเมือง -UI ที่สามารถใช้ในการควบคุมแอปพลิเคชัน เสือกระซิบ

Whispering Tiger เป็นเครื่องมือฟรีและโอเพ่นซอร์สที่สามารถฟัง/ดูไปยัง สตรีมเสียง หรือ ภาพในเกม บนเครื่องของคุณและพิมพ์การถอดความหรือการแปลไปยังเว็บเบราว์เซอร์โดยใช้ WebSockets หรือ OSC (ตัวอย่างคือ สตรีมมิ่ง หรือ VRChat )

เนื้อหา

• คุณสมบัติ
• การดาวน์โหลด
• บทเรียน
• การติดตั้ง
• การตั้งค่า
  • การตั้งค่าปลั๊กอิน
  • ตัวอย่างการตั้งค่าปลั๊กอิน Voicevox (TTS ญี่ปุ่น)
  • การกำหนดค่าเสียงที่เฉพาะเจาะจง (tts ถึงไมค์การแปลเสียงของเกม ฯลฯ )
  • การกำหนดค่าเรียลไทม์และการปรับปรุงความเร็ว
• คุณสมบัติขั้นสูง
• ความช่วยเหลือเพิ่มเติม (Discord)
• ภาพหน้าจอ

คุณสมบัติ

• Native-UI สำหรับ Windows (และอาจเป็น Linux ในอนาคต)
• ใช้งานง่าย สำหรับทั้ง ผู้เริ่มต้น และ ผู้ใช้ขั้นสูง
• การเข้าถึงคุณสมบัติเสือกระซิบทั้งหมด ซึ่งรวมถึง:
  • การถอดความ / การแปลกระแสเสียง
  • การแปลข้อความ
  • ข้อความเป็นคำพูด
  • การรับรู้และการแปลภาพในเกม
  • การแสดงผลลัพธ์ในเว็บเบราว์เซอร์หรือ VRChat โดยใช้ WebSockets หรือ OSC
• การรองรับ อุปกรณ์เสียงแบบวนกลับ เพื่อจับภาพเสียงพีซีโดยไม่มีเครื่องมือเพิ่มเติม
• บันทึก และ โหลด การกำหนดค่า
• ดูตัวอย่าง หากอุปกรณ์เสียงที่คุณเลือกใช้งาน
• ปลั๊กอิน รองรับ คุณสมบัติเพิ่มเติม (ค้นหารายการปลั๊กอินที่นี่)
  • ปลั๊กอินคำบรรยายแบบเรียลไทม์
  • ปลั๊กอิน text2speech จำนวนมาก
  • ปลั๊กอินการทำนายอารมณ์
  • กำลังเล่นปลั๊กอินเพลง
  • ปลั๊กอินการส่งออกคำบรรยาย
  • ปลั๊กอินการแปลงด้วยเสียงแบบดึงข้อมูล (RVC)
  • ปลั๊กอินโมเดลภาษาขนาดใหญ่
  • และอีกมากมาย ...
• อัปเดตอัตโนมัติ เป็นเวอร์ชันล่าสุดของ Whispering Tiger

การดาวน์โหลด

ดาวน์โหลดเวอร์ชันล่าสุด จากหน้าเผยแพร่

บทเรียน

• วิดีโอการสอน " กระซิบเสือ - การแปลและการถอดความสด ":

  

การติดตั้ง

1. หลังจากดาวน์โหลดเวอร์ชันล่าสุดจาก [ รุ่น ] แล้วให้แยกไปยังโฟลเดอร์ที่คุณเลือกบนไดรฟ์ที่มีพื้นที่ว่างเพียงพอ

   (อย่าเรียกใช้โดยตรงจากไฟล์ zip อย่าเรียกใช้จากไดรฟ์ภายนอก)

2. ติดตั้ง CUDA สำหรับการเร่งความเร็ว GPU (ไม่จำเป็น แต่แนะนำสำหรับ NVIDIA GPU)

3. เรียกใช้ไฟล์ tiger.exe Whispering

4. ปล่อยให้มันดาวน์โหลดเวอร์ชันล่าสุดของ Whispering Tiger (จะขอให้ดาวน์โหลดแพลตฟอร์ม)

5. หลังจากการดาวน์โหลดเสร็จสิ้นคุณสามารถสร้างโปรไฟล์และเริ่มใช้แอปพลิเคชัน กระซิบไทเกอร์

   • ในการเริ่มต้นครั้งแรกมันจะเริ่มดาวน์โหลดโมเดล AI ซึ่งอาจใช้เวลาสักครู่ขึ้นอยู่กับขนาดรุ่นที่คุณเลือก (ปัจจุบันยังไม่แสดงสถานะของการดาวน์โหลดรุ่น)

การตั้งค่า

1. สร้างโปรไฟล์ โดยป้อนชื่อและคลิกที่ปุ่ม ใหม่

2. Websocket IP + Port สามารถเก็บไว้ที่ค่าเริ่มต้น "127.0.0.1" และ "5000"

   • สิ่งเหล่านี้มีประโยชน์เฉพาะในกรณีที่คุณต้องการเรียกใช้หลายอินสแตนซ์หรือให้แพลตฟอร์มแบ็กเอนด์ทำงานบนพีซีแยกต่างหาก
   • หากคุณต้องการเรียกใช้หลายอินสแตนซ์คุณต้องเปลี่ยนพอร์ตสำหรับแต่ละอินสแตนซ์

3. เลือกอุปกรณ์อินพุตและเอาต์พุตเสียงของคุณ คุณสามารถทดสอบได้โดยพูดลงในไมโครโฟนของคุณและคลิกที่ปุ่มทดสอบ

   • คุณควรเห็นแถบ อินพุตเสียง เมื่อคุณพูด และได้ยินเสียงทดสอบและดูแถบ เอาต์พุตเสียง เมื่อคุณคลิกที่ปุ่ม ทดสอบ

     

   • ดูเพิ่มเติม การกำหนดค่าเสียง (TTS ถึง MIC, การแปลเสียงของเกม ฯลฯ ) สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการตั้งค่าเสียงเฉพาะ

     (เช่นเมื่อคุณต้องการแปลเสียงของเกมวิดีโอหรือสตรีมที่เล่นบนพีซีของคุณแทนที่จะใช้ไมโครโฟนเป็นอินพุต)

4. (ไม่บังคับ) ใช้ push เพื่อพูดคุย คลิกเข้าไปในฟิลด์และกดปุ่มที่คุณต้องการใช้สำหรับ push to talk

   (กดแต่ละคีย์แยกกันเพื่อกำหนดค่าเมื่อเรียกใช้โปรไฟล์คีย์ทั้งหมดจะต้องกดในเวลาเดียวกันเมื่อใช้ push to talk)

   • หากต้องการปิดใช้งานการตรวจสอบคำพูดอัตโนมัติเพื่อใช้พุชเพื่อพูดคุยให้ตั้ง Speech volume Level และ Speech pause detection เป็น 0

5. จับตาดูการใช้หน่วยความจำโดยประมาณ ที่มุมล่างขวา

   มันเป็นเพียงการประเมินคร่าวๆและอาจแตกต่างกันไป แต่ควรให้ความคิดว่าคุณต้องการ RAM (v-) ที่คุณต้องการสำหรับโมเดล AI ที่คุณเลือก และตัวเลือก

   

6. เลือกอุปกรณ์ AI สำหรับการแปลเป็นข้อความ และ ข้อความ ตามฮาร์ดแวร์ของคุณ

   • CUDA ( ต้องใช้ NVIDIA GPU ) หรือ CPU
   • CUDA จะโหลด AI ลงใน V-RAM และจะเร็วกว่า CPU

7. เลือกขนาดคำพูดเป็นข้อความ และ ขนาดการแปลข้อความ

   • ขนาดที่ใหญ่ขึ้นความแม่นยำมากขึ้น แต่ก็ยิ่งช้าลง
   • ขนาดที่ใหญ่ขึ้นยิ่ง ram (v-) มันจะใช้มากขึ้นเท่านั้น
   • หมายเหตุ: โมเดล AI ของขนาดและความแม่นยำที่เลือกจะถูกดาวน์โหลดโดยอัตโนมัติเมื่อคุณเริ่มแอปพลิเคชันเป็นครั้งแรก

8. เลือกความแม่นยำในการพูด และ ข้อความการแปลความแม่นยำ

   • ยิ่งมีความแม่นยำสูงเท่าใดก็ยิ่งใช้ RAM มากขึ้นเท่านั้น ( อย่างไรก็ตามความแตกต่างของความแม่นยำเกือบเล็กน้อย )
   • GPU ที่ทันสมัยมีการเร่งความเร็วที่ดีขึ้นสำหรับ float16
   • การสนับสนุนเพียงอย่างเดียวของ CPU float32 , int16 หรือ int8 ความแม่นยำ

บันทึก:

• คุณสามารถเล่นกับค่าได้จนกว่าคุณจะได้ผลลัพธ์ที่ต้องการ
• หากสิ่งที่ไม่ทำงานให้ตรวจสอบ บันทึก ภายใต้แท็บ ขั้นสูง และตรวจสอบข้อผิดพลาดใด ๆ
• เปิดใช้งาน บันทึกการเขียนเพื่อไฟล์ เพื่อบันทึกบันทึกไปยังไฟล์

การตั้งค่าปลั๊กอิน

• ติดตั้งปลั๊กอินโดยใช้ UI โดยตรงหรือ ..
• ติดตั้งปลั๊กอินด้วยตนเอง
  • เลือกปลั๊กอินที่คุณต้องการจากรายการปลั๊กอินที่นี่
  • ดาวน์โหลดไฟล์ *.py และวางไว้ในโฟลเดอร์ ปลั๊กอิน
  • รีสตาร์ทแอปพลิเคชัน
  • ตอนนี้ปลั๊กอินควรมีอยู่ในแท็บ ปลั๊กอิน

บันทึก:
ปลั๊กอินส่วนใหญ่มีการตั้งค่าเฉพาะที่สามารถกำหนดค่าในกล่องข้อความของปลั๊กอินในแท็บ ปลั๊กอิน

ดู ตัวอย่างการตั้งค่าปลั๊กอิน Voicevox (TTS ญี่ปุ่น) เป็นตัวอย่างวิธีการตั้งค่าปลั๊กอิน VoiceVox

การตั้งค่าการใช้งานเฉพาะ

• การกำหนดค่าเสียง (TTS to MIC, การแปลเสียงของเกม ฯลฯ )
• การกำหนดค่าเรียลไทม์และการปรับปรุงความเร็ว

คุณสมบัติขั้นสูง

• การปรับขนาด UI ที่ใหญ่ขึ้น (โหมด VR)

ความช่วยเหลือเพิ่มเติม

สำหรับความช่วยเหลือเพิ่มเติมคุณสามารถเข้าร่วมได้

• กระซิบเสือกับ Discord

ภาพหน้าจอ