whispering ui

Whispering Tiger UI (Live Translate/Transcribe)

Whispering Tiger UI adalah UI asli yang dapat digunakan untuk mengontrol aplikasi Tiger Whispering .

Whispering Tiger adalah alat sumber terbuka dan terbuka yang dapat mendengarkan/menonton ke aliran audio atau gambar dalam game apa pun di mesin Anda dan mencetak transkripsi atau terjemahan ke browser web menggunakan websockets atau lebih dari OSC (contoh streaming-overlays atau vrchat ).

Isi

• Fitur
• Unduh
• Tutorial
• Instalasi
• Pengaturan
  • Pengaturan Plugin
  • Contoh Pengaturan Plugin Voicevox (TTS Jepang)
  • Konfigurasi audio spesifik (TTS ke MIC, terjemahan audio game, dll.)
  • Konfigurasi Realtime dan Peningkatan Kecepatan
• Fitur canggih
• Bantuan Tambahan (Perselisihan)
• Tangkapan layar

Fitur

• Native-UI untuk Windows (dan mungkin Linux di masa depan)
• Mudah digunakan untuk pemula dan pengguna tingkat lanjut
• Akses ke semua fitur Tiger Whispering , yang meliputi:
  • Transkripsi / terjemahan aliran audio
  • Terjemahan teks
  • Teks-ke-speech
  • Pengakuan dan terjemahan gambar dalam game
  • Menampilkan hasil di browser web atau vrchat, menggunakan websockets atau osc
• Dukungan perangkat audio loopback untuk menangkap audio PC tanpa alat tambahan
• Simpan dan Muat Konfigurasi
• Pratinjau Jika perangkat audio yang Anda pilih berfungsi
• Dukungan plugin untuk fitur tambahan (temukan daftar plugin di sini)
  • Plugin subtitle realtime
  • Banyak plugin Text2Speech
  • Plugin prediksi emosi
  • Saat ini bermain plugin lagu
  • Plugin Ekspor Subtitle
  • Plugin konversi suara berbasis pengambilan (RVC)
  • Plugin Model Bahasa Besar
  • Dan lebih banyak ...
• Pembaruan otomatis ke versi terbaru dari Whispering Tiger .

Unduh

Unduh versi terbaru dari halaman rilis.

Tutorial

• Tutorial video " Whispering Tiger - Live Translation and Transcription ":

  

Instalasi

1. Setelah mengunduh versi terbaru dari [ rilis ], ekstrak ke folder pilihan Anda pada drive dengan ruang kosong yang cukup.

   (Jangan jalankan langsung dari file zip, jangan dijalankan dari drive eksternal.)

2. Pasang CUDA untuk akselerasi GPU (opsional tetapi direkomendasikan untuk GPU NVIDIA).

3. Jalankan file Tiger.exe Whispering .

4. Biarkan mengunduh versi terbaru dari Whispering Tiger . (Ini akan meminta untuk mengunduh platform.)

5. Setelah unduhan selesai, Anda dapat membuat profil dan mulai menggunakan aplikasi Tiger Whispering .

   • Pada awal pertama, itu akan mulai mengunduh model AI yang bisa memakan waktu beberapa saat tergantung pada ukuran model yang Anda pilih. (Saat ini tidak menunjukkan status unduhan model)

Pengaturan

1. Buat profil dengan memasukkan nama dan mengklik tombol baru .

2. Websocket IP + Port dapat disimpan pada nilai default "127.0.0.1" dan "5000".

   • Ini hanya berguna jika Anda ingin menjalankan beberapa instance atau menjalankan platform backend pada PC terpisah.
   • Jika Anda ingin menjalankan beberapa instance, Anda perlu mengubah port untuk setiap instance.

3. Pilih perangkat input dan output audio Anda. Anda dapat mengujinya dengan berbicara ke dalam mikrofon Anda dan mengklik tombol uji.

   • Anda akan melihat bilah input audio bergerak saat berbicara. dan dengarkan Audio uji dan lihat bilah output audio bergerak saat Anda mengklik tombol uji .

     

   • Lihat juga Konfigurasi Audio (TTS ke MIC, Terjemahan Audio Game, dll.) Untuk informasi lebih lanjut tentang pengaturan audio tertentu.

     (Seperti ketika Anda ingin menerjemahkan audio game, video, atau aliran yang diputar di PC Anda alih -alih menggunakan mikrofon sebagai input.) .

4. (Opsional) Gunakan Push To Talk Klik ke lapangan dan tekan tombol yang ingin Anda gunakan untuk Push to Talk

   (Tekan setiap tombol secara terpisah untuk mengonfigurasi. Saat menjalankan profil, semua tombol akan diminta untuk ditekan pada saat yang sama saat menggunakan Push to Talk)

   • Untuk menonaktifkan autodetect ucapan untuk hanya menggunakan dorongan untuk berbicara, menetapkan Speech volume Level dan Speech pause detection ke 0.

5. Mengawasi estimasi konsumsi memori di sudut kanan bawah.

   Ini hanya perkiraan kasar dan dapat bervariasi, tetapi harus memberi Anda gambaran tentang berapa banyak (V-) RAM yang Anda butuhkan untuk model AI yang Anda pilih. dan opsi.

   

6. Pilih perangkat AI untuk terjemahan ucapan-ke-teks dan teks sesuai dengan perangkat keras Anda.

   • CUDA ( membutuhkan GPU NVIDIA ) atau CPU.
   • CUDA akan memuat AI ke V-RAM dan akan lebih cepat dari CPU.

7. Pilih ukuran ucapan-ke-teks dan ukuran terjemahan teks .

   • Semakin besar ukurannya, semakin akurat tetapi juga lebih lambat transkripsi.
   • Semakin besar ukurannya, semakin banyak RAM (V-) yang akan digunakan.
   • Catatan: Model AI dari ukuran dan presisi yang dipilih akan diunduh secara otomatis ketika Anda memulai aplikasi untuk pertama kalinya.

8. Pilih presisi presisi dan teks teks-ke-teks dan presisi teks

   • Semakin tinggi presisi, semakin akurat dan semakin banyak (V-) RAM digunakan. ( Namun perbedaan akurasi hampir dapat diabaikan ).
   • GPU modern memiliki akselerasi yang lebih baik untuk float16 .
   • Satu -satunya dukungan CPU float32 , int16 atau int8 Precision.

Catatan:

• Anda dapat bermain dengan nilai -nilai sampai Anda mendapatkan hasil yang Anda inginkan.
• Jika sesuatu tidak berhasil, periksa log di bawah tab Advanced . Dan periksa kesalahan apa pun.
• Aktifkan Log Write to File untuk menyimpan log ke file.

Pengaturan Plugin

• Instal plugin menggunakan UI secara langsung, atau ..
• Pasang plugin secara manual.
  • Pilih plugin yang Anda inginkan dari daftar plugin di sini.
  • Unduh file *.py dan letakkan di folder plugin .
  • Restart aplikasi.
  • Plugin sekarang harus tersedia di tab Plugins .

Catatan:
Sebagian besar plugin memiliki pengaturan spesifik yang dapat dikonfigurasi dalam kotak teks plugin di tab plugin .

Lihat Juga Contoh Pengaturan Plugin Voicevox (TT Jepang) sebagai contoh cara mengatur plugin voicevox.

Pengaturan Penggunaan Khusus

• Konfigurasi Audio (TTS ke MIC, Terjemahan Audio Game, dll.)
• Konfigurasi Realtime dan Peningkatan Kecepatan

Fitur canggih

• Penskalaan UI yang lebih besar (mode VR)

Bantuan tambahan

Untuk bantuan tambahan, Anda dapat bergabung

• Membisikkan harimau pada perselisihan

Tangkapan layar