whisper.unity

Whisper.unity

Ini adalah ikatan Unity3D untuk Whisper.cpp. Ini memberikan inferensi kinerja tinggi dari model Openai Whisper Automatic Ecanan (ASR) yang berjalan di mesin lokal Anda.

Repositori ini dilengkapi dengan bobot model "GGML-Tiny.Bin". Ini adalah versi whisper versi terkecil dan tercepat, tetapi memiliki kualitas yang lebih buruk dibandingkan dengan model lain. Jika Anda menginginkan kualitas yang lebih baik, lihat bobot model lain.

Fitur Utama:

• Multibahasa, mendukung sekitar 60 bahasa
• Dapat menerjemahkan satu bahasa ke bahasa lain (misalnya pidato Jerman ke teks bahasa Inggris)
• Ukuran model yang berbeda menawarkan kecepatan dan akurasi pengorbanan
• Berjalan di perangkat pengguna lokal tanpa koneksi internet
• Sumber gratis dan terbuka, dapat digunakan dalam proyek komersial

Platform yang Didukung:

• Windows (x86_64, cuda opsional)
• MacOS (intel dan lengan, logam opsional)
• Linux (x86_64, cuda opsional)
• iOS (perangkat dan simulator)
• Android (ARM64)
• WebGL (lihat masalah ini)
• Visionos

Sampel

multilang.mp4

model "Whisper-small.bin" yang diuji dalam bahasa Inggris, Jerman dan Rusia dari mikrofon

Tiny.mp4

Model "Whisper-Tiny.bin", 50x lebih cepat dari realtime di MacBook dengan M1 Pro

Memulai

Kloning repositori ini dan buka sebagai proyek Unity reguler. Muncul dengan contoh dan bobot model multilanguage kecil.

Atau Anda dapat menambahkan repositori ini ke proyek Anda sebagai paket Unity . Tambahkan dengan url git ini ke manajer paket persatuan Anda:

 https://github.com/Macoron/whisper.unity.git?path=/Packages/com.whisper.unity

Dukungan Cuda

Proyek Unity yang dikompilasi dengan CUDA yang diaktifkan mengharapkan pengguna akhir Anda memiliki perpustakaan NVIDIA GPU dan CUDA. Mencoba menjalankan build tanpa itu akan terjadi kesalahan.

Untuk menjalankan inferensi dengan CUDA, Anda harus mendukung GPU dan menginstal CUDA Toolkit (diuji dengan 12.2.0).

Setelah itu pergi ke pengaturan proyek => Whisper => Aktifkan CUDA . Ini harus memaksa paket untuk menggunakan perpustakaan yang dikompilasi untuk CUDA.

Dukungan logam

Whisper.cpp mendukung logam hanya pada keluarga Apple7 GPU atau yang lebih baru (mulai dari chip Apple M1). Mencoba menjalankan perangkat keras yang lebih lama akan mundur ke inferensi CPU.

Untuk mengaktifkan inferensi logam, buka pengaturan proyek => Whisper => Aktifkan logam . Ini harus memaksa paket untuk menggunakan pustaka yang dikompilasi untuk logam.

Mengunduh bobot model lainnya

Anda dapat mencoba bobot model bisikan yang berbeda. Misalnya, Anda dapat meningkatkan transkripsi bahasa Inggris dengan menggunakan bobot khusus bahasa Inggris atau dengan mencoba model yang lebih besar.

Anda dapat mengunduh bobot model dari sini. Masukkan saja ke folder StreamingAssets Anda.

Untuk informasi lebih lanjut tentang perbedaan model dan format baca whisper.cpp readme dan readme openai.

Mengkompilasi Perpustakaan C ++ dari Sumber

Proyek ini dilengkapi dengan perpustakaan Prebuild dari Whisper.cpp untuk semua platform yang didukung. Anda dapat membangunnya kembali dari sumber menggunakan tindakan GitHub. Untuk melakukan itu membuat garpu repo ini dan masuk ke Actions => Build C++ => Run workflow . Setelah pipa selesai, unduh perpustakaan yang dikompilasi di tab Artifacts.

Jika Anda ingin membangun perpustakaan di mesin Anda:

1. Klon Repositori Whisper.cpp asli
2. Checkout Tag v1.5.5. Versi lain mungkin tidak bekerja dengan ikatan persatuan ini.
3. Buka Folder Whisper.unity dengan baris perintah
4. Jika Anda menggunakan windows write:

. b uild_cpp.bat cpu path t o w hisper

5. Jika Anda menggunakan macOS , tulis:

sh build_cpp.sh path/to/whisper all path/to/ndk/android.toolchain.cmake

6. Jika Anda menggunakan Linux Write

sh build_cpp_linux.sh path/to/whisper cpu

7. Jika Build berhasil, pustaka yang dikompilasi harus secara otomatis memperbarui folder Plugins Paket.

Windows hanya akan menghasilkan pustaka Windows, Linux hanya akan menghasilkan Linux. MacOS akan menghasilkan macOS, iOS dan perpustakaan Android.

MacOS Build Script diuji pada Mac dengan prosesor ARM. Untuk prosesor Intel, Anda mungkin perlu mengubah beberapa parameter.

Lisensi

Proyek ini dilisensikan di bawah lisensi MIT.

Ini menggunakan pustaka yang dikompilasi dan model berat Whisper.cpp yang berada di bawah lisensi MIT.

Kode dan bobot wisper OpenAi asli juga berada di bawah lisensi MIT.