bark.cpp

bark.cpp

Roadmap / encodec.cpp / ggml

Kesimpulan model kulit kayu Sunoai dalam C/C ++ murni.

Keterangan

Dengan bark.cpp , tujuan kami adalah untuk membawa generasi teks-ke-ucapan multibahasa realistis realistis ke masyarakat.

• Implementasi C/C ++ biasa tanpa dependensi
• AVX, AVX2 dan AVX512 untuk arsitektur x86
• CPU dan GPU Backends yang kompatibel
• Presisi F16 / F32 campuran
• Kuantisasi integer 4-bit, 5-bit dan 8-bit
• Backends logam dan cuda

Model didukung

• Bark Small
• Bark Besar

Model yang ingin kami terapkan! Harap buka PR :)

• Audiocraft (#62)
• AudiOldM2 (#82)
• Piper (#135)

Demo di Google Colab (#95)

---

Berikut ini adalah menjalankan khas menggunakan bark.cpp :

./ main - p "This is an audio generated by bark.cpp"

   __               __
   / / _  ____ ______ / / __        _________  ____
  / __ / __ `/ ___ / //_/       / ___/ __ / __ 
 / / _ / / / _ / / /  / ,<    _    / / __ / / _ / / / _ / /
/ _ . ___ /__,_/ _ /  / _ /| _ |  ( _ )    ___ / . ___ / . ___ /
                                  / _ /   / _ /

bark_tokenize_input : prompt : 'This is an audio generated by bark.cpp'
bark_tokenize_input : number of tokens in prompt = 513 , first 8 tokens : 20795 20172 20199 33733 58966 20203 28169 20222

Generating semantic tokens : 17 %

bark_print_statistics :   sample time =    10.98 ms / 138 tokens
bark_print_statistics :  predict time =   614.96 ms / 4.46 ms per token
bark_print_statistics :    total time =   633.54 ms

Generating coarse tokens : 100 %

bark_print_statistics :   sample time =     3.75 ms / 410 tokens
bark_print_statistics :  predict time =  3263.17 ms / 7.96 ms per token
bark_print_statistics :    total time =  3274.00 ms

Generating fine tokens : 100 %

bark_print_statistics :   sample time =    38.82 ms / 6144 tokens
bark_print_statistics :  predict time =  4729.86 ms / 0.77 ms per token
bark_print_statistics :    total time =  4772.92 ms

write_wav_on_disk : Number of frames written = 65600.

main :     load time =   324.14 ms
main :     eval time =  8806.57 ms
main :    total time =  9131.68 ms

Berikut adalah video kulit kayu yang berjalan di iPhone:

ouput.mp4

Penggunaan

Berikut adalah langkah -langkah untuk menggunakan bark.cpp

Dapatkan kodenya

git clone --recursive https://github.com/PABannier/bark.cpp.git
cd bark.cpp
git submodule update --init --recursive

Membangun

Untuk membangun kulit kayu.cpp Anda harus menggunakan CMake :

mkdir build
cd build
# To enable nvidia gpu, use the following option
# cmake -DGGML_CUBLAS=ON ..
cmake ..
cmake --build . --config Release

Siapkan Data & Jalankan

 # Install Python dependencies
python3 -m pip install -r requirements.txt

# Download the Bark checkpoints and vocabulary
python3 download_weights.py --out-dir ./models --models bark-small bark

# Convert the model to ggml format
python3 convert.py --dir-model ./models/bark-small --use-f16

# run the inference
./build/examples/main/main -m ./models/bark-small/ggml_weights.bin -p " this is an audio generated by bark.cpp " -t 4

(Opsional) Mengukur bobot

Bobot dapat dikuantisasi menggunakan strategi berikut: q4_0 , q4_1 , q5_0 , q5_1 , q8_0 .

Perhatikan bahwa untuk menjaga kualitas audio, kami tidak mengukur model codec. Sebagian besar perhitungan berada di lulus depan model GPT.

./build/examples/quantize/quantize ./ggml_weights.bin ./ggml_weights_q4.bin q4_0

Kertas mani

• Kulit pohon
  • Teks mendorong audio generatif
• Encodec
  • Kompresi audio saraf kesetiaan tinggi
• GPT-3
  • Model bahasa adalah beberapa pelajar shot

Berkontribusi

bark.cpp adalah upaya berkelanjutan yang bergantung pada upaya masyarakat untuk bertahan dan berkembang. Kontribusi Anda diterima dan sangat berharga. Itu bisa

• Laporan Bug: Anda dapat menemukan bug saat menggunakan bark.cpp . Jangan ragu untuk melaporkannya di bagian masalah.
• Permintaan fitur: Anda ingin menambahkan model baru atau mendukung platform baru. Anda dapat menggunakan bagian masalah ini untuk membuat saran.
• Permintaan Tarik: Anda mungkin telah memperbaiki bug, menambahkan fitur, atau bahkan memperbaiki kesalahan ketik kecil dalam dokumentasi, ... Anda dapat mengirimkan permintaan tarik dan peninjau akan menjangkau Anda.

Pedoman pengkodean

• Hindari menambahkan dependensi pihak ketiga, file tambahan, header tambahan, dll.
• Selalu pertimbangkan kompatibilitas silang dengan sistem operasi dan arsitektur lainnya