bark.cpp

bark.cpp

路線圖 / codec.cpp / ggml

純C/C ++的Sunoai樹皮模型的推斷。

描述

借助bark.cpp ，我們的目標是將實時現實的多語言文本到語音發電帶給社區。

• 普通的C/C ++實施無依賴關係
• X86架構的AVX，AVX2和AVX512
• CPU和GPU兼容的後端
• 混合F16 / F32精度
• 4位，5位和8位整數量化
• 金屬和庫達後端

支持模型

• 樹皮小
• 樹皮大

我們要實施的模型！請打開公關:)

• 聽力（＃62）
• AudiOldM2（＃82）
• 吹笛者（＃135）

Google Colab上的演示（＃95）

---

這是使用bark.cpp的典型運行：

./ main - p "This is an audio generated by bark.cpp"

   __               __
   / / _  ____ ______ / / __        _________  ____
  / __ / __ `/ ___ / //_/       / ___/ __ / __ 
 / / _ / / / _ / / /  / ,<    _    / / __ / / _ / / / _ / /
/ _ . ___ /__,_/ _ /  / _ /| _ |  ( _ )    ___ / . ___ / . ___ /
                                  / _ /   / _ /

bark_tokenize_input : prompt : 'This is an audio generated by bark.cpp'
bark_tokenize_input : number of tokens in prompt = 513 , first 8 tokens : 20795 20172 20199 33733 58966 20203 28169 20222

Generating semantic tokens : 17 %

bark_print_statistics :   sample time =    10.98 ms / 138 tokens
bark_print_statistics :  predict time =   614.96 ms / 4.46 ms per token
bark_print_statistics :    total time =   633.54 ms

Generating coarse tokens : 100 %

bark_print_statistics :   sample time =     3.75 ms / 410 tokens
bark_print_statistics :  predict time =  3263.17 ms / 7.96 ms per token
bark_print_statistics :    total time =  3274.00 ms

Generating fine tokens : 100 %

bark_print_statistics :   sample time =    38.82 ms / 6144 tokens
bark_print_statistics :  predict time =  4729.86 ms / 0.77 ms per token
bark_print_statistics :    total time =  4772.92 ms

write_wav_on_disk : Number of frames written = 65600.

main :     load time =   324.14 ms
main :     eval time =  8806.57 ms
main :    total time =  9131.68 ms

這是iPhone上播種的樹皮的視頻：

OUPUT.MP4

用法

這是使用bark.cpp的步驟

獲取代碼

git clone --recursive https://github.com/PABannier/bark.cpp.git
cd bark.cpp
git submodule update --init --recursive

建造

為了構建bark.cpp，您必須使用CMake ：

mkdir build
cd build
# To enable nvidia gpu, use the following option
# cmake -DGGML_CUBLAS=ON ..
cmake ..
cmake --build . --config Release

準備數據並運行

 # Install Python dependencies
python3 -m pip install -r requirements.txt

# Download the Bark checkpoints and vocabulary
python3 download_weights.py --out-dir ./models --models bark-small bark

# Convert the model to ggml format
python3 convert.py --dir-model ./models/bark-small --use-f16

# run the inference
./build/examples/main/main -m ./models/bark-small/ggml_weights.bin -p " this is an audio generated by bark.cpp " -t 4

（可選）量化權重

可以使用以下策略對權重進行量化： q4_0 ， q4_1 ， q5_0 ， q5_1 ， q8_0 。

請注意，為了保持音頻質量，我們不量化編解碼器模型。該計算的大部分在GPT模型的正向中。

./build/examples/quantize/quantize ./ggml_weights.bin ./ggml_weights_q4.bin q4_0

開創性論文

• 吠
  • 文字提示了生成音頻
• Eccodec
  • 高保真神經音頻壓縮
• GPT-3
  • 語言模型是很少的學習者

貢獻

bark.cpp是一項持續的努力，依靠社區努力持續和發展。歡迎您的貢獻和非常有價值。可以

• 錯誤報告：使用bark.cpp時，您可能會遇到錯誤。不要猶豫，在問題部分上報告。
• 功能請求：您想添加新型號或支持新平台。您可以使用問題部分提出建議。
• 拉請求：您可能已經修復了一個錯誤，添加了功能，甚至修復了文檔中的小錯字，...您可以提交拉動請求，審閱者將與您聯繫。

編碼指南

• 避免添加第三方依賴項，額外的文件，額外的標頭等。
• 始終考慮與其他操作系統和架構的互相兼容