bark.cpp
v1.0.0
خريطة الطريق / encodec.cpp / ggml
استنتاج نموذج لحاء Sunoai في C/C ++ النقي.
مع bark.cpp ، هدفنا هو جلب توليد واقعية متعددة اللغات في الوقت الفعلي إلى المجتمع.
نماذج مدعومة
النماذج التي نريد تنفيذها! الرجاء فتح العلاقات العامة :)
العرض التوضيحي على Google Colab (#95)
فيما يلي تشغيل نموذجي باستخدام bark.cpp :
./ main - p "This is an audio generated by bark.cpp"
__ __
/ / _ ____ ______ / / __ _________ ____
/ __ / __ `/ ___ / //_/ / ___/ __ / __
/ / _ / / / _ / / / / ,< _ / / __ / / _ / / / _ / /
/ _ . ___ /__,_/ _ / / _ /| _ | ( _ ) ___ / . ___ / . ___ /
/ _ / / _ /
bark_tokenize_input : prompt : 'This is an audio generated by bark.cpp'
bark_tokenize_input : number of tokens in prompt = 513 , first 8 tokens : 20795 20172 20199 33733 58966 20203 28169 20222
Generating semantic tokens : 17 %
bark_print_statistics : sample time = 10.98 ms / 138 tokens
bark_print_statistics : predict time = 614.96 ms / 4.46 ms per token
bark_print_statistics : total time = 633.54 ms
Generating coarse tokens : 100 %
bark_print_statistics : sample time = 3.75 ms / 410 tokens
bark_print_statistics : predict time = 3263.17 ms / 7.96 ms per token
bark_print_statistics : total time = 3274.00 ms
Generating fine tokens : 100 %
bark_print_statistics : sample time = 38.82 ms / 6144 tokens
bark_print_statistics : predict time = 4729.86 ms / 0.77 ms per token
bark_print_statistics : total time = 4772.92 ms
write_wav_on_disk : Number of frames written = 65600.
main : load time = 324.14 ms
main : eval time = 8806.57 ms
main : total time = 9131.68 msإليك مقطع فيديو من اللحاء يعمل على iPhone:
فيما يلي الخطوات لاستخدام bark.cpp
git clone --recursive https://github.com/PABannier/bark.cpp.git
cd bark.cpp
git submodule update --init --recursive من أجل إنشاء bark.cpp يجب عليك استخدام CMake :
mkdir build
cd build
# To enable nvidia gpu, use the following option
# cmake -DGGML_CUBLAS=ON ..
cmake ..
cmake --build . --config Release # Install Python dependencies
python3 -m pip install -r requirements.txt
# Download the Bark checkpoints and vocabulary
python3 download_weights.py --out-dir ./models --models bark-small bark
# Convert the model to ggml format
python3 convert.py --dir-model ./models/bark-small --use-f16
# run the inference
./build/examples/main/main -m ./models/bark-small/ggml_weights.bin -p " this is an audio generated by bark.cpp " -t 4 يمكن تقدير الأوزان باستخدام الإستراتيجية التالية: q4_0 ، q4_1 ، q5_0 ، q5_1 ، q8_0 .
لاحظ أنه للحفاظ على جودة الصوت ، فإننا لا نقوم بتكليف نموذج الترميز. الجزء الأكبر من الحساب في التمريرة الأمامية لنماذج GPT.
./build/examples/quantize/quantize ./ggml_weights.bin ./ggml_weights_q4.bin q4_0 bark.cpp هو مسعى مستمر يعتمد على جهود المجتمع لتستمر وتطور. مساهمتك مرحب بها وقيمة للغاية. يمكن أن يكون
bark.cpp . لا تتردد في الإبلاغ عنها في قسم الإصدار.
