tortoise.cpp

Tortoise.cpp: Implementasi GGML dari TTS-TTS (pengembangan dukungan di sini!)

Mengunduh

Kloning repositori dengan perintah berikut

 git clone --recursive https://github.com/balisujohn/tortoise.cpp.git

Menyusun

Untuk saat ini, CUDA dan CPU saja. Untuk mengkompilasi:

Kompilasi untuk CPU (Bekerja di Linux X86 dan Mac Arm)

 mkdir build
cd build
cmake .. 
make

Ini diuji dengan lengan mac os

Kompilasi untuk CUDA

 mkdir build
cd build
cmake .. -DGGML_CUBLAS=ON
make

Ini diuji dengan Ubuntu 22.04 dan Cuda 12.0 dan 1070ti

Kompilasi untuk Mac OS dengan logam (pekerjaan dalam proses)

 mkdir build
cd build
cmake .. -DGGML_METAL=ON
make

Berlari

Hanya huruf kecil, ruang, dan tanda baca yang didukung di prompt.

Anda perlu menempatkan ggml-model.bin , ggml-vocoder-model.bin dan ggml-diffusion-model.bin di direktori Model untuk menjalankan Tortoise.cpp. Anda dapat mengunduhnya di sini https://huggingface.co/BalisUjohn/Tortoise-ggml. Saya akan merilis skrip untuk menghasilkan file-file ini dari Tortoise-TTS.

Dari direktori build, jalankan:

 ./tortoise

Berikut adalah contoh yang seharusnya berhasil di luar kotak:

 ./tortoise --message "based... dr freeman?" --voice "../models/mouse.bin" --seed 0 --output "based?.wav"

Semua argumen baris perintah opsional:

 arguments:
  --message           Specifies the message to generate, lowercase letters, spaces, and punctuation only. (default: "this is a test message." )
  --voice             Specifies the path to the voice file to use to determine the speaker's voice.  (default: "../models/mol.bin" )
  --output            Specifies the path where the generated wav file will be saved.                 (default: "./output.wav")
  --seed              Specifies the seed for psuedorandom number generation, used in autoregressive sampling and diffusion sampling (default: system time seed)

Cara Menambahkan Suara

set up the original tortoise-tts, then run it with whatever voice you have, then after this line: https://github.com/neonbjb/tortoise-tts/blob/e2d9fba0bb5c4376d0d142efea47a448f97c4d90/tortoise/api.py#L401

Tambahkan kode ini:

 numpy_array = auto_conditioning.to("cpu").numpy().astype(np.float32)  # Ensure float32 for binary format

# Define the file path
file_path = 'auto_conditioning.bin'

# Save NumPy array as binary file
numpy_array.tofile(file_path)

print("saved auto conditioning")
exit()

Kemudian Anda dapat mengganti nama auto_conditioning.bin ke nama speaker dan memasukkan file di folder model Anda untuk menggunakannya seperti suara lainnya. Ini bekerja dengan suara-suara yang dikloning dengan tortoise-tts .

Berkontribusi

Jika Anda ingin berkontribusi, silakan buat masalah yang menyatakan apa yang ingin Anda kerjakan. DM saya di Twitter jika Anda ingin tautan untuk bergabung dengan Dev Discord, atau jika Anda memiliki pertanyaan. Saya senang membantu orang memulai dengan berkontribusi!

Saya juga menyediakan garpu kura-kura-TTS yang memiliki anotasi rekayasa terbalik, dan juga skrip ekspor untuk model autoregresif.

Lisensi

Ini dirilis dengan lisensi MIT.

Lisensi MIT

Hak Cipta (C) 2024 John Balis

Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions:

Pemberitahuan hak cipta di atas dan pemberitahuan izin ini harus dimasukkan dalam semua salinan atau bagian substansial dari perangkat lunak.

Perangkat lunak ini disediakan "sebagaimana adanya", tanpa jaminan apa pun, tersurat maupun tersirat, termasuk tetapi tidak terbatas pada jaminan dapat diperjualbelikan, kebugaran untuk tujuan tertentu dan nonpringement. Dalam hal apa pun penulis atau pemegang hak cipta tidak akan bertanggung jawab atas klaim, kerusakan atau tanggung jawab lainnya, baik dalam tindakan kontrak, gugatan atau sebaliknya, timbul dari, di luar atau sehubungan dengan perangkat lunak atau penggunaan atau transaksi lain dalam perangkat lunak.

Berasal dari Tortoise-TTS dan GGML.

Tortoise-tts:

Apache 2.0 Lisensi James Betker https://github.com/neonbjb/Tortoise-tts/blob/main/license

GGML

Lisensi MIT

Hak Cipta (C) 2022 Georgi Gerganov

Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions:

Pemberitahuan hak cipta di atas dan pemberitahuan izin ini harus dimasukkan dalam semua salinan atau bagian substansial dari perangkat lunak.

Perangkat lunak ini disediakan "sebagaimana adanya", tanpa jaminan apa pun, tersurat maupun tersirat, termasuk tetapi tidak terbatas pada jaminan dapat diperjualbelikan, kebugaran untuk tujuan tertentu dan nonpringement. Dalam hal apa pun penulis atau pemegang hak cipta tidak akan bertanggung jawab atas klaim, kerusakan atau tanggung jawab lainnya, baik dalam tindakan kontrak, gugatan atau sebaliknya, timbul dari, di luar atau sehubungan dengan perangkat lunak atau penggunaan atau transaksi lain dalam perangkat lunak.