tortoise.cpp

tortoise.cpp: GGML Реализация черепахи Tortoise (поддержка разработки здесь!)

Загрузка

клонировать репозиторий со следующей командой

 git clone --recursive https://github.com/balisujohn/tortoise.cpp.git

Компиляция

На данный момент только CUDA и CPU. Для компиляции:

Компиляция для процессора (работает на Linux x86 и Mac Arm)

 mkdir build
cd build
cmake .. 
make

Это тестируется с помощью Mac OS ARM

Скомпилируйте для CUDA

 mkdir build
cd build
cmake .. -DGGML_CUBLAS=ON
make

Это проверяется с Ubuntu 22.04 и Cuda 12.0 и 1070TI

Скомпилируйте для Mac OS с металлом (работа в процессе)

 mkdir build
cd build
cmake .. -DGGML_METAL=ON
make

Бег

Только строчные буквы, пространства и пунктуация поддерживаются в приглашении.

Вам нужно будет разместить ggml-model.bin , ggml-vocoder-model.bin и ggml-diffusion-model.bin в каталоге моделей для запуска tortoise.cpp. Вы можете скачать их здесь https://huggingface.co/balisujohn/tortoise-ggml. Я выпущу сценарии для генерации этих файлов из Tortoise-TTS.

Из каталога сборки беги:

 ./tortoise

Вот пример, который должен работать из коробки:

 ./tortoise --message "based... dr freeman?" --voice "../models/mouse.bin" --seed 0 --output "based?.wav"

Все аргументы командной строки необязательны:

 arguments:
  --message           Specifies the message to generate, lowercase letters, spaces, and punctuation only. (default: "this is a test message." )
  --voice             Specifies the path to the voice file to use to determine the speaker's voice.  (default: "../models/mol.bin" )
  --output            Specifies the path where the generated wav file will be saved.                 (default: "./output.wav")
  --seed              Specifies the seed for psuedorandom number generation, used in autoregressive sampling and diffusion sampling (default: system time seed)

Как добавить голоса

Установите оригинальный Tortoise-TTS, затем запустите его любым голосом, который у вас есть, затем после этой строки: https://github.com/neonbjb/tortoise-tts/blob/e2d9fba0bb5c4376d0d142efea47a448f97c4d90/tortoise/api.py#l401

Добавьте этот код:

 numpy_array = auto_conditioning.to("cpu").numpy().astype(np.float32)  # Ensure float32 for binary format

# Define the file path
file_path = 'auto_conditioning.bin'

# Save NumPy array as binary file
numpy_array.tofile(file_path)

print("saved auto conditioning")
exit()

Затем вы можете переименовать auto_conditioning.bin на имя динамика и поместить файл в папку ваших моделей, чтобы использовать его, как любой другой голос. Это работает с клоном голосов с tortoise-tts .

Внося

Если вы хотите внести свой вклад, пожалуйста, задайте проблему, над которой вы хотите работать. DM в Twitter, если вы хотите, чтобы ссылка присоединилась к Dev Discord, или если у вас есть вопросы. Я рад помочь людям начать работу!

Я также делаю доступную вилку Tortoise-TTS, которая имеет мои аннотации обратного инжиниринга, а также экспортный сценарий для авторегрессивной модели.

Лицензия

Это выпущено с лицензией MIT.

MIT Лицензия

Авторские права (C) 2024 Джон Балис

Настоящим дается разрешение, бесплатно, любому лицу, получающему копию этого программного обеспечения и связанные с ними файлы документации («Программное обеспечение»), чтобы иметь дело в программном обеспечении без ограничений, включая, без ограничения, права на использование, копирование, изменение, объединение, публикацию, распределение, сублиценность и/или продавать копии программного обеспечения и разрешения лиц, на которые программное обеспечение подходит для того, чтобы поступить так, чтобы поступить на следующие условия: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: на следующие условия: к следующим условиям: на следующие условия: на следующие условия.

Вышеуказанное уведомление об авторском праве и это уведомление о разрешении должно быть включено во все копии или существенные части программного обеспечения.

Программное обеспечение предоставляется «как есть», без гарантии любого рода, явного или подразумеваемого, включая, помимо прочего, гарантии товарной пригодности, пригодности для определенной цели и несоответствия. Ни в коем случае авторы или владельцы авторских прав не будут нести ответственность за любые претензии, убытки или другую ответственность, будь то в действии контракта, деликт или иным образом, возникающие из или в связи с программным обеспечением или использованием или другими сделками в программном обеспечении.

Получен из черепахи и GGML.

Tortoise-TTS:

Apache 2.0 Лицензия Джеймс Беткер https://github.com/neonbjb/tortoise-tts/blob/main/license

GGML

MIT Лицензия

Copyright (C) 2022 Georgi Gerganov

Настоящим дается разрешение, бесплатно, любому лицу, получающему копию этого программного обеспечения и связанные с ними файлы документации («Программное обеспечение»), чтобы иметь дело в программном обеспечении без ограничений, включая, без ограничения, права на использование, копирование, изменение, объединение, публикацию, распределение, сублиценность и/или продавать копии программного обеспечения и разрешения лиц, на которые программное обеспечение подходит для того, чтобы поступить так, чтобы поступить на следующие условия: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: к следующим условиям: на следующие условия: к следующим условиям: на следующие условия: на следующие условия.

Вышеуказанное уведомление об авторском праве и это уведомление о разрешении должно быть включено во все копии или существенные части программного обеспечения.

Программное обеспечение предоставляется «как есть», без гарантии любого рода, явного или подразумеваемого, включая, помимо прочего, гарантии товарной пригодности, пригодности для определенной цели и несоответствия. Ни в коем случае авторы или владельцы авторских прав не будут нести ответственность за любые претензии, убытки или другую ответственность, будь то в действии контракта, деликт или иным образом, возникающие из или в связи с программным обеспечением или использованием или другими сделками в программном обеспечении.