bark voice cloning HuBERT quantizer

Clonage de voix d'écorce

Veuillez lire

Ce code fonctionne sur Python 3.10, je ne l'ai pas testé sur d'autres versions. Certaines versions plus anciennes auront des problèmes.

Clonage vocal avec l'écorce en haute qualité?

C'est possible maintenant.

Exemples_biden_example.mov

Comment puis-je cloner une voix?

Pour les développeurs:

• Exemples de code sur la page du modèle HuggingFace

Pour tout le monde:

• Audio-webui avec écorce et clonage vocal
• Espace de clonage vocal en ligne étreint en ligne
• cahier Python interactif

Les voix clonées ne sont pas très convaincantes, pourquoi les voix clonées des autres sont-elles meilleures que les miennes?

Assurez-vous que ces choses ne sont pas dans votre entrée vocale: (sans ordre particulier)

• Bruit (vous pouvez utiliser un dissolvant de bruit avant)
• Musique (il y a aussi des outils de dissolvant de la musique) (sauf si vous voulez de la musique en arrière-plan)
• Une coupure à la fin (cela le fera essayer de continuer sur la génération)
• Moins de 1 seconde des données de formation (je suggère personnellement environ 10 secondes pour un bon potentiel, mais j'ai également eu d'excellents résultats avec 5 secondes.)

Qu'est-ce qui fait un bon audio rapide? (sans ordre particulier)

• Clairement parlé
• Pas de bruits de fond étranges
• Un seul orateur
• Audio qui se termine après la fin d'une phrase
• Voix régulière / commune (ils ont généralement plus de succès, il est toujours capable de cloner des voix complexes, mais pas aussi bonnes)
• Environ 10 secondes de données

Modèles pré-entraînés

Officiel

Nom	Modèle Hubert	Version de quantification	Époque	Langue	Ensemble de données
quantifier_hubert_base_ls960.pth	Base de Hubert	0	3	Engin	Gitmylo / écorce-formation
Quantifier_Hubert_Base_LS960_14.pth	Base de Hubert	0	14	Engin	Gitmylo / écorce-formation
Quantifier_V1_HUBERT_BASE_LS960_23.PTH	Base de Hubert	1	23	Engin	Gitmylo / écorce-formation

Communauté

Auteur	Nom	Modèle Hubert	Version de quantification	Époque	Langue	Ensemble de données
Passe-temps	polonais-hubert-quantizer_8_epoch.pth	Base de Hubert	1	8	Pol	Hobis / Bark-Polish-Sémantique-Wav
C0untfloyd	allemand-hubert-quantizer_14_epoch.pth	Base de Hubert	1	14	Rotation	COUNTFLOYD / BARK-GERMAN-SEMANTIME-WAV-TRAIN

Pour les développeurs: mise en œuvre du clonage vocal dans vos projets d'écorce

• Copiez simplement les fichiers de ce répertoire dans votre projet.
• Le Hubert Manager contient des méthodes pour télécharger Hubert et le modèle de quantification personnalisé.
• Chargement du Customhubert devrait être assez simple
• Le cahier contient du code à utiliser sur CUDA ou CPU. Au lieu de simplement CPU.

 from hubert . pre_kmeans_hubert import CustomHubert
import torchaudio

# Load the HuBERT model,
# checkpoint_path should work fine with data/models/hubert/hubert.pt for the default config
hubert_model = CustomHubert ( checkpoint_path = 'path/to/checkpoint' )

# Run the model to extract semantic features from an audio file, where wav is your audio file
wav , sr = torchaudio . load ( 'path/to/wav' ) # This is where you load your wav, with soundfile or torchaudio for example

if wav . shape [ 0 ] == 2 :  # Stereo to mono if needed
    wav = wav . mean ( 0 , keepdim = True )

semantic_vectors = hubert_model . forward ( wav , input_sample_hz = sr )

• Chargement et exécution des Kmeans personnalisés

 import torch
from hubert . customtokenizer import CustomTokenizer

# Load the CustomTokenizer model from a checkpoint
# With default config, you can use the pretrained model from huggingface
# With the default setup from HuBERTManager, this will be in data/models/hubert/tokenizer.pth
tokenizer = CustomTokenizer . load_from_checkpoint ( 'data/models/hubert/tokenizer.pth' )  # Automatically uses the right layers

# Process the semantic vectors from the previous HuBERT run (This works in batches, so you can send the entire HuBERT output)
semantic_tokens = tokenizer . get_token ( semantic_vectors )

# Congratulations! You now have semantic tokens which can be used inside of a speaker prompt file. 

Comment puis-je le former moi-même?

Exécutez simplement les commandes de formation.

Un moyen simple de créer des données sémantiques et des vagues pour la formation est avec mon script: Bark-Data-Gen. Mais n'oubliez pas que la création des vagues prendra à peu près au même moment sinon plus que la création de la sémantique. Cela peut prendre un certain temps à générer à cause de cela.

Par exemple, si vous avez un ensemble de données avec des ZIP contenant des fichiers audio, un zip pour la sémantique et un pour les fichiers WAV. À l'intérieur d'un dossier appelé "littérature"

Vous devez exécuter process.py --path Literature --mode prepare -vous à extraire toutes les données à un répertoire

Vous devez exécuter process.py --path Literature --mode prepare2 pour créer des vecteurs Hubert Semantic, prêt pour la formation

Vous devriez exécuter process.py --path Literature --mode train pour la formation

Et lorsque votre modèle s'est suffisamment entraîné, vous pouvez exécuter process.py --path Literature --mode test pour tester le dernier modèle.

Clause de non-responsabilité

Je ne suis pas responsable de l'audio généré à l'aide de la sémantique créée par ce modèle. Ne l'utilisez pas à des fins illégales.