bark voice cloning HuBERT quantizer

껍질 음성 복제

읽어주세요

이 코드는 Python 3.10에서 작동합니다. 다른 버전에서는 테스트하지 않았습니다. 일부 이전 버전에는 문제가 있습니다.

고품질의 껍질로 음성 복제?

지금 가능합니다.

examples_biden_example.mov

목소리를 어떻게 복제합니까?

개발자 :

• Huggingface 모델 페이지의 코드 예제

모두를 위해 :

• 껍질과 음성 복제가있는 오디오 웨보
• 온라인 포옹 페이스 음성 복제 공간
• 대화식 파이썬 노트

복제 된 목소리는 그다지 설득력이 없습니다. 왜 다른 사람들의 복제 된 목소리가 내 것보다 낫습니까?

이러한 것들이 당신의 음성 입력에 있지 않은지 확인하십시오 : (특별한 순서없이)

• 노이즈 (이전에 노이즈 리무버를 사용할 수 있음)
• 음악 (음악 리무버 도구도 있습니다) (백그라운드에서 음악을 원하지 않는 한)
• 마지막에 컷오프 (이것은 세대를 계속 시도하고 계속 할 것입니다)
• 1 초 미만의 교육 데이터 (나는 개인적으로 약 10 초 동안 좋은 잠재력을 제안하지만 5 초 동안 좋은 결과를 얻었습니다.)

좋은 프롬프트 오디오를 만드는 것은 무엇입니까? (특별한 순서없이)

• 분명히 말하면
• 이상한 배경 소음이 없습니다
• 하나의 스피커 만
• 문장이 끝난 후에 끝나는 오디오
• 일반/일반적인 목소리 (일반적으로 더 많은 성공을 거두고 여전히 복잡한 목소리를 복제 할 수는 있지만 잘하지는 않습니다).
• 약 10 초의 데이터

사전 예방 모델

공식적인

이름	허버트 모델	Quantizer 버전	시대	언어	데이터 세트
Quantifier_hubert_base_ls960.pth	허버트 기지	0	3	잉그	gitmylo/껍질-미용 훈련
Quantifier_hubert_base_ls960_14.pth	허버트 기지	0	14	잉그	gitmylo/껍질-미용 훈련
Quantifier_V1_HUBERT_BASE_LS960_23.pth	허버트 기지	1	23	잉그	gitmylo/껍질-미용 훈련

지역 사회

작가	이름	허버트 모델	Quantizer 버전	시대	언어	데이터 세트
Hobispl	Polish-Hubert-Quantizer_8_epoch.pth	허버트 기지	1	8	폴	호비스/껍질-폴란드-미용-웨이브 훈련
C0untfloyd	German-Hubert-Quantizer_14_epoch.pth	허버트 기지	1	14	게르	Countfloyd/Bark-German-Semantic-Wav-Training

개발자 : 껍질 프로젝트에서 음성 복제를 구현합니다

• 이 디렉토리에서 파일을 프로젝트에 복사하기 만하면됩니다.
• Hubert Manager에는 Hubert와 Custom Quantizer 모델을 다운로드하는 방법이 포함되어 있습니다.
• CustomHubert를로드하는 것은 매우 간단해야합니다
• 노트북에는 CUDA 또는 CPU에서 사용할 코드가 포함되어 있습니다. CPU 대신.

 from hubert . pre_kmeans_hubert import CustomHubert
import torchaudio

# Load the HuBERT model,
# checkpoint_path should work fine with data/models/hubert/hubert.pt for the default config
hubert_model = CustomHubert ( checkpoint_path = 'path/to/checkpoint' )

# Run the model to extract semantic features from an audio file, where wav is your audio file
wav , sr = torchaudio . load ( 'path/to/wav' ) # This is where you load your wav, with soundfile or torchaudio for example

if wav . shape [ 0 ] == 2 :  # Stereo to mono if needed
    wav = wav . mean ( 0 , keepdim = True )

semantic_vectors = hubert_model . forward ( wav , input_sample_hz = sr )

• 커스텀 kmeans를로드하고 실행합니다

 import torch
from hubert . customtokenizer import CustomTokenizer

# Load the CustomTokenizer model from a checkpoint
# With default config, you can use the pretrained model from huggingface
# With the default setup from HuBERTManager, this will be in data/models/hubert/tokenizer.pth
tokenizer = CustomTokenizer . load_from_checkpoint ( 'data/models/hubert/tokenizer.pth' )  # Automatically uses the right layers

# Process the semantic vectors from the previous HuBERT run (This works in batches, so you can send the entire HuBERT output)
semantic_tokens = tokenizer . get_token ( semantic_vectors )

# Congratulations! You now have semantic tokens which can be used inside of a speaker prompt file. 

직접 훈련하려면 어떻게해야합니까?

훈련 명령을 실행하십시오.

시맨틱 데이터와 훈련을위한 WAV를 만드는 간단한 방법은 내 대본 인 Bark-Data-Gen입니다. 그러나 wavs의 창조는 의미론의 창조보다 길지 않으면 동시에 시간이 걸릴 것임을 기억하십시오. 그로 인해 생성하는 데 시간이 걸릴 수 있습니다.

예를 들어, 오디오 파일이 포함 된 ZIP가있는 데이터 세트가있는 경우, 의미를위한 ZIP 및 WAV 파일 용 Zip이 있습니다. "문학"이라는 폴더 내부

process.py --path Literature --mode prepare 해야합니다.

process.py --path Literature --mode prepare2

process.py --path Literature --mode train 실행해야합니다.

모델이 충분히 교육을 받으면 process.py --path Literature --mode test 실행할 수 있습니다.

부인 성명

이 모델에서 만든 의미론을 사용하여 생성 된 오디오에 대해 책임을지지 않습니다. 불법적 인 목적으로 사용하지 마십시오.