Aligner

텍스트 음성 연설 정렬 프로젝트

프로젝트 개요

이 프로젝트는 TTS 시스템의 품질과 효율성을 향상시키기위한 다양한 텍스트 음성 (TTS) 정렬 기술을 탐색하고 구현합니다. 우리의 작업은 여러 접근 방식에 걸쳐 있으며, 각각은 정렬 문제의 다른 측면을 다루고 있습니다.

프로젝트 구조

이 저장소는 3 개의 주요 지점으로 구성되며 각 지점은 TTS 정렬에 대한 뚜렷한 접근 방식을 나타냅니다.

1. MoBoAligner

   • 상태 : 참조 만 완료했습니다
   • 설명 : "Moboaligner : 단조 경계 검색을 가진 비유 로그가없는 TTS를위한 신경 정렬 모델의 비공식 구현"논문
   • 목적 : 학습 및 기준선 비교
   • 제한 : 최대 지속 시간 제약으로 인해 대규모 응용 프로그램에 적합하지 않습니다.

2. RoMoAligner

   • 상태 : 개발 중단
   • 설명 : Moboaligner와의 대략적인 정렬을 결합한 실험 개선 시도
   • 목적 : TTS 정렬에서 자기 감독 학습 기술을 탐색하십시오
   • 제한 : 성능 개선은 제한되었으며 기대치를 충족하지 못했습니다.

3. OTA ? 현재 초점

   • 상태 : 적극적인 계획 및 초기 개발
   • 설명 : 암시 적 일시 정지 모델링을위한 "하나의 TTS 정렬"(OTA) 방법
   • 목표 : 명백한 침묵 토큰에 의존하지 않고 암시 적 멈춤을 처리하기위한 솔루션 개발
   • 진행 상황 : 개념 개발 및 계획 단계

현재 초점

우리의 주요 초점은 OTA 지점에 있습니다. 여기서 우리는 특히 연설에서 암시 적 일시 중지를 처리하는 데있어서 개선 된 정렬을위한 OTA 방법을 조정하는 방법을 모색하고 있습니다.

이 저장소를 사용하는 방법

1. 특정 구현 세부 사항 및 진행 상황은 각 지점에서 확인하십시오.
2. 설정 및 사용 지침은 개별 지점 판독 값을 참조하십시오.
3. 최신 개발의 경우 OTA 지점에 집중하십시오.

기여

우리는 우리 지점에 기여를 환영합니다. 기여에 관심이 있다면 :

1. 관련 지점의 문제를 도와 드릴 수있는 작업을 확인하십시오.
2. 저장소를 포크하고 개선 사항으로 풀 요청을 작성하십시오.
3. 주요 변경 사항을 위해 먼저 문제를 열어 변경하고 싶은 것을 논의하십시오.

로드맵

• Moboaligner 구현 (비공식 구현)
• Romoaligner를 개발하고 테스트합니다
• 암시 적 일시 정지 모델링을 위해 OTA를 적응하고 구현하십시오
• 모든 방법에서 비교 연구를 수행합니다
• 가장 유망한 접근 방식을 개선하고 최적화하십시오

감사의 말

• 원래 Moboaligner 용지
• OTA 종이

우리는이 연구를 발전시키는 데있어 TTS와 언어 처리 커뮤니티의 지원과 관심에 감사드립니다.