whisper playground

속삭임 놀이터

더 빠른-whisper, diart 및 pyannote를 사용하여 99 개 언어로 실시간 Speech2Text 앱을 즉시 구축하십시오.

온라인 데모를 통해 시도하십시오

Playground.demo.mp4

설정

1. 장치에 Conda 와 Yarn 두십시오
2. 이 저장소를 복제하거나 포크하십시오
3. 백엔드 및 프론트 엔드 환경을 설치하십시오 sh install_playground.sh
4. Config.py를 검토하여 전사 장치와 컴퓨팅 유형이 설정과 일치하는지 확인하십시오. config.js를 검토하여 백엔드 구성과 백엔드 주소가 올바른지 확인하십시오.
5. 백엔드 cd backend && python server.py 실행하십시오
6. 다른 터미널에서 React Frontend cd interface && yarn start

Pyannote 모델에 대한 액세스

이 저장소는 Hugging Face Hub에 저장된 Pyannote.audio 모델을 기반으로하는 라이브러리를 사용합니다. 사용하기 전에 이용 약관을 수락해야합니다. 참고 : Pyannote를 사용하려면 포옹 얼굴 계정이 있어야합니다.

1. pyannote/segmentation 모델에 대한 용어를 허용합니다
2. pyannote/embedding 모델에 대한 용어를 수락하십시오
3. pyannote/speaker-diarization 모델에 대한 용어를 수락하십시오
4. Huggingface -Cli를 설치하고 사용자 액세스 토큰으로 로그인합니다 (설정 -> 액세스 토큰에서 찾을 수 있음)

매개 변수

• 모델 크기 : 작은 V2까지 모델 크기를 선택하십시오.
• 언어 : 말할 언어를 선택하십시오.
• 전사 시간 초과 : 현재 오디오 데이터를 전사하기 전에 응용 프로그램이 기다리는 초 수를 설정합니다.
• 빔 크기 : 생성 및 고려 된 전사 수를 조정하여 정확도 및 전사 생성 시간에 영향을 미칩니다.
• 전사 방법 : 실시간 발기 및 전사를 위해 "실시간"을 선택하거나, 더 많은 컨텍스트를 가진주기적인 전사를 위해 "순차적"을 선택하십시오.

문제 해결

• MACOS에서 SAFETENSORS 용 휠을 구축하면 Rust brew install rust 설치하고 다시 시도하십시오.

알려진 버그

1. 순차적 인 모드에서는 통제되지 않은 스피커 스왑이있을 수 있습니다.
2. 실시간 모드에서는 전사 시간 초과를 충족하지 않는 오디오 데이터가 전사되지 않습니다.

이 저장소는 모든 언어에 대해 테스트되지 않았습니다. 문제가 발생하면 문제를 만드십시오.

특허

이 저장소와 Whisper의 코드 및 모델 가중치는 MIT 라이센스에 따라 해제됩니다.