openai whisper realtime

OpenIl Whisper em tempo real

Este é um experimento rápido para obter uma transcrição quase em tempo real usando o Whisper.

Como usar

Instale os requisitos:

 pip install -r requirements.txt

Execute o script:

 python openai-whisper-realtime.py

Dependências:

• Python> 3.7
• sussurrar
• SoundDevice
• Numpy
• Asyncio

Recomenda -se uma CPU ou GPU muito rápida.

Como funciona

A entrada de áudio padrão dos sistemas é capturada com Python, dividida em pequenos pedaços e depois é alimentada à função de transcrição original do OpenAI. Ele tenta (atualmente bastante mal) detectar quebras de palavras e não divide o buffer de áudio nesses casos. Com como o modelo é projetado, não faz mais sentido fazer isso, mas achei que valeria a pena tentar. Funciona aceitavelmente bem.

Pendência:

• Melhorar o desempenho da transcrição
• Melhorar a detecção de quebras de palavras ou pausas, divida o buffer dinamicamente
• Refatorando
• Limpe o stdout