openai whisper realtime

Openai Whisper en temps réel

Il s'agit d'une expérience rapide pour obtenir une transcription presque en temps réel en utilisant Whisper.

Comment utiliser

Installez les exigences:

 pip install -r requirements.txt

Exécutez le script:

 python openai-whisper-realtime.py

Dépendances:

• Python> 3.7
• chuchoter
• discipliner
• nombant
• asyncio

Un processeur ou un GPU très rapide est recommandé.

Comment ça marche

L'entrée audio par défaut des systèmes est capturée avec Python, divisée en petits morceaux et est ensuite alimentée à la fonction de transcription d'origine d'Openai. Il essaie (actuellement assez mal) de détecter les ruptures de mots et ne divise pas le tampon audio dans ces cas. Avec la façon dont le modèle est conçu, il n'a pas le plus de sens de le faire, mais j'ai trouvé que cela valait la peine d'essayer. Cela fonctionne bien.

Faire:

• Améliorer les performances de la transcription
• Améliorer la détection des pauses de mots ou des pauses, diviser le tampon dynamiquement
• Refactorisation
• Nettoyer Stdout