openai whisper realtime

Openai Whisper Realtime

Это быстрый эксперимент для достижения почти транскрипции в реальном времени, используя Whisper.

Как использовать

Установите требования:

 pip install -r requirements.txt

Запустите сценарий:

 python openai-whisper-realtime.py

Зависимости:

• Python> 3.7
• шепот
• SoundDevice
• Numpy
• асинсио

Рекомендуется очень быстрый процессор или графический процессор.

Как это работает

Аудио вход Systems по умолчанию фиксируется с помощью Python, разделяется на небольшие куски, а затем подается на исходную функцию транскрипции Openai. Он пытается (в настоящее время довольно плохо) для обнаружения слов разрывов и не разделяет аудио буфер в этих случаях. С тем, как модель разработана, она не имеет смысла это делать, но я обнаружил, что это стоит попробовать. Это работает приемлемо хорошо.

Тодо:

• Улучшить производительность транскрипции
• Улучшить обнаружение слов или пауза, динамически расщеплять буфер
• Рефакторинг
• Чистый Stdout