whisper_android

Reconnaissance de la parole hors ligne avec Openai Whisper et Tensorflow Lite

Ce guide explique comment intégrer la classe Whisper and Recorder dans les applications Android pour l'enregistrement audio et la reconnaissance vocale.

Guide d'intégration Whisper ASR

Voici des extraits de code séparés pour utiliser Whisper et Recorder :

Whisper (reconnaissance vocale)

Initialisation et configuration:

 // Initialize Whisper
Whisper mWhisper = new Whisper ( this ); // Create Whisper instance

// Load model and vocabulary for Whisper
String modelPath = getFilePath ( "whisper-tiny.tflite" ); // Provide model file path
String vocabPath = getFilePath ( "filters_vocab_multilingual.bin" ); // Provide vocabulary file path
mWhisper . loadModel ( modelPath , vocabPath , true ); // Load model and set multilingual mode

// Set a listener for Whisper to handle updates and results
mWhisper . setListener ( new IWhisperListener () {
    @ Override
    public void onUpdateReceived ( String message ) {
        // Handle Whisper status updates
    }

    @ Override
    public void onResultReceived ( String result ) {
        // Handle transcribed results
    }
});

Transcription:

 // Set the audio file path for transcription. Audio format should be in 16K, mono, 16bits
String waveFilePath = getFilePath ( "your_audio_file.wav" ); // Provide audio file path
mWhisper . setFilePath ( waveFilePath ); // Set audio file path

// Start transcription
mWhisper . setAction ( Whisper . ACTION_TRANSCRIBE ); // Set action to transcription
mWhisper . start (); // Start transcription

// Perform other operations
// Add your additional code here

// Stop transcription
mWhisper . stop (); // Stop transcription

Enregistreur (enregistrement audio)

Initialisation et configuration:

 // Initialize Recorder
Recorder mRecorder = new Recorder ( this ); // Create Recorder instance

// Set a listener for Recorder to handle updates and audio data
mRecorder . setListener ( new IRecorderListener () {
    @ Override
    public void onUpdateReceived ( String message ) {
        // Handle Recorder status updates
    }

    @ Override
    public void onDataReceived ( float [] samples ) {
        // Handle audio data received during recording
        // You can forward this data to Whisper for live recognition using writeBuffer()
        // mWhisper.writeBuffer(samples);
    }
});

Enregistrement:

 // Check and request recording permissions
checkRecordPermission (); // Check and request recording permissions

// Set the audio file path for recording. It record audio in 16K, mono, 16bits format
String waveFilePath = getFilePath ( "your_audio_file.wav" ); // Provide audio file path
mRecorder . setFilePath ( waveFilePath ); // Set audio file path

// Start recording
mRecorder . start (); // Start recording

// Perform other operations
// Add your additional code here

// Stop recording
mRecorder . stop (); // Stop recording

Veuillez adapter ces extraits de code à votre cas d'utilisation spécifique, fournir les chemins de fichier corrects et gérer les exceptions de manière appropriée dans votre application.

Remarque : Assurez-vous que vous disposez des autorisations nécessaires, de la gestion des erreurs et de la gestion du chemin de fichier dans votre application lors de l'utilisation de la classe Recorder .

Vidéo de démonstration

Note importante

Whisper ASR est un outil puissant pour transcrire la parole en texte. Cependant, gardez à l'esprit que la gestion des données audio et des transcriptions peut nécessiter une synchronisation et une gestion des erreurs soigneuses dans votre application Android pour assurer une expérience utilisateur fluide.

Profitez d'utiliser l'application Android Whisper ASR pour améliorer vos capacités de reconnaissance vocale!