whisper_android

Openai WhisperとTensorflow Liteによるオフラインの音声認識

このガイドでは、オーディオの録音と音声認識のためにAndroidアプリにWhisperとRecorderクラスを統合する方法について説明します。

Whisper ASR統合ガイド

WhisperとRecorderを使用するための個別のコードスニペットは次のとおりです。

ささやき（音声認識）

初期化と構成：

 // Initialize Whisper
Whisper mWhisper = new Whisper ( this ); // Create Whisper instance

// Load model and vocabulary for Whisper
String modelPath = getFilePath ( "whisper-tiny.tflite" ); // Provide model file path
String vocabPath = getFilePath ( "filters_vocab_multilingual.bin" ); // Provide vocabulary file path
mWhisper . loadModel ( modelPath , vocabPath , true ); // Load model and set multilingual mode

// Set a listener for Whisper to handle updates and results
mWhisper . setListener ( new IWhisperListener () {
    @ Override
    public void onUpdateReceived ( String message ) {
        // Handle Whisper status updates
    }

    @ Override
    public void onResultReceived ( String result ) {
        // Handle transcribed results
    }
});

転写：

 // Set the audio file path for transcription. Audio format should be in 16K, mono, 16bits
String waveFilePath = getFilePath ( "your_audio_file.wav" ); // Provide audio file path
mWhisper . setFilePath ( waveFilePath ); // Set audio file path

// Start transcription
mWhisper . setAction ( Whisper . ACTION_TRANSCRIBE ); // Set action to transcription
mWhisper . start (); // Start transcription

// Perform other operations
// Add your additional code here

// Stop transcription
mWhisper . stop (); // Stop transcription

レコーダー（オーディオ録音）

初期化と構成：

 // Initialize Recorder
Recorder mRecorder = new Recorder ( this ); // Create Recorder instance

// Set a listener for Recorder to handle updates and audio data
mRecorder . setListener ( new IRecorderListener () {
    @ Override
    public void onUpdateReceived ( String message ) {
        // Handle Recorder status updates
    }

    @ Override
    public void onDataReceived ( float [] samples ) {
        // Handle audio data received during recording
        // You can forward this data to Whisper for live recognition using writeBuffer()
        // mWhisper.writeBuffer(samples);
    }
});

録音：

 // Check and request recording permissions
checkRecordPermission (); // Check and request recording permissions

// Set the audio file path for recording. It record audio in 16K, mono, 16bits format
String waveFilePath = getFilePath ( "your_audio_file.wav" ); // Provide audio file path
mRecorder . setFilePath ( waveFilePath ); // Set audio file path

// Start recording
mRecorder . start (); // Start recording

// Perform other operations
// Add your additional code here

// Stop recording
mRecorder . stop (); // Stop recording

これらのコードスニペットを特定のユースケースに適応させ、適切なファイルパスを提供し、アプリケーションで例外を適切に処理してください。

注： Recorderクラスを使用するときに、アプリケーションに必要なアクセス許可、エラー処理、およびファイルパス管理があることを確認してください。

デモビデオ

重要なメモ

Whisper ASRは、スピーチをテキストに転写するための強力なツールです。ただし、オーディオデータと転写を処理するには、Androidアプリケーションで慎重な同期とエラー処理が必要になる場合があることに留意してください。

Whisper ASR Androidアプリを使用して、音声認識機能を強化してください！