musiccaps

MusicCapsデモ - オーディオキャプションでのセマンティック検索

Google AIのVectorデータベースPineconeとMusicCapsデータセットを使用したセマンティック検索のデモンストレーション。

前提条件

• スターター（無料）松ぼっくりアカウント
• Pinecone APIキー

Pineconeインデックスの作成

ノートブックinit-pinecone-index.ipynbをステップします

1. データセットをロードしてプレビューします
2. トランスを初期化します
3. Pineconeインデックスを作成します
4. 埋め込みを生成し、インデックスを入力します

注：

• Pineconeコンソールの[APIキー]タブに表示されている値に、 YOUR_API_KEYおよびYOUR_REGIONを置き換える必要があります。
• Colabでデフォルト設定を取得すると、埋め込みを生成してインデックスを入力するのに時間がかかる可能性があります（約20〜25分） - コーヒーブレイクに最適な時間です。または、編集でGPUを使用するランタイムを設定します|設定>ハードウェアアクセラレータ。 Free TierでT4をGPUタイプとして選択できます。これにより、埋め込みが生成され、1分以内にインデックスが入力されます！

セマンティック検索の準備ができました！

ノートブックの最後にサンプルクエリがあります。 query値を交換して、MusicCapsデータセット全体でセマンティック検索で実験します。

 query = 'lively eastern european folk music with strings outdoors'
search_pinecone ( query )

{ 'matches' : [{ 'id' : '5327' ,
              'metadata' : { 'aspect_list' : "['romanian folk music', 'live "
                                          "performance', 'instrumental', "
                                          "'accordion', 'upright bass', "
                                          "'acoustic guitar', 'percussion', "
                                          "'fiddle', 'lively', 'upbeat', "
                                          "'joyful']" ,
                           'audioset_positive_labels' : '/m/0mkg' ,
                           'author_id' : 9.0 ,
                           'caption' : 'This is the live performance of a '
                                      'Romanian folk music piece. It is '
                                      'instrumental. There is an accordion '
                                      'playing the leading melody while the '
                                      'fiddle, acoustic guitar and the upright '
                                      'bass play in the background. There is a '
                                      'percussive element in the rhythmic '
                                      'background. The atmosphere is lively '
                                      'and joyful.' ,
                           'end_s' : 30.0 ,
                           'is_audioset_eval' : False ,
                           'is_balanced_subset' : False ,
                           'start_s' : 20.0 ,
                           'ytid' : 'xR2p3UED4VU' },
              'score' : 0.658422887 ,
              'values' : []},
              
              ...
              
              ],
 'namespace' : '' }

captionフィールドを読み、 scoreに注目する結果が得られるという感覚が得られます。 ytidはYouTubeビデオIDであり、 start_s関連するビデオの開始点を定義します。

---

デモアプリケーションの実行

tl; dr

 streamlit run search-app.py 

ピネコンクライアントと流れを取り付けます

検索アプリを実行するには、する必要があります

1. 上記のノートブックを使用して、Pineconeインデックスを作成して入力します ^
2. Python環境をセットアップします。 macOSユーザーは、thhis -python環境セットアップを使用することができます
3. reirllitと前提条件をインストールします。

 git clone https://github.com/ben-ogden/musiccaps.git
cd musiccaps
pipenv shell
pipenv install pinecone-client streamlit
streamlit version
...
Streamlit, version 1.22.0

〜/.streamlit/secrets.tomlでシークレットファイルを作成し、 PINECONE_KEYとPINECONE_ENVを設定します

 PINECONE_KEY = "..." 

ハッピーセマンティック検索！

 streamlit run search-app.py 

次のステップ

このデータセットは、ハイブリッド検索の実験や、キーワードとしてmetadata aspect_listの値を使用してメタデータフィルタリングを使用するための適切な候補になる可能性があります。