musiccaps

Demo MusicCaps - Pencarian Semantik di Keterangan Audio

Demonstrasi pencarian semantik menggunakan Pinecone Database Vektor dan Dataset MusicCaps dari Google AI.

Prasyarat

• Akun Pinecone Starter (Gratis)
• Kunci API Pinecone

Membuat indeks Pinecone

Langkah melalui notebook init-pinecone-index.ipynb ke

1. Muat & Pratinjau Dataset
2. Inisialisasi transformator
3. Buat indeks Pinecone
4. Menghasilkan embeddings dan mengisi indeks

Catatan:

• Anda perlu mengganti YOUR_API_KEY dan YOUR_REGION dengan nilai yang ditunjukkan dari tab Keys API di konsol Pinecone.
• Jika Anda mengambil pengaturan default di Colab, mungkin perlu waktu untuk menghasilkan embeddings dan mengisi indeks (sekitar 20-25 menit) - waktu yang tepat untuk istirahat kopi. Atau, atur runtime untuk menggunakan GPU di Edit | Pengaturan> Akselerator Perangkat Keras . Anda dapat memilih T4 sebagai jenis GPU di tingkat gratis. Ini akan menghasilkan embeddings dan mengisi indeks dalam waktu kurang dari satu menit!

Siap untuk pencarian semantik!

Ada kueri sampel di akhir buku catatan. Ganti nilai query untuk bereksperimen dengan pencarian semantik di seluruh dataset MusicCaps.

 query = 'lively eastern european folk music with strings outdoors'
search_pinecone ( query )

{ 'matches' : [{ 'id' : '5327' ,
              'metadata' : { 'aspect_list' : "['romanian folk music', 'live "
                                          "performance', 'instrumental', "
                                          "'accordion', 'upright bass', "
                                          "'acoustic guitar', 'percussion', "
                                          "'fiddle', 'lively', 'upbeat', "
                                          "'joyful']" ,
                           'audioset_positive_labels' : '/m/0mkg' ,
                           'author_id' : 9.0 ,
                           'caption' : 'This is the live performance of a '
                                      'Romanian folk music piece. It is '
                                      'instrumental. There is an accordion '
                                      'playing the leading melody while the '
                                      'fiddle, acoustic guitar and the upright '
                                      'bass play in the background. There is a '
                                      'percussive element in the rhythmic '
                                      'background. The atmosphere is lively '
                                      'and joyful.' ,
                           'end_s' : 30.0 ,
                           'is_audioset_eval' : False ,
                           'is_balanced_subset' : False ,
                           'start_s' : 20.0 ,
                           'ytid' : 'xR2p3UED4VU' },
              'score' : 0.658422887 ,
              'values' : []},
              
              ...
              
              ],
 'namespace' : '' }

Anda akan merasakan hasil untuk membaca bidang caption dan mencatat score . ytid adalah ID Video YouTube dan start_s menentukan titik awal untuk video yang relevan.

---

Menjalankan Aplikasi Demo

tl; dr

 streamlit run search-app.py 

Instal Pinecone-Client dan Streamlit

Untuk menjalankan aplikasi pencarian, Anda harus melakukannya

1. Buat dan isi indeks Pinecone menggunakan notebook di atas ^
2. Siapkan lingkungan Python. Pengguna MacOS dapat menggunakan ThHis - Python Environment Setup untuk MacOS
3. Instal Streamlit dan Prasyarat.

 git clone https://github.com/ben-ogden/musiccaps.git
cd musiccaps
pipenv shell
pipenv install pinecone-client streamlit
streamlit version
...
Streamlit, version 1.22.0

Buat file rahasia di ~/.streamlit/secrets.toml dan atur PINECONE_KEY dan PINECONE_ENV Anda

 PINECONE_KEY = "..." 

Selamat mencari semantik!

 streamlit run search-app.py 

Langkah selanjutnya

Dataset ini bisa menjadi kandidat yang baik untuk bereksperimen dengan pencarian hibrida atau menggunakan pemfilteran metadata menggunakan nilai -nilai dalam metadata aspect_list sebagai kata kunci.