musiccaps

Musiccaps Demo - Semantische Suche auf Audiounterschriften

Eine Demonstration der semantischen Suche mithilfe des Vector Database Pinecone und des MusicCaps -Datensatzes von Google AI.

Voraussetzungen

• Ein Starter (kostenlos) Tinecone -Konto
• Eine Tinecone -API -Schlüssel

Erstellen des Pnecone Index

Durch das Notizbuch init-pinecone-Index.ipynb auf

1. Laden und Vorschau des Datensatzes
2. Initialisieren Sie den Transformator
3. Erstellen Sie den Tinecone Index
4. Erzeugen Sie Einbettungen und füllen Sie den Index aus

Anmerkungen:

• Sie müssen YOUR_API_KEY und YOUR_REGION durch die von der Registerkarte "API -Schlüssel in der Pinecone -Konsole angezeigten Werte ersetzen.
• Wenn Sie die Standardeinstellungen in Colab einnehmen, kann es einige Zeit dauern, um Einbettungen zu generieren und den Index (ca. 20 bis 25 Minuten) zu füllen - eine tolle Zeit für eine Kaffeepause. Oder setzen Sie die Laufzeit für eine GPU in Bearbeiten | Einstellungen> Hardware -Beschleuniger . Sie können T4 als GPU -Typ in der freien Stufe auswählen. Dies erzeugt die Einbettungen und fülle den Index in weniger als einer Minute ein!

Bereit für semantische Suche!

Am Ende des Notizbuchs befindet sich eine Beispielabfrage. Ersetzen Sie den query und experimentieren Sie mit semantischer Suche über den MusicCaps -Datensatz.

 query = 'lively eastern european folk music with strings outdoors'
search_pinecone ( query )

{ 'matches' : [{ 'id' : '5327' ,
              'metadata' : { 'aspect_list' : "['romanian folk music', 'live "
                                          "performance', 'instrumental', "
                                          "'accordion', 'upright bass', "
                                          "'acoustic guitar', 'percussion', "
                                          "'fiddle', 'lively', 'upbeat', "
                                          "'joyful']" ,
                           'audioset_positive_labels' : '/m/0mkg' ,
                           'author_id' : 9.0 ,
                           'caption' : 'This is the live performance of a '
                                      'Romanian folk music piece. It is '
                                      'instrumental. There is an accordion '
                                      'playing the leading melody while the '
                                      'fiddle, acoustic guitar and the upright '
                                      'bass play in the background. There is a '
                                      'percussive element in the rhythmic '
                                      'background. The atmosphere is lively '
                                      'and joyful.' ,
                           'end_s' : 30.0 ,
                           'is_audioset_eval' : False ,
                           'is_balanced_subset' : False ,
                           'start_s' : 20.0 ,
                           'ytid' : 'xR2p3UED4VU' },
              'score' : 0.658422887 ,
              'values' : []},
              
              ...
              
              ],
 'namespace' : '' }

Sie werden ein Gefühl für die Ergebnisse bekommen, die das caption lesen und die score bemerken. Die ytid ist die YouTube -Video -ID und start_s definiert den Ausgangspunkt für das relevante Video.

---

Ausführen der Demo -Anwendung

tl; dr

 streamlit run search-app.py 

Installieren

Um die Such -App auszuführen, müssen Sie

1. Erstellen und füllen Sie den Pnecone -Index mit dem Notebook oben ^
2. Richten Sie eine Python -Umgebung ein. MacOS -Benutzer können THHIS - Python Environment Setup für macOS verwenden
3. Installieren Sie Stromnetz und Voraussetzungen.

 git clone https://github.com/ben-ogden/musiccaps.git
cd musiccaps
pipenv shell
pipenv install pinecone-client streamlit
streamlit version
...
Streamlit, version 1.22.0

Erstellen Sie eine Secrets -Datei in ~/.streamLit/ PINECONE_KEY und PINECONE_ENV

 PINECONE_KEY = "..." 

Glückliche semantische Suche!

 streamlit run search-app.py 

Nächste Schritte

Dieser Datensatz könnte ein guter Kandidat für das Experimentieren mit Hybridsuche oder Verwendung aspect_list metadata Schlüsselwörter sein.