musiccaps

MusicCaps Demo - Recherche sémantique sur les légendes audio

Une démonstration de la recherche sémantique à l'aide de la PineCone de la base de données vectorielle et de l'ensemble de données MusicCaps de Google AI.

Condition préalable

• Un compte de poireau de démarrage (gratuit)
• Une clé API Pincone

Création de l'index de pignon

Parcourez le cahier init-pinecone-index.ipynb à

1. Charger et prévisualiser l'ensemble de données
2. Initialiser le transformateur
3. Créer l'index de pignon
4. Générer des intégres et remplir l'index

Notes:

• Vous devrez remplacer YOUR_API_KEY et YOUR_REGION par les valeurs indiquées à partir de l'onglet Keys API dans la console Pinecone.
• Si vous prenez les paramètres par défaut dans Colab, cela pourrait prendre un certain temps pour générer des intégres et remplir l'index (environ 20-25 minutes) - bon moment pour une pause-café. Ou, définissez le runtime pour utiliser un GPU dans Edit | Paramètres> Accélérateur matériel . Vous pouvez sélectionner T4 comme type GPU dans le niveau libre. Cela générera les intérêts et remplira l'index en moins d'une minute!

Prêt pour la recherche sémantique!

Il y a un exemple de requête à la fin du cahier. Remplacez la valeur query pour expérimenter par la recherche sémantique à travers le jeu de données MusicCaps.

 query = 'lively eastern european folk music with strings outdoors'
search_pinecone ( query )

{ 'matches' : [{ 'id' : '5327' ,
              'metadata' : { 'aspect_list' : "['romanian folk music', 'live "
                                          "performance', 'instrumental', "
                                          "'accordion', 'upright bass', "
                                          "'acoustic guitar', 'percussion', "
                                          "'fiddle', 'lively', 'upbeat', "
                                          "'joyful']" ,
                           'audioset_positive_labels' : '/m/0mkg' ,
                           'author_id' : 9.0 ,
                           'caption' : 'This is the live performance of a '
                                      'Romanian folk music piece. It is '
                                      'instrumental. There is an accordion '
                                      'playing the leading melody while the '
                                      'fiddle, acoustic guitar and the upright '
                                      'bass play in the background. There is a '
                                      'percussive element in the rhythmic '
                                      'background. The atmosphere is lively '
                                      'and joyful.' ,
                           'end_s' : 30.0 ,
                           'is_audioset_eval' : False ,
                           'is_balanced_subset' : False ,
                           'start_s' : 20.0 ,
                           'ytid' : 'xR2p3UED4VU' },
              'score' : 0.658422887 ,
              'values' : []},
              
              ...
              
              ],
 'namespace' : '' }

Vous aurez un sens pour les résultats en lisant le champ caption et en notant le score . Le ytid est l'ID vidéo YouTube et start_s définit le point de départ de la vidéo pertinente.

---

Exécution de l'application de démonstration

tl; dr

 streamlit run search-app.py 

Installez le pignon et rational

Pour exécuter l'application de recherche, vous devrez

1. Créez et remplissez l'index de pinone à l'aide du cahier ci-dessus ^
2. Configurer un environnement Python. Les utilisateurs de macOS peuvent utiliser cette configuration d'environnement Python pour macOS
3. Installez le rationalisation et les conditions préalables.

 git clone https://github.com/ben-ogden/musiccaps.git
cd musiccaps
pipenv shell
pipenv install pinecone-client streamlit
streamlit version
...
Streamlit, version 1.22.0

Créez un fichier Secrets dans ~ / .Streamlit / secrets.toml et définissez votre PINECONE_KEY et PINECONE_ENV

 PINECONE_KEY = "..." 

Bonne recherche sémantique!

 streamlit run search-app.py 

Étapes suivantes

Cet ensemble de données pourrait être un bon candidat pour expérimenter la recherche hybride ou l'utilisation du filtrage des métadonnées en utilisant les valeurs dans les metadata aspect_list comme mots clés.