musiccaps

Demoção MusicCaps - Pesquisa semântica em legendas de áudio

Uma demonstração de pesquisa semântica usando o banco de dados Vector Pinecone e o conjunto de dados MusicCaps do Google AI.

Pré -requisitos

• Uma conta de pinecone iniciante (gratuita)
• Uma chave da API Pinecone

Criando o Índice Pinecone

Passar pelo notebook init-pinecone-index.ipynb para

1. Carregar e visualizar o conjunto de dados
2. Inicialize o transformador
3. Crie o Índice Pinecone
4. Gerar incorporações e preencher o índice

Notas:

• Você precisará substituir YOUR_API_KEY YOUR_REGION API Keys no console do Pinecone.
• Se você pegar as configurações padrão no Colab, pode levar algum tempo para gerar incorporação e preencher o índice (cerca de 20 a 25 minutos) - ótimo para uma pausa para o café. Ou defina o tempo de execução para usar uma GPU em edição | Configurações> Acelerador de hardware . Você pode selecionar T4 como tipo GPU na camada gratuita. Isso gerará as incorporações e preencherá o índice em menos de um minuto!

Pronto para pesquisa semântica!

Há uma consulta de amostra no final do notebook. Substitua o valor query para experimentar a pesquisa semântica no conjunto de dados MusicCaps.

 query = 'lively eastern european folk music with strings outdoors'
search_pinecone ( query )

{ 'matches' : [{ 'id' : '5327' ,
              'metadata' : { 'aspect_list' : "['romanian folk music', 'live "
                                          "performance', 'instrumental', "
                                          "'accordion', 'upright bass', "
                                          "'acoustic guitar', 'percussion', "
                                          "'fiddle', 'lively', 'upbeat', "
                                          "'joyful']" ,
                           'audioset_positive_labels' : '/m/0mkg' ,
                           'author_id' : 9.0 ,
                           'caption' : 'This is the live performance of a '
                                      'Romanian folk music piece. It is '
                                      'instrumental. There is an accordion '
                                      'playing the leading melody while the '
                                      'fiddle, acoustic guitar and the upright '
                                      'bass play in the background. There is a '
                                      'percussive element in the rhythmic '
                                      'background. The atmosphere is lively '
                                      'and joyful.' ,
                           'end_s' : 30.0 ,
                           'is_audioset_eval' : False ,
                           'is_balanced_subset' : False ,
                           'start_s' : 20.0 ,
                           'ytid' : 'xR2p3UED4VU' },
              'score' : 0.658422887 ,
              'values' : []},
              
              ...
              
              ],
 'namespace' : '' }

Você terá uma sensação para os resultados que leem o campo caption e observando a score . O ytid é o ID de vídeo do YouTube e start_s define o ponto de partida para o vídeo relevante.

---

Executando o aplicativo de demonstração

tl; dr

 streamlit run search-app.py 

Instale o Pinecone-Client e o Streamlit

Para executar o aplicativo de pesquisa, você precisará

1. Crie e preencha o índice Pinecone usando o notebook acima ^
2. Configure um ambiente python. Os usuários do MacOS podem usar a configuração do ambiente python para macOS
3. Instale o streamlit e os pré -requisitos.

 git clone https://github.com/ben-ogden/musiccaps.git
cd musiccaps
pipenv shell
pipenv install pinecone-client streamlit
streamlit version
...
Streamlit, version 1.22.0

Crie um arquivo de segredos em ~/.streamlit/secrets.toml e defina seu PINECONE_KEY e PINECONE_ENV

 PINECONE_KEY = "..." 

Feliz pesquisa semântica!

 streamlit run search-app.py 

PRÓXIMOS PASSOS

Esse conjunto de dados pode ser um bom candidato para experimentar pesquisas híbridas ou usar a filtragem de metadados usando os valores no metadata aspect_list como palavras -chave.