musiccaps

MusicCaps Demo- 오디오 캡션에서 시맨틱 검색

Google AI의 Vector Database Pinecone 및 MusicCaps 데이터 세트를 사용한 시맨틱 검색 데모.

전제 조건

• 스타터 (무료) PENECONE 계정
• PENECONE API 키

PENECONE 인덱스 생성

노트북 init-pinecone-index.ipynb to를 통과하십시오

1. 로드 및 데이터 세트를 미리 봅니다
2. 변압기를 초기화하십시오
3. Pinecone 인덱스를 만듭니다
4. 임베딩을 생성하고 인덱스를 채 웁니다

참고 :

• Pinecone 콘솔의 API 키 탭에서 표시된 값으로 YOUR_API_KEY 및 YOUR_REGION 교체해야합니다.
• Colab에서 기본 설정을 사용하는 경우 임베딩을 생성하고 인덱스 (약 20-25 분)를 채우는 데 시간이 걸릴 수 있습니다. 커피 브레이크에 좋은 시간이 있습니다. 또는 편집에서 gpu를 사용하도록 런타임을 설정 | 설정> 하드웨어 가속기 . 자유 계층에서 GPU 유형으로 T4를 선택할 수 있습니다. 이것은 임베딩을 생성하고 1 분 안에 인덱스를 채 웁니다!

시맨틱 검색 준비!

노트북 끝에 샘플 쿼리가 있습니다. MusicCaps 데이터 세트에서 시맨틱 검색으로 실험으로 query 값을 바꾸십시오.

 query = 'lively eastern european folk music with strings outdoors'
search_pinecone ( query )

{ 'matches' : [{ 'id' : '5327' ,
              'metadata' : { 'aspect_list' : "['romanian folk music', 'live "
                                          "performance', 'instrumental', "
                                          "'accordion', 'upright bass', "
                                          "'acoustic guitar', 'percussion', "
                                          "'fiddle', 'lively', 'upbeat', "
                                          "'joyful']" ,
                           'audioset_positive_labels' : '/m/0mkg' ,
                           'author_id' : 9.0 ,
                           'caption' : 'This is the live performance of a '
                                      'Romanian folk music piece. It is '
                                      'instrumental. There is an accordion '
                                      'playing the leading melody while the '
                                      'fiddle, acoustic guitar and the upright '
                                      'bass play in the background. There is a '
                                      'percussive element in the rhythmic '
                                      'background. The atmosphere is lively '
                                      'and joyful.' ,
                           'end_s' : 30.0 ,
                           'is_audioset_eval' : False ,
                           'is_balanced_subset' : False ,
                           'start_s' : 20.0 ,
                           'ytid' : 'xR2p3UED4VU' },
              'score' : 0.658422887 ,
              'values' : []},
              
              ...
              
              ],
 'namespace' : '' }

caption 필드를 읽고 score 기록한 결과에 대해 이해할 수 있습니다. ytid 는 YouTube 비디오 ID이며 start_s 관련 비디오의 시작점을 정의합니다.

---

데모 응용 프로그램 실행

tl; dr

 streamlit run search-app.py 

PENECONE CLIENT 및 Streamlit을 설치하십시오

검색 앱을 실행하려면 필요합니다

1. 위의 노트북을 사용하여 Pinecone 지수를 만들고 채우십시오 ^
2. 파이썬 환경을 설정하십시오. MACOS 사용자는 MACOS 용 Python Environment 설정을 사용할 수 있습니다.
3. 간소 및 전제 조건을 설치하십시오.

 git clone https://github.com/ben-ogden/musiccaps.git
cd musiccaps
pipenv shell
pipenv install pinecone-client streamlit
streamlit version
...
Streamlit, version 1.22.0

~/.streamlit/secrets.toml에서 비밀 파일을 만들고 PINECONE_KEY 및 PINECONE_ENV 설정하십시오.

 PINECONE_KEY = "..." 

행복한 의미 론적 검색!

 streamlit run search-app.py 

다음 단계

이 데이터 세트는 하이브리드 검색 실험을 실험하거나 metadata aspect_list 의 값을 키워드로 사용하여 메타 데이터 필터링을 사용하는 좋은 후보가 될 수 있습니다.