llm homework 03

LLM-Homework-03

? 개요

이 프로젝트는 벡터 검색 작업에 Elasticsearch 의 사용을 보여줍니다. 제공된 Jupyter 노트북 인 vector_search.ipynb 는 sentence-transformers 사용하여 임베딩 모델을로드하고 결합 된 질문과 답변 필드에 대한 임베딩을 생성하고 Vector 검색 엔진을 생성하여 FAQ 문서에서 사용자 질문을 검색합니다. 적중률과 평균 상호 순위 (MRR)를 사용하여 검색 엔진 결과를 평가합니다. 마지막으로, 모든 벡터와 유사성을 계산하기보다는 대략적인 기술을 사용하여 동일한 결과를 생성하기 때문에 대략적인 기술을 사용하기 때문에 더 효율적인 ElasticSearch를 평가합니다.

설치

프로젝트를 설정하려면 다음 단계를 따르십시오.

pip install pipenv
pipenv install

그런 다음 Jupyter 커널에서 PIPENV 환경을 선택하십시오.

? Elasticsearch를 실행하십시오

Elasticsearch Docker 컨테이너를 실행하려면 다음 명령을 사용하십시오.

docker run -it 
    --rm 
    --name elasticsearch 
    -p 9200:9200 
    -p 9300:9300 
    -e " discovery.type=single-node " 
    -e " xpack.security.enabled=false " 
    docker.elastic.co/elasticsearch/elasticsearch:8.4.3