llm homework 03

LLM-Homework-03

？概要

このプロジェクトは、ベクター検索タスクにElasticsearchの使用を実証しています。提供されたjupyterノートブック、 vector_search.ipynb 、 sentence-transformersを使用して埋め込みモデルをロードし、質問と回答フィールドの組み合わせの埋め込みを作成し、FAQドキュメントでユーザーの質問を検索するためのベクトル検索エンジンを作成します。ヒット率と平均相互ランク（MRR）を使用して、検索エンジンの結果を評価します。最後に、ElasticSearchを評価します。これは、すべてのベクトルとの類似性を計算するのではなく、おおよその手法を使用して、同一の結果を生成するため、より効率的です。

インストール

プロジェクトをセットアップするには、次の手順に従ってください。

pip install pipenv
pipenv install

次に、Jupyterカーネルのpipenv環境を選択します。

？ ElasticSearchを実行します

ElasticSearch Dockerコンテナを実行するには、次のコマンドを使用します。

docker run -it 
    --rm 
    --name elasticsearch 
    -p 9200:9200 
    -p 9300:9300 
    -e " discovery.type=single-node " 
    -e " xpack.security.enabled=false " 
    docker.elastic.co/elasticsearch/elasticsearch:8.4.3