llm homework 03

llm-homework-03

? Ringkasan

Proyek ini menunjukkan penggunaan Elasticsearch untuk tugas pencarian vektor. Jupyter notebook yang disediakan, vector_search.ipynb , memuat model embeddings menggunakan sentence-transformers , membuat embeddings untuk bidang tanya jawab gabungan, dan membuat mesin pencari vektor untuk mencari pertanyaan pengguna dalam dokumen FAQ. Kami mengevaluasi hasil mesin pencari menggunakan tingkat hit dan peringkat timbal balik rata -rata (MRR). Akhirnya, evaluasi Elasticsearch, yang lebih efisien karena menggunakan teknik perkiraan daripada menghitung kesamaan dengan semua vektor, menghasilkan hasil yang sama.

Instalasi

Untuk mengatur proyek, ikuti langkah -langkah ini:

pip install pipenv
pipenv install

Kemudian, pilih lingkungan Pipenv di kernel Jupyter.

? Jalankan Elasticsearch

Untuk menjalankan wadah Docker Elasticsearch, gunakan perintah berikut:

docker run -it 
    --rm 
    --name elasticsearch 
    -p 9200:9200 
    -p 9300:9300 
    -e " discovery.type=single-node " 
    -e " xpack.security.enabled=false " 
    docker.elastic.co/elasticsearch/elasticsearch:8.4.3