llm homework 03
1.0.0
يوضح هذا المشروع استخدام Elasticsearch لمهام البحث المتجهات. يقوم دفتر Jupyter Noteboor ، vector_search.ipynb ، بتحميل نموذج التضمين باستخدام sentence-transformers ، ويقوم بإنشاء التضمين لحقل الأسئلة والإجابة المشتركة ، ويقوم بإنشاء محرك بحث متجه للبحث عن أسئلة المستخدم في مستندات الأسئلة الشائعة. نقوم بتقييم نتائج محرك البحث باستخدام معدل ضرب وتصنيف المتبادل (MRR). أخيرًا ، قم بتقييم Elasticsearch ، وهو أكثر كفاءة لأنه يستخدم التقنيات التقريبية بدلاً من حساب التشابه مع جميع المتجهات ، مما ينتج عنه نتائج متطابقة.
لإعداد المشروع ، اتبع هذه الخطوات:
pip install pipenv
pipenv installثم ، حدد بيئة pipenv في kernel jupyter.
لتشغيل حاوية Docker Elasticsearch ، استخدم الأمر التالي:
docker run -it
--rm
--name elasticsearch
-p 9200:9200
-p 9300:9300
-e " discovery.type=single-node "
-e " xpack.security.enabled=false "
docker.elastic.co/elasticsearch/elasticsearch:8.4.3