stark

Stark: Benchmarking LLM استرجاع على قواعد المعرفة النصية والعلائقية

أخبار

• [أكتوبر 2024] المتصدرين: نقوم ببناء المتصدرين الرسميين في Hunggingface ونحن ندعو إلى التقديمات!
• [أكتوبر 2024] ورقة جاهزة للكاميرا! نضيف نماذج استرجاع متعددة بما في ذلك BM25 ، ColberTV2 ، Gritlm.
• [سبتمبر 2024] يتم قبول Stark في 2024 Neurips DataSet & Benchmark Track!
• [يونيو 2024] نجعل معيارنا كحزمة PIP Stark-QA. يمكنك تحميل البيانات مباشرة من الحزمة الآن!
• [يونيو 2024] نقوم بترحيل بياناتنا إلى معانقة الوجه! لا تحتاج إلى تغيير أي شيء ، وسيتم تنزيل البيانات تلقائيًا.
• [May 2024] قمنا بزيادة معيارنا مع ثلاث مجموعات بيانات عالية الجودة تم إنشاؤها من قبل الإنسان والتي تكون مفتوحة للوصول. رؤية المزيد من التفاصيل في arxiv المحدثة لدينا!
• [9 مايو 2024] نطلق سراح STARK SKB Explorer ، وهي واجهة تفاعلية لك لاستكشاف قواعد معرفتنا!
• [7 مايو 2024] نقدم ستارك في اجتماع التابعة السنوي في ستانفورد لعام 2024 ومؤتمر علوم البيانات في ستانفورد 2024.
• [5 مايو 2024] تم الإبلاغ عن Stark على Marketpost و 智源社区 Baai. شكرا للكتابة عن عملنا!
• [21 أبريل 2024] نطلق المعيار الصارخ.

ما هو ستارك؟

Stark عبارة عن معيار استرجاع شبه منظم على نطاق واسع حول قواعد المعرفة النصية والعلائقية ، وتغطي التطبيقات في البحث عن المنتجات ، والبحث عن الورق الأكاديمي ، والاستفسارات الحيوية.

يضم استفسارات متنوعة وطبيعية وعملية تتطلب التفكير في السياق ، ويضع Stark معيارًا جديدًا لتقييم أنظمة الاسترجاع في العالم الحقيقي التي تحركها LLMs ويمثل تحديات كبيرة للبحث في المستقبل.

تحقق من موقعنا لمزيد من نظرة عامة!

الوصول إلى البيانات القياسية

1) إعداد ENV

من PIP (موصى بها)

مع Python> = 3.8 و <3.12

pip install stark-qa

من المصدر

قم بإنشاء conda env مع python> = 3.8 و <3.12 وتثبيت الحزم المطلوبة في requirements.txt .

conda create -n stark python=3.11
conda activate stark
pip install -r requirements.txt

2) تحميل البيانات

 from stark_qa import load_qa , load_skb

dataset_name = 'amazon'

# Load the retrieval dataset
qa_dataset = load_qa ( dataset_name )
idx_split = qa_dataset . get_idx_split ()

# Load the semi-structured knowledge base
skb = load_skb ( dataset_name , download_processed = True , root = None )

تحدد وسيطة الجذر لـ LOAD_SKB الموقع لتخزين بيانات SKB. مع القيمة الافتراضية None ، سيتم تخزين البيانات في ذاكرة التخزين المؤقت Luggingface.

بيانات مهمة الاسترجاع

سيتم تنزيل أزواج إجابة الأسئلة لمهمة الاسترجاع تلقائيًا في data/{dataset}/stark_qa افتراضيًا. قدمنا ​​تقسيم رسمي في data/{dataset}/split .

بيانات قواعد المعرفة

هناك طريقتان لتحميل بيانات قاعدة المعرفة:

• (موصى به) التنزيل الفوري: سيتم تنزيل بيانات قاعدة المعرفة لجميع المعيار الثلاثة وتلقائيًا عند تعيين download_processed=True .
• بيانات المعالجة من RAW: قدمنا ​​أيضًا جميع رمز المعالجة المسبقة الخاصة بنا للشفافية. لذلك ، يمكنك معالجة البيانات الأولية من نقطة الصفر عن طريق Setting download_processed=False . في هذه الحالة ، يستغرق Stark-Primekg حوالي 5 دقائق لتنزيل البيانات التي تمت معالجتها وتحميلها. قد يستغرق Stark-Amazon و Stark-Mag حوالي ساعة للمعالجة من البيانات الأولية.

3) تقييم على القياس

إذا كنت تقوم بتشغيل Eval ، فيمكنك تثبيت الحزم التالية:

pip install llm2vec gritlm bm25

• يتطلب تقييمنا تضمين مستندات العقدة في candidate_emb_dict.pt ، وهو Dictionary node_id -> torch.Tensor . سيتم إنشاء تضمينات الاستعلام تلقائيًا إن لم يكن متاحًا. يمكنك إما تشغيل البرنامج النصي Python التالي لتنزيل ضمانات الاستعلام وتضمينات المستندات التي تم إنشاؤها بواسطة text-embedding-ada-002 . (نحن نقدمهم حتى تتمكن من الجري على القياس على الفور.)

  python emb_download.py --dataset amazon --emb_dir emb/

  أو يمكنك تشغيل الكود التالي لإنشاء الاستعلام أو توثيق التضمينات بنفسك. على سبيل المثال ،

  python emb_generate.py --dataset amazon --mode query --emb_dir emb/ --emb_model text-embedding-ada-002

  • dataset : واحدة من amazon أو mag أو prime .
  • mode : المحتوى للتضمين ، أحد query أو doc (مستندات العقدة).
  • emb_dir : الدليل لتخزين التضمينات.
  • emb_model : اسم LLM لإنشاء التضمينات ، مثل text-embedding-ada-002 ، text-embedding-3-large ، و voyage-large-2-instruct ، GritLM/GritLM-7B ، McGill-NLP/LLM2Vec-Meta-Llama-3-8B-Instruct-mntp
  • انظر emb_generate.py للاطلاع على الحجج الأخرى.

• قم بتشغيل نص Python للتقييم. على سبيل المثال ،

  python eval.py --dataset amazon --model VSS --emb_dir emb/ --output_dir output/ --emb_model text-embedding-ada-002 --split test --save_pred 

  python eval.py --dataset amazon --model VSS --emb_dir emb/ --output_dir output/ --emb_model GritLM/GritLM-7B --split test-0.1 --save_pred 

  python eval.py --dataset amazon --model LLMReranker --emb_dir emb/ --output_dir output/ --emb_model text-embedding-ada-002 --split human_generated_eval --llm_model gpt-4-1106-preview --save_pred

  args الرئيسية:

  • dataset : مجموعة البيانات لتقييمها ، واحدة من amazon أو mag أو prime .
  • model : النموذج الذي سيتم تقييمه ، واحد من BM25 ، Colbertv2 ، VSS ، MultiVSS ، LLMReranker .
    • يرجى تحديد اسم نموذج التضمين مع الوسيطة --emb_model .
    • إذا كنت تستخدم LLMReranker ، فيرجى تحديد اسم LLM مع الوسيطة --llm_model .
    • حدد مفاتيح API في سطر الأوامر

       export ANTHROPIC_API_KEY=YOUR_API_KEY
      

      أو

       export OPENAI_API_KEY=YOUR_API_KEY
      export OPENAI_ORG=YOUR_ORGANIZATION
      

      أو

       export VOYAGE_API_KEY=YOUR_API_KEY
      

  • emb_dir : الدليل لتخزين التضمينات.
  • split : الانقسام للتقييم ، واحد من train ، val ، test ، test-0.1 (عينة عشوائية 10 ٪) ، و human_generated_eval (المراد تقييمها على مجموعة بيانات الاستعلام التي تم إنشاؤها البشرية).
  • output_dir : الدليل لتخزين مخرجات التقييم.
  • surfix : حدد متى تكون التضمينات المخزنة في doc{surfix} أو query{surfix} ، على سبيل المثال ، _no_compact ،

مرجع

يرجى التفكير في الاستشهاد بالورقة إذا كنت تستخدم معيارنا أو رمزنا في عملك:

 @inproceedings{wu24stark,
    title        = {STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases},
    author       = {
        Shirley Wu and Shiyu Zhao and 
        Michihiro Yasunaga and Kexin Huang and 
        Kaidi Cao and Qian Huang and 
        Vassilis N. Ioannidis and Karthik Subbian and 
        James Zou and Jure Leskovec
    },
    booktitle    = {NeurIPS Datasets and Benchmarks Track},
    year         = {2024}
}