الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

رهيبة النص/التصحيح المرئي-تبادل الاستئصال

مجموعة من مجموعات بيانات ضبط التعليمات المفتوحة المصدر لتدريب LLMs (النصية والطسيبية) المستندة إلى الدردشة (GPT-4 ، ChatGPT ، LLAMA ، الألباكا). ندرج حاليًا ثلاثة أنواع من مجموعة البيانات:

  1. صياغة مرئية (على سبيل المثال الصورة-الإضافات)
  2. مجموعات بيانات ضبط النص.
  3. تقلب أحمر | تعزيز التعلم من مجموعات بيانات التعليقات البشرية (RLHF)

تعليمات تعليم التعليم / التعرف على التعلم من مجموعة بيانات التعليقات البشرية (RLHF) هي مكون رئيسي في LLMS-Ergansing Ergansing مثل ChatGPT. يكرس هذا الريبو لتوفير قائمة شاملة من مجموعات البيانات المستخدمة لضبط التعليمات في مختلف LLMs ، مما يجعل من الأسهل على الباحثين والمطورين الوصول إلى هذه الموارد واستخدامها.

قوائم Codebse لتدريب LLMS الخاص بك:

  • Nichtdax/Awesome-Totly-Open-Chatgpt: قاعدة كود من بدائل مفتوحة تمامًا لـ ChatGpt

الحجم: عدد أزواج ضبط التعليمات

علامات لغوية:

  • EN: مجموعات بيانات التعليمات باللغة الإنجليزية
  • CN: مجموعات بيانات التعليمات باللغة الصينية
  • ML: [متعدد اللغات] مجموعات بيانات التعليمات بلغات متعددة

علامات المهام:

  • MT: مجموعات بيانات [متعددة المهام] تحتوي على مهام متعددة
  • TS: [محددة المهام] مجموعات بيانات مصممة لمهام محددة

ميثود الجيل:

  • HG: [مجموعة البيانات التي تم إنشاؤها البشري] مجموعات بيانات التي أنشأها البشر
  • SI: [تخصيص الذات] مجموعات البيانات التي تم إنشاؤها باستخدام طرق التخصيص الذاتي
  • MIX: [مجموعة البيانات المختلطة] تحتوي مجموعة البيانات على كل من البيانات التي تم إنشاؤها البشري والآلة
  • Col: [مجموعة مجموعة البيانات] مصنوعة من مجموعة من مجموعات البيانات الأخرى

جدول المحتويات

  1. القالب
  2. مجموعة بيانات التعليمات متعددة الوسائط
    • (الرؤية-القوارب/minigpt-4) | 5k | en | mt | mix
    • (haotian-liu/llava) | 150k | en | mt | mix
  3. مجموعة بيانات ضبط التعليمات
    • (Tatsu-lab/alpaca) | 52k | en | mt | si
    • (Gururise/ALPACA تنظيف) | 52K | EN | MT | SI
    • (Xuefuzhao/تعليمة) | 52k | en | cn | mt | si
    • (Josephuscheung/guanacodataset) | 534k | ml | mt | si
    • (hello-simpleai/hc3) | 24k | en | mt | mix
    • (Hello-Simpleai/HC3-Chinese) | 13k | CN | MT | MIX
    • (Allenai/prosocial-dialog) | 58k | en | mt | mix
    • (Allenai/Natural-instructions) | 1.6k | Ml | Mt | Hg
    • (BigScience/XP3) | n/a | ml | mt | mix
    • (Nomic-AI/GPT4ALL) | 437K | EN | MT | COL
    • (Phoebussi/alpaca-cot) | 500k | ml | mt | col
    • (Google-Research/flan) | n/a | en | mt | mix
    • (thunlp/ultrachat) | 280k | en | ts | mix
    • (cascip/chatalpaca) | 10k | en | mt | mix
    • (yeungnlp/firefly-train-1.1m) | 1100k | cn | mt | col
    • (Orhonovich/غير طبيعي-instructions) | 240k | en | mt | mix
    • (تعليمات Tuning-With-GPT-4/GPT-4-LLM) | 52K | EN | CN | MT | SI
    • (Databrickslabs/dolly) | 15k | en | mt | hg
    • (OpenAssistant/OASST1) | 161K | ML | MT | HG
    • (Ryokoai/sharegpt52k) | 90k | ml | mt | si
    • (zjunlp/mol-instructions) | 2043k | ml | mt | mix
  4. تعزيز التعلم من مجموعات بيانات التعليقات البشرية (RLHF)
    • (الإنسان/hh-rlhf) | 22k | en | mt | mix
    • (Thu-Coai/Safety-Promps) | 100k | Cn | Mt | Mix
    • (Huggingfaceh4/stack-exchange-preferences) | 10741k | en | ts | hg
    • (Stanfordnlp/shp) | 385k | en | mt | hg
    • (تعليمات Tuning-With-GPT-4/GPT-4-LLM) | 52K | EN | MT | MIX
  5. الترخيص الذي يسمح بالاستخدام التجاري

القالب

إلحاق المشروع الجديد في نهاية الملف 

 ## [ ({owner}/{project-name)|Tags} ] { https://github.com/link/to/project}

- summary:
- Data generation model:
- paper:
- License:
- Related: (if applicable)

مجموعات بيانات التعليمات متعددة الوسائط

(الرؤية-القوارب/minigpt-4) | 5k | en | mt | mix

  • ملخص: مجموعة بيانات صورة مصورة عالية الجودة ومحاذاة جيدا (على سبيل المثال ، على سبيل المثال ، نزول صورة أكثر تفصيلاً) تم إنشاؤها باستخدام محادثة بين اثنين من الروبوتات ، على غرار chatcaptioner. يمكن بعد ذلك استخدام مجموعة بيانات نص الصور هذه مع بعض قالب التعليمات المحددة مسبقًا من أجل التغذية المبتذلة.
  • الطريقة: النص ، الصورة
  • نموذج توليد البيانات: N/A
  • الورق: minigpt-4: تعزيز فهم لغة الرؤية مع نماذج اللغة الكبيرة المتقدمة
  • الترخيص: BSD 3-Clause
  • متعلق ب:
    • chatcaptioner التفاعلية للصور والفيديو

(haotian-liu/llava) | 150k | en | mt | mix

  • ملخص: LLAVA Visual Instruct 150K هي مجموعة من بيانات تتبع التعليمات المتعددة الوسائط التي تم إنشاؤها بواسطة GPT. تم بناؤه لضبط التعليمات البصرية وببناء الوسائط المتعددة الكبيرة تجاه قدرة الرؤية/اللغة GPT-4.
  • الطريقة: النص ، الصورة
  • نموذج توليد البيانات: GPT-4-0314
  • الورق: ضبط التعليمات المرئية
  • الترخيص: CC BY-NC 4.0

[({sunRainyg}/{instructcv) | en | mt | mix}] {https://github.com/alaalab/instructcv}

  • ملخص: نماذج نشر نص إلى نصوص من النص كعلماء من الرؤية العموميين
  • الطريقة: النص ، الصورة
  • ورقة: instructcv
  • الترخيص: CC BY-NC 4.0

مجموعات بيانات تتبع التعليمات

(Tatsu-lab/alpaca) | 52k | en | mt | si

  • ملخص: البيانات 52K التي تم إنشاؤها من خط أنابيب self-instruct مع 175 seed task .
  • نموذج توليد البيانات: text-davinci-003
  • الورق: الألبكة المجلس الظهر
  • الترخيص: CC BY-NC 4.0

(Gururise/ALPACA تنظيف) | 52K | EN | MT | SI

  • ملخص: مشروع قام بتنظيف مجموعة بيانات الألبكة 52K يدويًا
  • نموذج توليد البيانات: text-davinci-003
  • ورقة: N/A.
  • الترخيص: CC BY-NC 4.0

(Xuefuzhao/تعليمة) | 52k | en | cn | mt | si

  • ملخص: البيانات 52K التي تم إنشاؤها من خط أنابيب self-instruct مع 429 seed task .
  • نموذج توليد البيانات: text-davinci-003
  • ورقة: N/A.
  • الترخيص: مجموعة بيانات InstructWild مخصصة لغرض البحث غير التجاري فقط.

(Josephuscheung/guanacodataset) | 534k | ml | mt | si

  • ملخص: بيانات التعليمات 52K التي تم إنشاؤها من خط أنابيب self-instruct مع 429 seed task .
  • نموذج توليد البيانات: text-davinci-003
  • الترخيص: GPL-3.0

(hello-simpleai/hc3) | 24k | en | mt | mix

  • ملخص: أول مجموعة مقارنة بين الإنسان (الإصدار الإنجليزي) ، تسمى مجموعة بيانات HC3
  • نموذج توليد البيانات: gpt-3.5 ، human generated
  • الورق: ما مدى قرب chatgpt للخبراء البشريين؟ مجموعة المقارنة والتقييم والاكتشاف
  • الترخيص: CC BY-SA 4.0

(Hello-Simpleai/HC3-Chinese) | 13k | CN | MT | MIX

  • ملخص: أول مجموعة مقارنة بين الإنسان (النسخة الصينية) ، تسمى مجموعة بيانات HC3
  • نموذج توليد البيانات: gpt-3.5 ، human generated
  • الورق: ما مدى قرب chatgpt للخبراء البشريين؟ مجموعة المقارنة والتقييم والاكتشاف
  • الترخيص: CC BY-SA 4.0

(Allenai/prosocial-dialog) | 58k | en | mt | mix

  • ملخص: ProSocialDialog هو أول مجموعة بيانات حوار اللغة الإنجليزية على نطاق واسع لتعليم وكلاء المحادثة للاستجابة للمحتوى الإشكالي بعد المعايير الاجتماعية.
  • نموذج توليد البيانات: gpt-3.5 ، human generated
  • الورقة: prosocialdialog: العمود الفقري الإيجابي لعوامل المحادثة
  • الترخيص: CC BY 4.0

(Allenai/Natural-instructions) | 1.6k | Ml | Mt | Hg

  • ملخص: جهد مجتمعي لإنشاء مجموعة كبيرة من 1,616 diverse NLP tasks وتعريفات/تعليمات اللغة الطبيعية.
  • نموذج توليد البيانات: Human generated
  • الورقة: Super-naturalinstructions: التعميم عبر التعليمات التعريفية على 1600+ مهمة NLP
  • الترخيص: Apache License 2.0

(BigScience/XP3) | n/a | ml | mt | mix

  • ملخص: [الموارد السريعة] XP3 (مجموعة المتبادل المتقاطع من المطالبات) هي مجموعة من المطالبات ومجموعات البيانات عبر 46 من اللغات و 16 مهمة NLP.
  • نموذج توليد البيانات: N/A
  • الورقة: التعميم المتقاطع من خلال التعدد في المهام
  • الترخيص: Apache License 2.0

(Phoebussi/alpaca-cot) | 500k | ml | mt | col

  • ملخص: datset لسلسلة المنطق على أساس Llama و Alpaca. ملاحظة: سيقوم مستودع مستودعهم باستمرار بجمع ودمج مجموعات بيانات توليف التعليمات المختلفة. جيثب ريبو
  • ورقة: N/A.
  • الترخيص: Apache License 2.0

(Nomic-AI/GPT4ALL) | 437K | EN | MT | COL

  • ملخص: GPT4ALL يربح ثلاث مجموعات بيانات متاحة للجمهور: 1.LAION/OIG ، 2.Pacovaldez/Stackoverflow-Questions 3. مجموعة فرعية من BigScience/Bloomz-P3
  • نموذج توليد البيانات: N/A
  • الورق: GPT4ALL: تدريب chatbot على طراز مساعد مع تقطير البيانات على نطاق واسع من GPT-3.5 توربو
  • الترخيص: MIT License

(Teknium1/gpteacher) | 20k+| en | mt | si

  • ملخص: مجموعة من مجموعات البيانات المعيارية التي تم إنشاؤها بواسطة GPT-4 و Generial-instruct-تلوين الأدوار-الكود-
  • نموذج توليد البيانات: GPT-4
  • ورقة: N/A.
  • الترخيص: MIT License

(Google-Research/flan) | n/a | en | mt | mix

  • ملخص: يقوم مجموعة Flan بتجميع مجموعات البيانات من Flan 2021 و P3 والتعليمات الطبيعية الفائقة ، إلى جانب عشرات مجموعات البيانات في مكان واحد ، وتنسيقها في مزيج من الصفر ، والقوالب القليلة والسلسلة الفكرة
  • نموذج توليد البيانات: N/A
  • الورق: مجموعة Flan: تصميم البيانات وأساليب لضبط التعليمات الفعالة
  • الترخيص: Apache License 2.0

(thunlp/ultrachat) | 280k | en | ts | mix

  • ملخص: يهدف Ultrachat إلى إنشاء بيانات حوار مفتوحة المصدر ، واسعة النطاق ، ومتعددة الدورات. يتم إصدار الجزء الأول من Ultrachat (أي الأسئلة حول القطاع العالمي) ، والتي تحتوي على 280 كيلو كيلو حوار متنوع وغني بالمعلومات. المزيد من الحوارات حول الكتابة والخلق ، والمساعدة على المواد الحالية ستأتي.
  • نموذج توليد البيانات: GPT-3.5-turbo
  • ورقة: N/A.
  • الترخيص: CC BY-NC 4.0

(cascip/chatalpaca) | 10k | en | mt | mix

  • ملخص: بناءً على بيانات ستانفورد الألباكا ، يمتد Chatalpaca البيانات إلى تعليمات متعددة المنعطفات واستجاباتها المقابلة. المزيد من البيانات (20k) والنسخة الصينية المترجمة القادمة.
  • نموذج توليد البيانات: GPT-3.5-turbo
  • ورقة: N/A.
  • الترخيص: Apache License 2.0
  • ذات الصلة: (Tatsu-lab/alpaca) | 52k | en | mt | si

(yeungnlp/firefly-train-1.1m) | 1100k | cn | mt | col

  • ملخص: مجموعات البيانات الصينية من 23 مهمة جنبًا إلى جنب مع قوالب تعليمات مكتوبة الإنسان.
  • نموذج توليد البيانات: N/A
  • ورقة: N/A.
  • الترخيص: n/a

(Orhonovich/غير طبيعي-instructions) | 240k | en | mt | mix

  • ملخص: 64 كيلو أمثلة من خلال دفع نموذج لغة مع ثلاثة أمثلة من البذور على التعليمات واستنباط الرابع. ثم يتم توسيع المجموعة إلى 240 ألفًا عن طريق دفع النموذج لإعادة صياغة كل تعليمات.
  • نموذج توليد البيانات: text-davinci-002
  • الورق: تعليمات غير طبيعية: نماذج لغة ضبط مع (تقريبًا) لا يوجد عمل بشري
  • الترخيص: MIT License

(تعليمات Tuning-With-GPT-4/GPT-4-LLM) | 52K | EN | CN | MT | SI

  • ملخص: بيانات تتبع التعليمات 52K التي تم إنشاؤها بواسطة GPT-4 مع مطالبات الألباكا الأصلية ومطالبات الألباكا المترجمة إلى الصينية بواسطة بيانات تتبع التعليمات ChatGPT + 9K التي تم إنشاؤها بواسطة GPT-4 مع مطالبات في تعليمات غير طبيعية.
  • نموذج توليد البيانات: GPT-4
  • الورق: تعليمات ضبط مع GPT-4
  • الترخيص: CC BY-NC 4.0
  • متعلق ب:
    • (Tatsu-lab/alpaca) | 52k | en | mt | si
    • (Orhonovich/غير طبيعي-instructions) | 240k | en | mt | mix

(Databrickslabs/dolly) | 15k | en | mt | hg

  • ملخص: تم إنشاء هذا datset من قبل الآلاف من موظفي Databricks في العديد من الفئات السلوكية الموضحة في ورقة InstructGPT ، بما في ذلك العصف الذهني ، التصنيف ، QA مغلق ، جيل ، استخراج المعلومات ، ضمان الجودة المفتوح ، والتلخيص.
  • نموذج توليد البيانات: N/A
  • ورقة: دوللي مجانية
  • الترخيص: CC BY-SA 3.0

(OpenAssistant/OASST1) | 161K | ML | MT | HG

  • ملخص: محادثات OpenAssistant (OASST1) ، وهي مجموعة محادثة مساعدة على غرار الإنسان ، والتي تتكون من 161،443 رسالة موزعة عبر 66،497 شجرة محادثة ، في 35 لغة مختلفة ، مُشرح بتقديرات جودة 461،292.
  • نموذج توليد البيانات: N/A
  • الورقة: محادثات منفتحة - إضفاء الطابع الديمقراطي على محاذاة نموذج اللغة الكبيرة
  • الترخيص: Apache License 2.0

(Ryokoai/sharegpt52k) | 90k | ml | mt | si

  • ملخص: 90،000 محادثات تم كشطها عبر واجهة برمجة تطبيقات sharegpt قبل إغلاقها. تتضمن هذه المحادثات كل من مطالبات المستخدمين والاستجابات من chatgpt من Openai.
  • نموذج توليد البيانات: GPT-4 ، GPT-3.5
  • ورقة: N/A.
  • الترخيص: CC0 1.0 Universal

(zjunlp/mol-instructions) | 2043k | ml | mt | mix

  • ملخص: مجموعة بيانات تعليمات الجزيئات البيولوجية المفتوحة ، التي تتكون من 148،4 كيلو جزيئي موجه ، و 505 كيلو بروتين ، و 53 ألف تعليمات للجزيئات الحيوية.
  • نموذج توليد البيانات: GPT-3.5
  • الورق: mol-instructions: مجموعة بيانات تعليمات الجزيئات الحيوية على نطاق واسع لنماذج اللغة الكبيرة
  • الترخيص: CC BY 4.0

التعرف على التعلم من ردود الفعل البشرية (RLHF) | مجموعات البيانات الحمراء

(الإنسان/hh-rlhf) | 22k | en | mt | mix

  • ملخص: مجموعة بيانات RLHF هذه هي مجموعة بيانات "عبر الإنترنت" متكررة تتضمن بيانات من طرازات لغة 52B. أنه يحتوي على مقارنات 2K للمساعدة وعدم وجود بيانات تقلب حمراء.
  • نموذج توليد البيانات: Anthropic RL-CAI 52B
  • ورقة: تدريب مساعد مفيد وغير ضار مع التعلم التعزيز من ردود الفعل البشرية
  • الترخيص: MIT License
  • متعلق ب:
    • (hello-simpleai/hc3) | 24k | en | mt | mix
    • (Hello-Simpleai/HC3-Chinese) | 13k | CN | MT | MIX

(Thu-Coai/Safety-Promps) | 100k | Cn | Mt | Mix

  • ملخص: يطالب السلامة الصينية بتقييم وتحسين سلامة LLMs. يتضمن هذا المستودع مشهد أمني صيني 100 ألف وردود شاتغبت ، وتغطي سيناريوهات الأمن المختلفة وهجمات القيادة. يمكن استخدامه للتقييم الشامل وتحسين الأمن النموذجية ، وكذلك تعزيز معرفة النموذج بالأمان ، ومحاذاة ناتج النموذج مع القيم الإنسانية.
  • نموذج توليد البيانات: GPT-3.5
  • الورقة: تقييم السلامة لنماذج اللغة الصينية الكبيرة
  • الترخيص: Apache License 2.0

(Huggingfaceh4/stack-exchange-preferences) | 10741k | en | ts | hg

  • ملخص: تحتوي مجموعة البيانات هذه على أسئلة وأجوبة من تفريغ بيانات الفائض المكدس لغرض التدريب على نموذج التفضيل.
  • نموذج توليد البيانات: N/A
  • الورقة: مساعد لغة عامة كمختبر للمحاذاة
  • الترخيص: CC BY-SA 4.0
  • متعلق ب:
    • مكدس التبادل

(Stanfordnlp/shp) | 385k | en | mt | hg

  • ملخص: كل مثال هو منشور Reddit مع سؤال/تعليمات وزوج من التعليقات ذات المستوى الأعلى لهذا المنشور ، حيث يفضل أحد مستخدمي Reddit تعليقًا واحدًا (جماعيًا).
  • نموذج توليد البيانات: N/A
  • ورقة: N/A.
  • الترخيص: n/a

(تعليمات Tuning-With-GPT-4/GPT-4-LLM) | 52K | EN | MT | MIX

  • ملخص: الاستجابات المصنفة (ملاحظة: يتم تقييم البيانات بواسطة نموذج GPT-4 وليس الإنسان) من مطالبات الألبكة من ثلاثة نماذج (GPT-4 و GPT-3.5 و OPT-IML) عن طريق طلب GPT-4 لتقييم الجودة. يعتقد المؤلف أن "GPT-4 قادر على تحديد وإصلاح أخطائه ، والحكم بدقة على جودة الردود"
  • نموذج توليد البيانات: GPT-4
  • الورق: تعليمات ضبط مع GPT-4
  • الترخيص: CC BY-NC 4.0
  • متعلق ب:
    • (Tatsu-lab/alpaca) | 52k | en | mt | si

(reddit/eli5) | 500k | en | mt | hg

  • ملخص: تحتوي مجموعة البيانات هذه على أسئلة وأجوبة من subreddits r/esportikeimfive ، r/askhistorians و r/askscience.
  • نموذج توليد البيانات: N/A
  • ورقة: N/A.
  • الترخيص: n/a
  • ذات الصلة: ELI5 Dataset Transferation of ELI5 DataSet بتنسيق مشابه لتركيب المكدس.

الترخيص الذي يسمح بالاستخدام التجاري

ملاحظة: على الرغم من أن هذه التراخيص تسمح بالاستخدام التجاري ، فقد يكون لها متطلبات مختلفة للإسناد أو التوزيع أو التعديل. تأكد من مراجعة الشروط المحددة لكل ترخيص قبل استخدامه في مشروع تجاري.

تراخيص الاستخدام التجاري:

  1. Apache License 2.0
  2. MIT License
  3. BSD 3-Clause License
  4. BSD 2-Clause License
  5. GNU Lesser General Public License v3.0 (LGPLv3)
  6. GNU Affero General Public License v3.0 (AGPLv3)
  7. Mozilla Public License 2.0 (MPL-2.0)
  8. Eclipse Public License 2.0 (EPL-2.0)
  9. Microsoft Public License (Ms-PL)
  10. Creative Commons Attribution 4.0 International (CC BY 4.0)
  11. Creative Commons Attribution-ShareAlike 4.0 International (CC BY-SA 4.0)
  12. zlib License
  13. Boost Software License 1.0
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل