awesome instruction dataset

很棒的文本/視覺指導 - 調整數據

開源指令調諧數據集的集合，以訓練基於聊天的LLM（GPT-4，Chatgpt，Llama，Llama，aspaca）。我們目前包括三種類型的數據集：

1. 視覺指導（例如圖像 - 建築 - 解答）
2. 文本指導數據集。
3. 紅隊|從人類反饋（RLHF）數據集中學習的強化學習

從人類反饋（RLHF）數據集中進行的指令調整 /加固學習是指導關注LLMS（例如ChatGpt）的關鍵組成部分。該倉庫致力於提供各種LLM中用於指導調整的數據集的全面列表，從而使研究人員和開發人員更容易訪問和利用這些資源。

培訓您的LLM的代碼列表：

• Nichtdax/Awesome-toply-open-chatgpt：一個完全開放替代的代碼庫

尺寸：指令調整對的數量

lingual-tags：

• EN：英文指令數據集
• CN：中文指令數據集
• ML：[多語言]多種語言的指令數據集

任務標籤：

• MT：[多任務]包含多個任務的數據集
• TS：[特定於任務]針對特定任務量身定制的數據集

生成方法：

• HG：[人類生成的數據集]人類創建的數據集
• SI：[自我指導]使用自我教學方法生成的數據集
• 混合：[混合數據集]數據集包含人類和機器生成的數據
• col：[數據集的收集]數據集由其他數據集的集合製成

目錄

1. 模板
2. 多模式指令數據集
   • （Vision-cair/Minigpt-4）| 5k | en | mt |混合
   • （Haotian-liu/llava）| 150K | en | mt |混合
3. 指令調諧數據集
   • （tatsu-lab/aspaca）| 52k | en | mt | si
   • （gururise/cleaned羊駝）| 52k | en | mt | si
   • （Xuefuzhao/cestibtionWild）| 52K | en | cn | mt | si
   • （josephuscheung/guanacodataset）| 534K | ml | mt | si
   • （Hello-simpleai/hc3）| 24k | en | mt |混合
   • （Hello-simpleai/hc3-中心）| 13k | cn | mt |混合
   • （allenai/prosocial-dialog）| 58k | en | mt |混合
   • （Allenai/自然建築）| 1.6K | Ml | Mt | Hg
   • （bigscience/xp3）| n/a | ml | mt |混合
   • （nomic-ai/gpt4all）| 437K | en | mt | col
   • （phoebussi/alpaca-cot）| 500k | ml | mt | col
   • （Google-Research/Flan）| n/a | en | mt |混合
   • （thunlp/ultrachat）| 280K | en | ts |混合
   • （cascip/chatalpaca）| 10k | en | mt |混合
   • （Yeungnlp/Firefly-Train-1.1m）| 1100K | CN | MT | Col
   • （Orhonovich/Unnatural-Instructions）| 240K | en | Mt | Mix
   • （指令 - tuning-with-with-gpt-4/gpt-4-llm）| 52K | en | cn | mt | si
   • （Databrickslabs/dolly）| 15k | en | mt | hg
   • （openassistant/oasst1）| 161K | ml | mt | hg
   • （ryokoai/sharegpt52k）| 90k | ml | mt | si
   • （zjunlp/mol-rinstructions）| 2043k | ml | mt |混合
4. 從人類反饋（RLHF）數據集中學習的強化學習
   • （擬人/HH-RLHF）| 22k | en | mt |混合
   • （thu-coai/Safety-Prompts）| 100K | CN | MT |混合
   • （huggingfaceh4/stack-exchange-preferences）| 10741K | en | ts | hg
   • （StanfordNLP/SHP）| 385K | en | Mt | Hg
   • （指令 - tuning-with-with-gpt-4/gpt-4-llm）| 52K | en | mt | mix
5. 允許商業用途的許可證

模板

在文件末尾附加新項目

 ## [ ({owner}/{project-name)|Tags} ] { https://github.com/link/to/project}

- summary:
- Data generation model:
- paper:
- License:
- Related: (if applicable)

多模式指令數據集

（Vision-cair/Minigpt-4）| 5k | en | mt |混合

• 摘要：使用兩個機器人之間的對話創建的高質量，良好的（例如，更詳細的圖像倒數）圖像 - 文本數據集，類似於chatcaptioner。然後，可以將此圖像文本數據集與一些預定義的指令模板一起使用，以用於圖像 - 指令 - 答案框架。
• 模式：文字，圖像
• 數據生成模型：不/A
• 論文：Minigpt-4：使用先進的大語言模型增強視覺語言理解
• 許可證： BSD 3-Clause
• 有關的：
  • 圖像和視頻的交互式聊天儀

（Haotian-liu/llava）| 150K | en | mt |混合

• 摘要：Llava Visual指令150K是GPT生成的多模式指令數據的一組。它是用於視覺教學調整和構建大型多模式的構建的，該多式模式針對GPT-4視覺/語言能力。
• 模式：文字，圖像
• 數據生成模型： GPT-4-0314
• 論文：視覺教學調整
• 許可證： CC BY-NC 4.0

[（{{sunrainyg}/{constructcv）| en | mt | mix}] {https://github.com/alaalab/instructcv}

• 摘要：作為視覺通才的指令調整的文本對圖像擴散模型
• 模式：文字，圖像
• 論文：指令
• 許可證： CC BY-NC 4.0

指導關注數據集

（tatsu-lab/aspaca）| 52K | en | mt | si

• 摘要：通過人類書面175 seed task由修改的self-instruct管道產生的52K數據。
• 數據生成模型： text-davinci-003
• 紙：羊駝博客
• 許可證： CC BY-NC 4.0

（gururise/cleaned羊駝）| 52k | en | mt | si

• 摘要：手動清潔羊駝52k數據集的項目
• 數據生成模型： text-davinci-003
• 紙：不/a
• 許可證： CC BY-NC 4.0

（Xuefuzhao/cestibtionWild）| 52K | en | cn | mt | si

• 摘要：通過人類書面429 seed task由修改的self-instruct管道產生的52K數據。
• 數據生成模型： text-davinci-003
• 紙：不/a
• 許可證：指導翼數據集僅用於非商業研究目的。

（josephuscheung/guanacodataset）| 534K | ml | mt | si

• 摘要：通過人類書面429 seed task由修改的self-instruct管道生成的52K指令數據。
• 數據生成模型： text-davinci-003
• 許可證： GPL-3.0

（Hello-simpleai/hc3）| 24k | en | mt |混合

• 摘要：第一個人類聊天比較語料庫（英語版本），名為HC3數據集
• 數據生成模型： gpt-3.5 ， human generated
• 論文：與人類專家有多近？比較語料庫，評估和檢測
• 許可證： CC BY-SA 4.0

（Hello-simpleai/hc3-中心）| 13k | cn | mt |混合

• 摘要：第一個人類聊天比較語料庫（中文版本），名為HC3數據集
• 數據生成模型： gpt-3.5 ， human generated
• 論文：與人類專家有多近？比較語料庫，評估和檢測
• 許可證： CC BY-SA 4.0

（allenai/prosocial-dialog）| 58k | en | mt |混合

• 摘要：ProsociaLdialog是第一個大規模的多轉向英語對話數據集，它教會對話代理在社會規範之後響應有問題的內容。
• 數據生成模型： gpt-3.5 ， human generated
• 論文：積極性：對話代理的親社會主鏈
• 許可證： CC BY 4.0

（Allenai/自然建築）| 1.6K | Ml | Mt | Hg

• 摘要：社區努力創建大量1,616 diverse NLP tasks及其自然語言定義/說明。
• 數據生成模型： Human generated
• 論文：超靜脈結構：通過聲明性說明對1600+ NLP任務進行概括
• 許可證： Apache License 2.0

（bigscience/xp3）| n/a | ml | mt |混合

• 摘要：[提示回源] XP3（跨語言公共提示）是46種語言和16個NLP任務的提示和數據集的集合。
• 數據生成模型：不/A
• 論文：通過多任務登錄的跨語言概括
• 許可證： Apache License 2.0

（phoebussi/alpaca-cot）| 500k | ml | mt | col

• 摘要：基於駱駝和羊駝的基於思想鏈推理的數據集。注意：他們的存儲庫將不斷收集和組合各種指令調整數據集。 Github倉庫
• 紙：不/a
• 許可證： Apache License 2.0

（nomic-ai/gpt4all）| 437K | en | mt | col

• 摘要：gpt4 all利用三個公開可用數據集：1。laion/oig，2.pacovaldez/stackoverflow-問題3。bigscience/bloomz-p3
• 數據生成模型：不/A
• 論文：GPT4All：培訓助理風格的聊天機器人，並從GPT-3.5-Turbo中進行大規模數據蒸餾
• 許可證： MIT License

（teknium1/gpteacher）| 20k+| en | mt | si

• 摘要：由GPT-4，通用教學-Roleplay-Instruct-code-Instruct-和Toolformer生成的模塊化數據集的集合
• 數據生成模型： GPT-4
• 紙：不/a
• 許可證： MIT License

（Google-Research/Flan）| n/a | en | mt |混合

• 摘要：Flan Collection收集了Flan 2021，P3，超自然說明的數據集，以及數十個數據集中，將它們格式化為一個零攝像機，幾乎沒有射擊和鏈條的模板的組合
• 數據生成模型：不/A
• 論文：Flan Collection：設計數據和有效指導調整的方法
• 許可證： Apache License 2.0

（thunlp/ultrachat）| 280K | en | ts |混合

• 摘要：Ultrachat旨在構建開源，大規模和多輪對話數據。 Ultrachat的第一部分（即有關世界部門的問題）已發布，其中包含280k多樣化且內容豐富的對話。關於寫作和創作的更多對話，將要對現有材料進行幫助。
• 數據生成模型： GPT-3.5-turbo
• 紙：不/a
• 許可證： CC BY-NC 4.0

（cascip/chatalpaca）| 10k | en | mt |混合

• 摘要：基於斯坦福羊駝數據，Chatalpaca將數據擴展到多轉向說明及其相應的響應。更多數據（20K）和中文翻譯版本將發布。
• 數據生成模型： GPT-3.5-turbo
• 紙：不/a
• 許可證： Apache License 2.0
• 相關：（ tatsu-lab/aspaca）| 52k | en | mt | si

（Yeungnlp/Firefly-Train-1.1m）| 1100K | CN | MT | Col

• 摘要：23個任務的中國數據集與人寫的指令模板相結合。
• 數據生成模型：不/A
• 紙：不/a
• 許可證：N/A。

（Orhonovich/Unnatural-Instructions）| 240K | en | Mt | Mix

• 摘要：64K示例通過提示具有指令三個種子示例的語言模型並引起第四個種子示例。然後，通過提示模型重塑每種說明，將集合擴展到240K。
• 數據生成模型： text-davinci-002
• 論文：不自然的說明：使用（幾乎）沒有人工勞動的語言模型
• 許可證： MIT License

（指令 - tuning-with-with-gpt-4/gpt-4-llm）| 52K | en | cn | mt | si

• 摘要：由GPT-4生成的52K指令跟隨數據，其原始羊駝提示和羊駝提示和羊駝提示通過ChatGpt + 9K指令 - 遵循GPT-4的數據，該數據由GPT-4產生的數據，並在不自然的指令中使用提示。
• 數據生成模型： GPT-4
• 論文：使用GPT-4進行指導調整
• 許可證： CC BY-NC 4.0
• 有關的：
  • （tatsu-lab/aspaca）| 52K | en | mt | si
  • （Orhonovich/Unnatural-Instructions）| 240K | en | Mt | Mix

（Databrickslabs/dolly）| 15k | en | mt | hg

• 摘要：此數據集是由數以千計的Databricks員工生成的，其中包括Reactiongpt論文中概述的幾個行為類別，包括集思廣益，分類，封閉質量檢查，發電，信息提取，開放質量請QA和摘要。
• 數據生成模型：不/A
• 紙：免費的多莉
• 許可證： CC BY-SA 3.0

（openassistant/oasst1）| 161K | ml | mt | hg

• 摘要：開放式對話（OASST1），一種人類生成的，人類通知的助理風格的對話語料庫，由161,443個消息組成，分佈在66,497個對話樹上，使用35種不同的語言，並註明了461,292個質量評級。
• 數據生成模型：不/A
• 論文：開放式對話 - 民主化大語言模型一致性
• 許可證： Apache License 2.0

（ryokoai/sharegpt52k）| 90k | ml | mt | si

• 摘要：在關閉之前，通過ShareGpt API刮擦了90,000次對話。這些對話包括用戶提示和OpenAI的Chatgpt的響應。
• 數據生成模型： GPT-4 ， GPT-3.5
• 紙：不/a
• 許可證： CC0 1.0 Universal

（zjunlp/mol-rinstructions）| 2043k | ml | mt |混合

• 摘要：一個開放的大規模生物分子指令數據集，該數據集由148,4K分子麵向505K蛋白質的蛋白質和53K生物分子文本指令組成。
• 數據生成模型： GPT-3.5
• 論文：摩爾指導：大型大型語言模型的大規模生物分子指令數據集
• 許可證： CC BY 4.0

從人類反饋（RLHF）學習的強化學習|紅色團隊數據集

（擬人/HH-RLHF）| 22k | en | mt |混合

• 摘要：此RLHF數據集是一個迭代的“在線”數據集，其中包括來自52B語言模型的數據。它包含22k的幫助比較，沒有紅色的數據。
• 數據生成模型： Anthropic RL-CAI 52B
• 論文：培訓一位有益而無害的助手，並從人類反饋中學習
• 許可證： MIT License
• 有關的：
  • （Hello-simpleai/hc3）| 24k | en | mt |混合
  • （Hello-simpleai/hc3-中心）| 13k | cn | mt |混合

（thu-coai/Safety-Prompts）| 100K | CN | MT |混合

• 摘要：中國安全提示評估和改善LLM的安全性。該存儲庫包括100K中國安全場景提示和CHATGPT響應，涵蓋了各種安全方案和命令攻擊。它可用於全面評估和改進模型安全性，以及增強模型的安全性知識，使模型輸出與人類價值觀保持一致。
• 數據生成模型： GPT-3.5
• 論文：中國大語模型的安全評估
• 許可證： Apache License 2.0

（huggingfaceh4/stack-exchange-preferences）| 10741K | en | ts | hg

• 摘要：此數據集包含堆棧溢出數據轉儲中的問題和答案，以進行偏好模型培訓。
• 數據生成模型：不/A
• 論文：通用語言助理作為對齊實驗室的
• 許可證： CC BY-SA 4.0
• 有關的：
  • 堆棧交換

（StanfordNLP/SHP）| 385K | en | Mt | Hg

• 摘要：每個示例都是一個reddit帖子，其中包含問題/指令和該帖子的兩對頂級評論，其中Reddit用戶更喜歡一個評論（共同）。
• 數據生成模型：不/A
• 紙：不/a
• 許可證：N/A。

（指令 - tuning-with-with-gpt-4/gpt-4-llm）| 52K | en | mt | mix

• 摘要：通過要求GPT-4評分質量來評估三種型號（GPT-4，GPT-3.5和OPT-IML）的羊駝提示（GPT-4模型不是人類）的排名響應（注意：數據。作者認為“ GPT-4能夠識別和解決自己的錯誤，並準確判斷響應質量”
• 數據生成模型： GPT-4
• 論文：使用GPT-4進行指導調整
• 許可證： CC BY-NC 4.0
• 有關的：
  • （tatsu-lab/aspaca）| 52k | en | mt | si

（reddit/eli5）| 500k | en | mt | hg

• 摘要：此數據集包含subreddits r/dimendlikeimfive，r/askhistorians和r/askscience的問題和答案。
• 數據生成模型：不/A
• 紙：不/a
• 許可證：N/A。
• 相關：ELI5數據集以類似於堆棧交換對象的格式對ELI5數據集的轉換。

允許商業用途的許可證

注意：儘管這些許可證允許商業使用，但它們可能對歸因，分發或修改有不同的要求。在商業項目中使用該許可之前，請務必查看每個許可證的具體條款。

商業使用許可證：

1. Apache License 2.0
2. MIT License
3. BSD 3-Clause License
4. BSD 2-Clause License
5. GNU Lesser General Public License v3.0 (LGPLv3)
6. GNU Affero General Public License v3.0 (AGPLv3)
7. Mozilla Public License 2.0 (MPL-2.0)
8. Eclipse Public License 2.0 (EPL-2.0)
9. Microsoft Public License (Ms-PL)
10. Creative Commons Attribution 4.0 International (CC BY 4.0)
11. Creative Commons Attribution-ShareAlike 4.0 International (CC BY-SA 4.0)
12. zlib License
13. Boost Software License 1.0