awesome instruction dataset

素晴らしいテキスト/ビジュアルインストラクション - チューニングダタセット

トレーニング（テキストおよびマルチモーダル）チャットベースのLLMS（GPT-4、CHATGPT、LLAMA、ALPACA）をトレーニングするためのオープンソース命令チューニングデータセットのコレクション。現在、3種類のデータセットが含まれています。

1. 視覚インストラクション調整（例：画像導入回答）
2. テキストインストラクションチューニングデータセット。
3. レッドチーミング|人間のフィードバック（RLHF）データセットからの強化学習

命令チューニング /強化ヒューマンフィードバック（RLHF）データセットからの学習は、ChatGPTなどの指導に従うLLMの重要なコンポーネントです。このレポは、さまざまなLLMでの指導チューニングに使用されるデータセットの包括的なリストを提供することに専念しているため、研究者や開発者がこれらのリソースにアクセスして利用しやすくなります。

LLMSをトレーニングするためのcodebseのリスト：

• Nichtdax/Awesome-Totally-Open-chatgpt：ChatGptの完全にオープンな代替品のコードベース

サイズ：命令チューニングペアの数

舌タグ：

• en：英語の命令データセット
• CN：中国語の命令データセット
• ML：[多言語]複数の言語の命令データセット

タスクタグ：

• MT：[マルチタスク]複数のタスクを含むデータセット
• TS：[タスク固有]特定のタスクに合わせたデータセット

Generation-Method：

• HG：[人間生成データセット]人間によって作成されたデータセット
• SI：[自己計算]データセットは、自己計算法を使用して生成されました
• ミックス：[混合データセット]データセットには、ヒューマンとマシン生成データの両方が含まれています
• col：[データセットのコレクション]他のデータセットのコレクションから作られたデータセット

目次

1. テンプレート
2. マルチモーダル命令データセット
   • （Vision-Cair/Minigpt-4）| 5k | en | mt |ミックス
   • （Haotian-liu/llava）| 150k | en | mt | mix
3. 命令チューニングデータセット
   • （TATSU-LAB/ALPACA）| 52K | EN | MT | SI
   • （Gururise/Cleaned Alpaca）| 52K | en | mt | si
   • （xuefuzhao/instructionwild）| 52k | en | cn | mt | si
   • （Josephuscheung/guanacodataset）| 534k | ml | mt | si
   • （hello-simpleai/hc3）| 24k | en | mt |ミックス
   • （hello-simpleai/hc3-chinese）| 13k | cn | mt |ミックス
   • （Allenai/Prosocial-Dialog）| 58K | EN | MT |ミックス
   • （アレナイ/ナチュラルインストラクション）| 1.6k | ml | mt | hg
   • （BigScience/xp3）| n/a | ml | mt |ミックス
   • （nomic-ai/gpt4all）| 437k | en | mt | col
   • （phoebussi/alpaca-cot）| 500k | ml | mt | col
   • （Google-Research/Flan）| n/a | en | mt |ミックス
   • （thunlp/ultrachat）| 280k | en | ts |ミックス
   • （cascip/chatalpaca）| 10k | en | mt |ミックス
   • （yeungnlp/firefly-train-1.1m）| 1100k | cn | mt | col
   • （Orhonovich/不自然なインストラクション）| 240k | en | mt |ミックス
   • （instruction-tuning-with-gpt-4/gpt-4-llm）| 52k | en | cn | mt | si
   • （databrickslabs/dolly）| 15k | en | mt | hg
   • （OpenAssistant/OASST1）| 161K | ML | MT | HG
   • （ryokoai/sharegpt52k）| 90k | ml | mt | si
   • （zjunlp/mol-instructions）| 2043k | ml | mt |ミックス
4. 人間のフィードバック（RLHF）データセットからの強化学習
   • （人類/hh-rlhf）| 22k | en | mt | mix
   • （Thu-Coai/Safety-Prompts）| 100K | CN | MT | MIX
   • （Huggingfaceh4/stack-exchange-preferences）| 10741k | en | ts | hg
   • （stanfordnlp/shp）| 385k | en | mt | hg
   • （命令-With-GPT-4/gpt-4-llm）| 52k | en | mt | mix
5. 商用使用を許可するライセンス

テンプレート

ファイルの最後に新しいプロジェクトを追加します

 ## [ ({owner}/{project-name)|Tags} ] { https://github.com/link/to/project}

- summary:
- Data generation model:
- paper:
- License:
- Related: (if applicable)

マルチモーダル命令データセット

（Vision-Cair/Minigpt-4）| 5k | en | mt |ミックス

• 概要：ChatCaptionerと同様に、2つのボット間で会話を使用して作成された高品質で十分に整合した（より詳細な画像の脱裂）画像テキストデータセット。このイメージテキストデータセットは、画像インストラクション回答のためのいくつかの事前定義された命令テンプレートで使用できます。
• モダリティ：テキスト、画像
• データ生成モデル：n/a
• 論文：Minigpt-4：高度な大手言語モデルによるビジョン言語理解の向上
• ライセンス： BSD 3-Clause
• 関連している：
  • 画像とビデオのインタラクティブなチャットキャプション

（Haotian-liu/llava）| 150k | en | mt | mix

• 概要：Llava Visual Instruct 150Kは、GPTで生成されたマルチモーダル命令に従うデータのセットです。視覚的な指導の調整と、GPT-4ビジョン/言語機能に向けて大規模なマルチモーダルを構築するために構築されています。
• モダリティ：テキスト、画像
• データ生成モデル： GPT-4-0314
• 論文：視覚的な指示の調整
• ライセンス： CC BY-NC 4.0

[（{sunrainyg}/{instructcv）| en | mt | mix}] {https://github.com/alaalab/instructcv}

• 概要：Vision Generalistsとしての命令チューニングテキストから画像への拡散モデル
• モダリティ：テキスト、画像
• 論文：Instructcv
• ライセンス： CC BY-NC 4.0

命令に従うデータセット

（TATSU-LAB/ALPACA）| 52K | EN | MT | SI

• 概要： 175 seed taskを書いた人間を使用した修正されたself-instructパイプラインから生成された52Kデータ。
• データ生成モデル： text-davinci-003
• 論文：Alpaca-blog
• ライセンス： CC BY-NC 4.0

（Gururise/Cleaned Alpaca）| 52K | en | mt | si

• 概要：Alpaca 52Kデータセットを手動でクリーニングしたプロジェクト
• データ生成モデル： text-davinci-003
• 論文：n/a
• ライセンス： CC BY-NC 4.0

（xuefuzhao/instructionwild）| 52k | en | cn | mt | si

• 概要：人間の書面による429 seed taskを備えた修正されたself-instructパイプラインから生成された52Kデータ。
• データ生成モデル： text-davinci-003
• 論文：n/a
• ライセンス：InstructWildデータセットは、非営利の研究目的のみを目的としています。

（Josephuscheung/guanacodataset）| 534k | ml | mt | si

• 概要： 52K命令データは、人間の書面による429 seed taskを使用した修正されたself-instructパイプラインから生成されました。
• データ生成モデル： text-davinci-003
• ライセンス： GPL-3.0

（hello-simpleai/hc3）| 24k | en | mt |ミックス

• 概要：最初のHuman-chatgpt比較コーパス（英語版）、hc3データセットという名前
• データ生成モデル： gpt-3.5 、 human generated
• 論文：ChatGptは人間の専門家にどれくらい近づいていますか？比較コーパス、評価、および検出
• ライセンス： CC BY-SA 4.0

（hello-simpleai/hc3-chinese）| 13k | cn | mt |ミックス

• 概要：HC3データセットという名前の最初のHuman-chatgpt比較コーパス（中国語版）
• データ生成モデル： gpt-3.5 、 human generated
• 論文：ChatGptは人間の専門家にどれくらい近づいていますか？比較コーパス、評価、および検出
• ライセンス： CC BY-SA 4.0

（Allenai/Prosocial-Dialog）| 58K | EN | MT |ミックス

• 概要：Prosocialdialogは、社会的規範に従って問題のあるコンテンツに対応するように会話エージェントに教えるための最初の大規模なマルチターン英語ダイアログデータセットです。
• データ生成モデル： gpt-3.5 、 human generated
• 論文：Prosocialdialog：会話エージェントのための向社会的バックボーン
• ライセンス： CC BY 4.0

（アレナイ/ナチュラルインストラクション）| 1.6k | ml | mt | hg

• 概要： 1,616 diverse NLP tasksとその自然言語の定義/指示の大規模なコレクションを作成するためのコミュニティの取り組み。
• データ生成モデル： Human generated
• ペーパー：超自然炎の構造：1600以上のNLPタスクに関する宣言的指示による一般化
• ライセンス： Apache License 2.0

（BigScience/xp3）| n/a | ml | mt |ミックス

• 概要：[プロンプトリソース] XP3（クロスリリングパブリックプールのプロンプトのプール）は、46の言語と16のNLPタスクにわたるプロンプトとデータセットのコレクションです。
• データ生成モデル：n/a
• 論文：MultiTask Finetuningを介した交差一般化
• ライセンス： Apache License 2.0

（phoebussi/alpaca-cot）| 500k | ml | mt | col

• 概要：LlamaとAlpacaに基づく考え方の推論のデータセット。注：リポジトリは、さまざまな命令チューニングデータセットを継続的に収集して組み合わせます。 Github Repo
• 論文：n/a
• ライセンス： Apache License 2.0

（nomic-ai/gpt4all）| 437k | en | mt | col

• 概要：GPT4ALLレバレッジ3つの公開されているデータセット：1.Laion/OIG、2.PacovalDez/StackoverFlow-Questions3。BigSience/Bloomz-P3のサブセット
• データ生成モデル：n/a
• 論文：GPT4ALL：GPT-3.5-Turboからの大規模なデータ蒸留でアシスタントスタイルのチャットボットをトレーニングする
• ライセンス： MIT License

（teknium1/gpteacher）| 20k+| en | mt | si

• 概要：GPT-4、一般的なインストラクション-RolePlay-Instruct-Code-Instruct-およびToolformerによって生成されたモジュラーデータセットのコレクション
• データ生成モデル： GPT-4
• 論文：n/a
• ライセンス： MIT License

（Google-Research/Flan）| n/a | en | mt |ミックス

• 概要：Flanコレクションは、Flan 2021、P3、超自然指示のデータセットをコンパイルし、1つの場所にさらに数十のデータセットを組み合わせて、ゼロショット、少数のショット、チェーンのテンプレートのミックスにフォーマットします
• データ生成モデル：n/a
• 論文：FLANコレクション：効果的な指導の調整のためのデータと方法の設計
• ライセンス： Apache License 2.0

（thunlp/ultrachat）| 280k | en | ts |ミックス

• 概要：Ultrachatは、オープンソース、大規模、およびマルチラウンドダイアログデータを構築することを目的としています。 Ultrachatの最初の部分（つまり、世界セクターに関する質問）がリリースされ、280kの多様で有益な対話が含まれています。執筆と創造についてのより多くの対話、既存の資料に関する支援が来ます。
• データ生成モデル： GPT-3.5-turbo
• 論文：n/a
• ライセンス： CC BY-NC 4.0

（cascip/chatalpaca）| 10k | en | mt |ミックス

• 概要：Stanford Alpacaデータに基づいて、ChatalPacaはデータをマルチターン命令と対応する応答に拡張します。より多くのデータ（20k）と中国の翻訳バージョンが来ます。
• データ生成モデル： GPT-3.5-turbo
• 論文：n/a
• ライセンス： Apache License 2.0
• 関連：（TATSU-LAB/ALPACA）| 52K | EN | MT | SI

（yeungnlp/firefly-train-1.1m）| 1100k | cn | mt | col

• 概要：人間が作成した命令テンプレートと組み合わせた23のタスクの中国データセット。
• データ生成モデル：n/a
• 論文：n/a
• ライセンス：n/a

（Orhonovich/不自然なインストラクション）| 240k | en | mt |ミックス

• 概要：64kの例では、指示の3つのシード例で言語モデルを促し、4分の1を引き出すことによる例。次に、セットは各命令を再配置するようにモデルに促すことにより、240kに拡張されます。
• データ生成モデル： text-davinci-002
• 論文：不自然な指示：（ほとんど）人間の労働を伴わない言語モデルの調整
• ライセンス： MIT License

（instruction-tuning-with-gpt-4/gpt-4-llm）| 52k | en | cn | mt | si

• 概要：GPT-4によって生成された52K命令に従って、元のALPACAプロンプトとALPACAプロンプトを使用して、CHATGPT + 9K命令に従うデータによって中国語に翻訳され、GPT-4によって生成された不自然な指示のプロンプトが生成されました。
• データ生成モデル： GPT-4
• 論文：GPT-4による指導チューニング
• ライセンス： CC BY-NC 4.0
• 関連している：
  • （TATSU-LAB/ALPACA）| 52K | EN | MT | SI
  • （Orhonovich/不自然なインストラクション）| 240k | en | mt |ミックス

（databrickslabs/dolly）| 15k | en | mt | hg

• 概要：このデータセットは、ブレーンストーミング、分類、閉鎖QA、生成、情報抽出、オープンQA、要約など、Instructgptペーパーで概説されているいくつかの行動カテゴリの数千人のデータビックの従業員によって生成されました。
• データ生成モデル：n/a
• 論文：無料のドリー
• ライセンス： CC BY-SA 3.0

（OpenAssistant/OASST1）| 161K | ML | MT | HG

• 概要：OpenAssistant会話（OASST1）は、66,497の会話ツリーに分配された161,443のメッセージで構成される人間で生成された、人間が生成されたアシスタントスタイルの会話コーパスであり、461,292の品質評価を注釈しました。
• データ生成モデル：n/a
• 論文：OpenAssistantの会話 - 大規模な言語モデルのアライメントを民主化する
• ライセンス： Apache License 2.0

（ryokoai/sharegpt52k）| 90k | ml | mt | si

• 概要：ShareGPT APIが閉鎖される前に、90,000の会話がShareGPT APIを介して削りました。これらの会話には、OpenaiのChatGPTからのユーザープロンプトと応答の両方が含まれます。
• データ生成モデル： GPT-4 、 GPT-3.5
• 論文：n/a
• ライセンス： CC0 1.0 Universal

（zjunlp/mol-instructions）| 2043k | ml | mt |ミックス

• 概要：148,4K分子指向、505Kタンパク質指向、および53K生体分子のテキスト命令で構成される、オープンで大規模な生体分子命令データセット。
• データ生成モデル： GPT-3.5
• 論文：Mol-Instructions：大規模な言語モデル用の大規模な生体分子命令データセット
• ライセンス： CC BY 4.0

人間のフィードバックからの強化学習（RLHF）|レッドチーミングデータセット

（人類/hh-rlhf）| 22k | en | mt | mix

• 概要：このRLHFデータセットは、52B言語モデルからのデータを含む反復「オンライン」データセットです。 22Kの有用性の比較が含まれており、レッドチームのデータは含まれていません。
• データ生成モデル： Anthropic RL-CAI 52B
• 論文：人間のフィードバックからの強化学習で役立つ無害なアシスタントをトレーニングする
• ライセンス： MIT License
• 関連している：
  • （hello-simpleai/hc3）| 24k | en | mt |ミックス
  • （hello-simpleai/hc3-chinese）| 13k | cn | mt |ミックス

（Thu-Coai/Safety-Prompts）| 100K | CN | MT | MIX

• 概要：中国の安全性は、LLMSの安全性を評価および改善するためのプロンプトがあります。このリポジトリには、中国のセキュリティシーンのプロンプトとCHATGPTの応答が100,000個あり、さまざまなセキュリティシナリオとコマンド攻撃をカバーしています。モデルセキュリティの包括的な評価と改善、およびモデルのセキュリティに関する知識を強化し、モデルの出力を人間の価値と調整するために使用できます。
• データ生成モデル： GPT-3.5
• 論文：中国の大手言語モデルの安全性評価
• ライセンス： Apache License 2.0

（Huggingfaceh4/stack-exchange-preferences）| 10741k | en | ts | hg

• 概要：このデータセットには、設定モデルトレーニングを目的として、スタックオーバーフローデータダンプからの質問と回答が含まれています。
• データ生成モデル：n/a
• 論文：調整のための研究室としての一般的な言語アシスタント
• ライセンス： CC BY-SA 4.0
• 関連している：
  • スタック交換用ペア

（stanfordnlp/shp）| 385k | en | mt | hg

• 概要：各例は、質問/指示とその投稿のトップレベルのコメントを備えたRedditの投稿であり、Redditユーザーが（まとめて）より優先します。
• データ生成モデル：n/a
• 論文：n/a
• ライセンス：n/a

（命令-With-GPT-4/gpt-4-llm）| 52k | en | mt | mix

• 概要：ランク付けされた応答（注：データはGPT-4モデルではなくGPT-4モデルによって評価されます）ALPACAプロンプトの3つのモデル（GPT-4、GPT-3.5およびOPT-IML）からのプロンプトは、GPT-4に品質の評価を求めます。著者は、「GPT-4は独自の間違いを特定して修正し、応答の質を正確に判断できる」と考えています。
• データ生成モデル： GPT-4
• 論文：GPT-4による指導チューニング
• ライセンス： CC BY-NC 4.0
• 関連している：
  • （TATSU-LAB/ALPACA）| 52K | EN | MT | SI

（reddit/eli5）| 500k | en | mt | hg

• 概要：このデータセットには、subreddits r/explainlikeimfive、r/askhistorians、r/askscienceからの質問と回答が含まれています。
• データ生成モデル：n/a
• 論文：n/a
• ライセンス：n/a
• 関連：ELI5データセットStack-Exchange-Pairedと同様の形式でのELI5データセットの変換。

商用使用を許可するライセンス

注：これらのライセンスは商業用途を可能にしますが、帰属、流通、または変更に関するさまざまな要件がある場合があります。商用プロジェクトで使用する前に、各ライセンスの特定の条件を必ず確認してください。

商用利用ライセンス：

1. Apache License 2.0
2. MIT License
3. BSD 3-Clause License
4. BSD 2-Clause License
5. GNU Lesser General Public License v3.0 (LGPLv3)
6. GNU Affero General Public License v3.0 (AGPLv3)
7. Mozilla Public License 2.0 (MPL-2.0)
8. Eclipse Public License 2.0 (EPL-2.0)
9. Microsoft Public License (Ms-PL)
10. Creative Commons Attribution 4.0 International (CC BY 4.0)
11. Creative Commons Attribution-ShareAlike 4.0 International (CC BY-SA 4.0)
12. zlib License
13. Boost Software License 1.0