LLM的令人敬畏的人類偏好數據集？ ❤️？
LLM指導，RLHF和評估的開源人類偏好數據集的策劃列表。
對於一般的NLP數據集和文本語料庫，請查看此很棒的列表。
數據集
Openai WebGPT比較
- 20K比較每個示例都包含一個問題，一對模型答案以及每個答案的人為偏好得分。
- RLHF數據集用於培訓OpenAI WebGPT獎勵模型。
Openai摘要
- 64K文本摘要示例，包括人寫的響應和人等級的模型響應。
- RLHF數據集用於OpenAI學習中，以總結人類反饋論文。
- 在這裡探索樣本數據。
人類的幫助和無害數據集（HH-RLHF）
- 總共170k人類的偏好比較，包括收集的人類偏好數據，用於培訓一位有益且無害的助手，並通過從人類反饋和人類生成的紅色團隊中從紅色團隊語言模型中學習的數據來減少危害，並分為3個子數據庫：
- 使用上下文延伸的52B模型的基本數據集，具有44K的幫助比較和42K紅線（無害）比較。
- 使用拒絕採樣模型的52K幫助比較和2K紅色團隊比較的RS數據集，其中拒絕採樣使用了在基本數據集中訓練的偏好模型。
- 一個迭代的在線數據集，包括來自RLHF模型的數據，每週更新五個星期，並進行了22k的幫助比較。
openassistant對話數據集（OASST1）
- 人類生成的，人類註釋的助理風格的對話語料庫，該語料庫由35種語言的161k郵件組成，帶有461k質量評級，導致10K+完全註釋的對話樹。
斯坦福人類偏好數據集（SHP）
- 385K集體人類偏好對培訓RLHF獎勵模型和NLG評估模型的18個領域中的問題/說明的回答。從Reddit收集的數據集。
reddit eli5
- 從3個問答環節收集的問題，答案和分數的270k示例。
人類Chatgpt比較語料庫（HC3）
- 60k人類的答案和27k Chatgpt的答案大約24K問題。
- 兄弟姐妹數據集可用於中文。
擁抱面H4 stackexchange偏好數據集
- 1000萬個問題（> = 2個答案）和來自Stackoverflow的答案（根據投票計數得分）。
sharegpt.com
- 90K（截至2023年4月）用戶淘汰的Chatgpt互動。
要使用ShareGpt的API訪問數據，請參見此處的文檔目前禁用了ShareGPT API（“由於流量過多”）。- 在擁抱面上預先填寫的數據集。
羊駝
- OpenAI的Text-Davinci-003引擎生成的52K說明和示範用於自我實施培訓。
GPT4ALL
- 1m提示響應對使用GPT-3.5-Turbo API在2023年收集。 Githubrepo。
Databricks Dolly數據集
- Databricks員工在類別中生成的15K指令遵循記錄，包括集思廣益，分類，封閉質量檢查，發電，信息提取，開放質量質量檢查和摘要。
hh_golden
- 42K無害數據，相同的提示和“拒絕”響應與擬人HH數據集中的無害數據集，但是使用GPT4重新編寫了“選擇”響應中的響應，以產生更多無害的答案。可以在此處找到重新編寫之前和之後的比較。從經驗上講，與原始的無害數據集相比，該數據集的培訓可改善各種對齊方式（例如RLHF和DPO）的無害指標。
