DataDreamer

https://datadreamer.dev

迅速的。生成合成數據。火車和對齊模型。

DatadReamer是一個強大的開源Python庫，用於提示，合成數據生成和培訓工作流程。它旨在簡單，極其高效和研究級。

安裝 pip3 install datadreamer.dev
demo.py	demo.py的結果
查看完整的演示腳本	請參閱合成數據集和訓練有素的模型
有關更多演示和食譜，請參閱快速旅行頁面。

對於DatadReamer，您可以：

• 創建提示工作流程：使用主要的開源或基於API的LLM來創建和運行多步，複雜的，提示工作流程。
• 生成合成數據集：生成用於新任務的合成數據集或使用LLMS增強現有數據集。
• 火車模型：對齊模型。微調模型。指令音調模型。蒸餾型。培訓現有數據或合成數據。
• ...在概述指南中了解更多有關可能的信息

DatadReamer是：

• ？簡單：簡單易用，可與明智的默認設置一起使用，但功能強大，支持出血邊緣技術。
• ？研究級：由研究人員為研究人員建造，但可供所有人訪問。專注於正確性，最佳實踐和可重複性。
• 高效：內置積極的緩存和可重複性。支持量化，參數效率訓練（LORA）等技術。
• 可重現：使用DatadReamer構建的工作流程易於共享，可重現和擴展。
• ？使共享容易：發布數據集和模型很簡單。使用元數據自動生成數據卡和型號卡。生成所需的任何引用的列表。
• ...了解有關DatadReamer背後的動機和設計原則的更多信息。

引用

請引用DatadReamer紙：

 @misc { patel2024datadreamer ,
      title = { DataDreamer: A Tool for Synthetic Data Generation and Reproducible LLM Workflows } , 
      author = { Ajay Patel and Colin Raffel and Chris Callison-Burch } ,
      year = { 2024 } ,
      eprint = { 2402.10379 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CL }
}

接觸

如果您有任何疑問，評論或反饋，請通過電子郵件（[email protected]）與我們聯繫。

---

版權所有©2024，Ajay Patel。根據MIT許可發布。

感謝您在擁抱面孔和Litellm的維護者接受DatadReamer所需的貢獻並提供上游支持所需的貢獻。

---

資金致謝

_{ODNI，IARPA：這項研究得到了國家情報總監（ODNI），情報高級研究項目活動（IARPA）的部分支持，該研究通過HIATUS計劃合同＃2022-2207222005。本文所包含的觀點和結論是作者的觀點，不應被解釋為一定代表ODNI，IARPA或美國政府的官方政策，即表示或暗示。儘管有任何版權註釋，但美國政府有權出於政府目的複制和分發重印。}