DataDreamer

https://datadreamer.dev

迅速的。生成合成数据。火车和对齐模型。

DatadReamer是一个强大的开源Python库，用于提示，合成数据生成和培训工作流程。它旨在简单，极其高效和研究级。

安装 pip3 install datadreamer.dev
demo.py	demo.py的结果
查看完整的演示脚本	请参阅合成数据集和训练有素的模型
有关更多演示和食谱，请参阅快速旅行页面。

对于DatadReamer，您可以：

• 创建提示工作流程：使用主要的开源或基于API的LLM来创建和运行多步，复杂的，提示工作流程。
• 生成合成数据集：生成用于新任务的合成数据集或使用LLMS增强现有数据集。
• 火车模型：对齐模型。微调模型。指令音调模型。蒸馏型。培训现有数据或合成数据。
• ...在概述指南中了解更多有关可能的信息

DatadReamer是：

• ？简单：简单易用，可与明智的默认设置一起使用，但功能强大，支持出血边缘技术。
• ？研究级：由研究人员为研究人员建造，但可供所有人访问。专注于正确性，最佳实践和可重复性。
• 高效：内置积极的缓存和可重复性。支持量化，参数效率训练（LORA）等技术。
• 可重现：使用DatadReamer构建的工作流程易于共享，可重现和扩展。
• ？使共享容易：发布数据集和模型很简单。使用元数据自动生成数据卡和型号卡。生成所需的任何引用的列表。
• ...了解有关DatadReamer背后的动机和设计原则的更多信息。

引用

请引用DatadReamer纸：

 @misc { patel2024datadreamer ,
      title = { DataDreamer: A Tool for Synthetic Data Generation and Reproducible LLM Workflows } , 
      author = { Ajay Patel and Colin Raffel and Chris Callison-Burch } ,
      year = { 2024 } ,
      eprint = { 2402.10379 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CL }
}

接触

如果您有任何疑问，评论或反馈，请通过电子邮件（[email protected]）与我们联系。

---

版权所有©2024，Ajay Patel。根据MIT许可发布。

感谢您在拥抱面孔和Litellm的维护者接受DatadReamer所需的贡献并提供上游支持所需的贡献。

---

资金致谢

_{ODNI，IARPA：这项研究得到了国家情报总监（ODNI），情报高级研究项目活动（IARPA）的部分支持，该研究通过HIATUS计划合同＃2022-2207222005。本文所包含的观点和结论是作者的观点，不应被解释为一定代表ODNI，IARPA或美国政府的官方政策，即表示或暗示。尽管有任何版权注释，但美国政府有权出于政府目的复制和分发重印。}