DataDreamerダウンロード - DataDreamerソースコードのダウンロード

DataDreamer

その他のソースコード

v0.38.0

ダウンロード

https://datadreamer.dev

プロンプト。合成データを生成します。モデルを訓練および整列させます。

DatadReamerは、プロンプト、合成データ生成、トレーニングワークフローのための強力なオープンソースPythonライブラリです。シンプルで、非常に効率的で、研究グレードになるように設計されています。

`demo.py`	`demo.py`の結果
インストール pip3 install datadreamer.dev
完全なデモスクリプトを参照してください	合成データセットと訓練されたモデルを参照してください
その他のデモンストレーションとレシピについては、クイックツアーページをご覧ください。

DatadReamerを使用すると、次のことができます。

プロンプトのワークフローを作成します：主要なオープンソースまたはAPIベースのLLMを使用して、マルチステップ、複雑な、プロンプトワークフローを簡単に作成して実行します。
合成データセットの生成：新しいタスクの合成データセットを生成するか、LLMを使用して既存のデータセットを拡張します。
列車モデル：モデルを調整します。モデルを微調整します。命令チューニングモデル。モデルを蒸留します。既存のデータまたは合成データのトレーニング。
...概要ガイドで何が可能かについて詳しく知る

DataDreamerは次のとおりです。

？シンプル：賢明なデフォルトで使用するためのシンプルでアプローチ可能ですが、出血エッジテクニックをサポートして強力です。
？研究グレード：研究者、研究者向けに構築されましたが、すべての人がアクセスできます。正確性、ベストプラクティス、および再現性に焦点を当てています。
？ショ和効率：積極的なキャッシングと再開性が組み込まれています。量子化、パラメーター効率の高いトレーニング（LORA）などの技術のサポート。
再現性：DataDreamerで構築されたワークフローは、簡単に共有でき、再現性があり、拡張可能です。
？共有を簡単にします：データセットとモデルの公開は簡単です。メタデータを使用してデータカードとモデルカードを自動的に生成します。必要な引用のリストを生成します。
... DatadReamerの背後にある動機と設計の原則の詳細をご覧ください。

引用

Datadreamerの論文を引用してください：

 @misc { patel2024datadreamer ,
      title = { DataDreamer: A Tool for Synthetic Data Generation and Reproducible LLM Workflows } , 
      author = { Ajay Patel and Colin Raffel and Chris Callison-Burch } ,
      year = { 2024 } ,
      eprint = { 2402.10379 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CL }
}

接触

質問、コメント、またはフィードバックがある場合は、電子メール（[email protected]）またはdiscordでご連絡ください。

DataDreamerに必要な貢献を受け入れ、上流のサポートを提供してくれたFaceとLitellmを抱きしめてくれたメンテナーに感謝します。

資金調達の謝辞

_{ODNI、IARPA：この研究の一部は、Hutus Program Contract＃2022-22072200005を介して、Intelligencee Advanced Research Projects Activity（IARPA）のNational Intelligence Director（ODNI）のオフィスによってサポートされています。本明細書に含まれる見解と結論は著者の見解であり、ODNI、IARPA、または米国政府の表明または黙示のいずれかの公式政策を必ずしも代表するものとして解釈すべきではない。米国政府は、著作権の注釈にかかわらず、政府の目的で再版を再現して配布することを許可されています。}

拡大する

追加情報