DataDreamer

https://datadreamer.dev

Rapide. Générer des données synthétiques. Modèles de train et d'alignement.

DataDreamer est une puissante bibliothèque Python open source pour l'invitation, la génération de données synthétiques et les workflows de formation. Il est conçu pour être simple, extrêmement efficace et de niveau de recherche.

Installation pip3 install datadreamer.dev
demo.py	Résultat de demo.py
Voir le script de démonstration complet	Voir l'ensemble de données synthétique et le modèle formé
Pour plus de démonstrations et de recettes, consultez la page de tournée rapide.

Avec DataDreamer, vous pouvez:

• Créer des workflows : Créer et exécuter en plusieurs étapes, complexes, ce qui invite les flux de travail facilement avec les principaux LLM open source ou basés sur l'API.
• Générer des ensembles de données synthétiques : générer des ensembles de données synthétiques pour de nouvelles tâches ou augmenter les ensembles de données existants avec des LLM.
• Modèles de train : Alignez les modèles. Modèles affinés. Modèles d'instructions. Modèles de distill. Former des données existantes ou des données synthétiques.
• ... en savoir plus sur ce qui est possible dans le guide d'aperçu

DataDreamer est:

• ? Simple : simple et accessible à utiliser avec des valeurs par défaut raisonnables, mais puissantes avec le support pour les techniques de bord de saignement.
• ? Grade de recherche : Construit pour les chercheurs, par des chercheurs, mais accessible à tous. Un accent sur l'exactitude, les meilleures pratiques et la reproductibilité.
• ? ️ Efficace : mise en cache et reprise agressives intégrées. Support de techniques telles que la quantification, la formation économe en paramètres (LORA), et plus encore.
• Reproductible : les flux de travail construits avec DataDreamer sont facilement partageables, reproductibles et extensibles.
• ? Rend le partage facile : les ensembles de données et les modèles de publication sont simples. Générez automatiquement les cartes de données et les cartes modèles avec des métadonnées. Générez une liste des citations requises.
• ... en savoir plus sur les principes de motivation et de conception derrière DataDreamer.

Citation

Veuillez citer le document DataDreamer:

 @misc { patel2024datadreamer ,
      title = { DataDreamer: A Tool for Synthetic Data Generation and Reproducible LLM Workflows } , 
      author = { Ajay Patel and Colin Raffel and Chris Callison-Burch } ,
      year = { 2024 } ,
      eprint = { 2402.10379 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CL }
}

Contact

Veuillez nous contacter par e-mail ([email protected]) ou sur Discord si vous avez des questions, des commentaires ou des commentaires.

---

Copyright © 2024, Ajay Patel. Libéré sous la licence du MIT.

Merci aux mainteneurs de Hugging Face et Litellm d'avoir accepté les contributions nécessaires à DataDreamer et de fournir un soutien en amont.

---

Remerciements de financement

_{ODNI, IARPA: Cette recherche est soutenue en partie par le Bureau du directeur du renseignement national (ODNI), Intelligence Advanced Research Projects Activity (IARPA), via le contrat du programme hiatus # 2022-22072200005. Les opinions et les conclusions contenues ici sont celles des auteurs et ne doivent pas être interprétées comme représentant nécessairement les politiques officielles, exprimées ou implicites, ODNI, IARPA ou le gouvernement américain. Le gouvernement américain est autorisé à reproduire et à distribuer des réimpressions à des fins gouvernementales malgré toute annotation du droit d'auteur qui y est.}