DataDreamer

https://datadreamer.dev

Prompt. Generieren Sie synthetische Daten. Zug- und Ausrichtung von Modellen.

Datadreamer ist eine leistungsstarke Open-Source-Python-Bibliothek für Aufforderung, synthetische Datenerzeugung und Trainingsarbeitsabläufe. Es ist so konzipiert, dass es einfach, äußerst effizient und Forschungsgrad ist.

Installation pip3 install datadreamer.dev
demo.py	Ergebnis von demo.py
Siehe das vollständige Demo -Skript	Siehe den synthetischen Datensatz und das geschulte Modell
Weitere Demonstrationen und Rezepte finden Sie auf der Quick Tour -Seite.

Mit Datadreamer können Sie:

• Erstellen Sie forderende Workflows : Erstellen und führen Sie mehrstufige, komplexe und führen Sie die Workflows mit wichtigen Open-Source- oder API-basierten LLMs auf.
• Generieren Sie synthetische Datensätze : Generieren Sie synthetische Datensätze für neuartige Aufgaben oder erweitern Sie vorhandene Datensätze mit LLMs.
• Zugmodelle : Ausrichten von Modellen. Fein-Tune-Modelle. Anweisungsmodelle. Destill -Modelle. Trainieren Sie vorhandenen Daten oder synthetischen Daten.
• ... Erfahren Sie mehr über das, was im Überblickhandbuch möglich ist

Datadreamer ist:

• ? Einfach : Einfach und ansprechbar für vernünftige Standardeinstellungen, aber leistungsstark mit Unterstützung für Blutungskantentechniken.
• ? Forschungsgrade : Für Forscher, von Forschern gebaut, aber für alle zugänglich. Ein Fokus auf Richtigkeit, Best Practices und Reproduzierbarkeit.
• Effizient : aggressives Zwischenspeichern und Wiederaufnahmbarkeit integriert. Unterstützung für Techniken wie Quantisierung, Parameter-effizientes Training (LORA) und mehr.
• Reproduzierbar : Mit Datadreamer erstellte Workflows sind leicht zu teilen, reproduzierbar und erweiterbar.
• ? Erleichtert die Freigabe : Veröffentlichung von Datensätzen und Modellen ist einfach. Generieren Sie automatisch Datenkarten und Modellkarten mit Metadaten. Generieren Sie eine Liste der erforderlichen Zitate.
• ... Erfahren Sie mehr über die Motivations- und Designprinzipien hinter Datadreamer.

Zitat

Bitte zitieren Sie das Datadreamer -Papier:

 @misc { patel2024datadreamer ,
      title = { DataDreamer: A Tool for Synthetic Data Generation and Reproducible LLM Workflows } , 
      author = { Ajay Patel and Colin Raffel and Chris Callison-Burch } ,
      year = { 2024 } ,
      eprint = { 2402.10379 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CL }
}

Kontakt

Bitte wenden Sie sich an uns per E -Mail ([email protected]) oder auf Discord, wenn Sie Fragen, Kommentare oder Feedback haben.

---

Copyright © 2024, Ajay Patel. Unter der MIT -Lizenz veröffentlicht.

Vielen Dank an die Betreuer von Sugging Face und Litellm für die Annahme von Beiträgen für Datadreamer und die Bereitstellung von Upstream -Unterstützung.

---

Finanzierungsanerkennung

_{ODNI, IARPA: Diese Forschung wird zum Teil vom Büro des Direktors für National Intelligence (ODNI), Intelligence Advanced Research Projects Activity (IARPA), über den Vertrag Nr. 2022-2207200005 (IARPA) unterstützt. Die hierin enthaltenen Ansichten und Schlussfolgerungen sind die der Autoren und sollten nicht so interpretiert werden, dass sie notwendigerweise die ausgedrückten oder stillschweigenden offiziellen Politiken von Odni, Iarpa oder der US -Regierung darstellen. Die US -Regierung ist berechtigt, ungeachtet einer darin geschützten Annotation des Urheberrechts für staatliche Zwecke zu reproduzieren und zu verteilen.}