DataDreamer

https://datadreamer.dev

Mengingatkan. Menghasilkan data sintetis. Model kereta & align.

Datadreamer adalah perpustakaan python open-source yang kuat untuk meminta, pembuatan data sintetis, dan alur kerja pelatihan. Ini dirancang untuk menjadi sederhana, sangat efisien, dan tingkat penelitian.

Instalasi pip3 install datadreamer.dev
demo.py	Hasil demo.py
Lihat skrip demo lengkap	Lihat dataset sintetis dan model terlatih
Untuk lebih banyak demonstrasi dan resep, lihat halaman tur cepat.

Dengan datadreamer Anda bisa:

• Buat alur kerja yang diminta : Buat dan jalankan alur kerja multi-langkah, kompleks, dengan mudah dengan llms open source utama atau API.
• Hasilkan Dataset Sintetis : Hasilkan Dataset Sintetis untuk Tugas Baru atau Menambah Dataset yang Ada dengan LLMS.
• Model Kereta : Align Model. Model fine-tune. Model Instruksi-Tune. Model Distill. Latih data yang ada atau data sintetis.
• ... Pelajari lebih lanjut tentang apa yang mungkin terjadi dalam panduan ikhtisar

Datadreamer adalah:

• ? Sederhana : Sederhana dan mudah didekati untuk digunakan dengan default yang masuk akal, namun kuat dengan dukungan untuk teknik tepi perdarahan.
• ? Tingkat Penelitian : Dibangun untuk para peneliti, oleh para peneliti, tetapi dapat diakses oleh semua. Fokus pada kebenaran, praktik terbaik, dan reproduktifitas.
• ? ️ Efisien : caching agresif dan resumability built-in. Dukungan untuk teknik seperti kuantisasi, pelatihan parameter-efisien (LORA), dan banyak lagi.
• Reproduksi : Alur kerja yang dibangun dengan Datadreamer mudah dibagikan, dapat direproduksi, dan dapat diperpanjang.
• ? Membuat Berbagi Mudah : Dataset dan model penerbitan sederhana. Secara otomatis menghasilkan kartu data dan kartu model dengan metadata. Hasilkan daftar kutipan yang diperlukan.
• ... Pelajari lebih lanjut tentang prinsip motivasi dan desain di balik data.

Kutipan

Harap kutip kertas Datadreamer:

 @misc { patel2024datadreamer ,
      title = { DataDreamer: A Tool for Synthetic Data Generation and Reproducible LLM Workflows } , 
      author = { Ajay Patel and Colin Raffel and Chris Callison-Burch } ,
      year = { 2024 } ,
      eprint = { 2402.10379 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CL }
}

Kontak

Harap hubungi kami melalui email ([email protected]) atau pada perselisihan jika Anda memiliki pertanyaan, komentar, atau umpan balik.

---

Hak Cipta © 2024, Ajay Patel. Dirilis di bawah lisensi MIT.

Terima kasih kepada para pengelola di Hugging Face dan Litellm karena telah menerima kontribusi yang diperlukan untuk Datadreamer dan memberikan dukungan hulu.

---

Pengakuan dana

_{ODNI, IARPA: Penelitian ini didukung sebagian oleh Kantor Direktur Intelijen Nasional (ODNI), Kegiatan Proyek Penelitian Lanjutan Intelijen (IARPA), melalui Kontrak Program Hiatus #2022-2207222005. Pandangan dan kesimpulan yang terkandung di sini adalah pandangan penulis dan tidak boleh ditafsirkan sebagai harus mewakili kebijakan resmi, baik yang diungkapkan maupun tersirat, dari Odni, Iarpa, atau pemerintah AS. Pemerintah AS berwenang untuk mereproduksi dan mendistribusikan cetak ulang untuk tujuan pemerintah meskipun ada anotasi hak cipta di dalamnya.}