dolma

Dolma adalah dua hal:

1. Dolma Dataset : Dataset terbuka 3 triliun token dari beragam campuran konten web, publikasi akademik, kode, buku, dan materi ensiklopedi.
2. Dolma Toolkit : Toolkit berkinerja tinggi untuk kumpulan kumpulan data untuk pemodelan bahasa-repo ini berisi kode sumber untuk toolkit Dolma.

Dataset Dolma

Dolma adalah dataset terbuka 3 triliun token dari beragam campuran konten web, publikasi akademik, kode, buku, dan materi ensiklopedi. Itu dibuat sebagai corpus pelatihan untuk Olmo, model bahasa dari Allen Institute for AI (AI2).

Dolma tersedia untuk diunduh di Huggingface? HUB: huggingface.co/datasets/allenai/dolma . Dolma dilisensikan di bawah ODC-by ; Lihat posting blog kami untuk penjelasan.

Anda juga dapat membaca lebih lanjut tentang Dolma dalam pengumuman kami, serta dengan berkonsultasi dengan lembar datanya.

Toolkit Dolma

Repositori ini menampung Toolkit Dolma, yang memungkinkan kurasi kumpulan data besar untuk model ML (Pre) -Training ML. Fitur utamanya adalah:

1. Kinerja Tinggi ⚡: Dapat memproses miliaran dokumen secara bersamaan berkat paralelisme bawaan.
2. Portabilitas ?: Bekerja pada satu mesin, satu cluster, atau lingkungan cloud.
3. Tagger bawaan ?: Termasuk tagger siap pakai yang biasa digunakan untuk mengkuratori kumpulan data seperti Gopher, C4, dan OpenWebText.
4. Deduplikasi cepat ?: Dokumen Dokumen cepat menggunakan filter Rust Bloom.
5. Ekstensibilitas ? & Dukungan Cloud ☁: Mendukung tagger khusus dan lokasi yang kompatibel dengan AWS S3.

Untuk menginstal, cukup ketik pip install dolma di terminal Anda.

Untuk mempelajari lebih lanjut tentang cara menggunakan Dolma Toolkit, silakan kunjungi dokumentasi.

Kutipan

Jika Anda menggunakan Dolma Dataset atau Toolkit, silakan kutip item berikut:

 @article { dolma ,
  title = { {Dolma: An Open Corpus of Three Trillion Tokens for Language Model Pretraining Research} } ,
  author = { Luca Soldaini and Rodney Kinney and Akshita Bhagia and Dustin Schwenk and David Atkinson and Russell Authur and Ben Bogin and Khyathi Chandu and Jennifer Dumas and Yanai Elazar and Valentin Hofmann and Ananya Harsh Jha and Sachin Kumar and Li Lucy and Xinxi Lyu and Nathan Lambert and Ian Magnusson and Jacob Morrison and Niklas Muennighoff and Aakanksha Naik and Crystal Nam and Matthew E. Peters and Abhilasha Ravichander and Kyle Richardson and Zejiang Shen and Emma Strubell and Nishant Subramani and Oyvind Tafjord and Pete Walsh and Luke Zettlemoyer and Noah A. Smith and Hannaneh Hajishirzi and Iz Beltagy and Dirk Groeneveld and Jesse Dodge and Kyle Lo } ,
  year = { 2024 } ,
  journal = { arXiv preprint } ,
  url = { https://arxiv.org/abs/2402.00159 }
}