dolma
v1.0.14.post1
Dolma เป็นสองสิ่ง:
Dolma เป็นชุดข้อมูลแบบเปิดของ 3 ล้านล้านโทเค็นจากการผสมผสานของเนื้อหาเว็บที่หลากหลายสิ่งพิมพ์ทางวิชาการรหัสหนังสือและวัสดุสารานุกรม มันถูกสร้างขึ้นเป็นคลังการฝึกอบรมสำหรับ Olmo แบบจำลองภาษาจาก Allen Institute สำหรับ AI (AI2)
Dolma พร้อมให้ดาวน์โหลดบน HuggingFace หรือไม่? ฮับ: huggingface.co/datasets/allenai/dolma Dolma ได้รับใบอนุญาตภายใต้ ODC-by ; ดูโพสต์บล็อกของเราสำหรับคำอธิบาย
นอกจากนี้คุณยังสามารถอ่านเพิ่มเติมเกี่ยวกับ Dolma ในการประกาศของเรารวมถึงการปรึกษาเอกสารข้อมูล
ที่เก็บนี้เป็นที่ตั้งของชุดเครื่องมือ Dolma ซึ่งช่วยให้สามารถจัดทำชุดข้อมูลขนาดใหญ่สำหรับ (ก่อน)-การฝึกอบรม ML แบบจำลอง คุณสมบัติที่สำคัญคือ:
ในการติดตั้งเพียงพิมพ์ pip install dolma ในเทอร์มินัลของคุณ
หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับวิธีการใช้ชุดเครื่องมือ Dolma โปรดเยี่ยมชมเอกสาร
หากคุณใช้ชุดข้อมูล Dolma หรือชุดเครื่องมือโปรดอ้างอิงรายการต่อไปนี้:
@article { dolma ,
title = { {Dolma: An Open Corpus of Three Trillion Tokens for Language Model Pretraining Research} } ,
author = { Luca Soldaini and Rodney Kinney and Akshita Bhagia and Dustin Schwenk and David Atkinson and Russell Authur and Ben Bogin and Khyathi Chandu and Jennifer Dumas and Yanai Elazar and Valentin Hofmann and Ananya Harsh Jha and Sachin Kumar and Li Lucy and Xinxi Lyu and Nathan Lambert and Ian Magnusson and Jacob Morrison and Niklas Muennighoff and Aakanksha Naik and Crystal Nam and Matthew E. Peters and Abhilasha Ravichander and Kyle Richardson and Zejiang Shen and Emma Strubell and Nishant Subramani and Oyvind Tafjord and Pete Walsh and Luke Zettlemoyer and Noah A. Smith and Hannaneh Hajishirzi and Iz Beltagy and Dirk Groeneveld and Jesse Dodge and Kyle Lo } ,
year = { 2024 } ,
journal = { arXiv preprint } ,
url = { https://arxiv.org/abs/2402.00159 }
}
