الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

دولما شيئان:

  1. Dolma Dataset : مجموعة بيانات مفتوحة تبلغ 3 تريليونات رمز من مزيج متنوع من محتوى الويب ، والمنشورات الأكاديمية ، والرمز ، والكتب ، والمواد الموسمية.
  2. Dolma Toolkit : مجموعة أدوات عالية الأداء لتنسيق مجموعات البيانات لنمذجة اللغة-يحتوي هذا الريبو على الكود المصدري لمجموعة أدوات Dolma.

Dolma Dataset

Dolma هي مجموعة بيانات مفتوحة تبلغ 3 تريليونات رمز من مزيج متنوع من محتوى الويب ، والمنشورات الأكاديمية ، والرمز ، والكتب ، والمواد الموسمية. تم إنشاؤه باعتباره مجموعة تدريب لأولمو ، وهو نموذج لغة من معهد ألين لمنظمة العفو الدولية (AI2).

Dolma متاح للتنزيل على Luggingface؟ Hub: huggingface.co/datasets/allenai/dolma . Dolma مرخصة بموجب ODC-BY ؛ انظر منشور مدونتنا للشرح.

يمكنك أيضًا قراءة المزيد حول Dolma في إعلاننا ، وكذلك من خلال استشارة ورقة البيانات الخاصة بها.

Dolma Toolkit

يضم هذا المستودع مجموعة أدوات Dolma ، والتي تتيح تنشيط مجموعات البيانات الكبيرة لنماذج ML (Pre). ميزاتها الرئيسية هي:

  1. الأداء العالي ⚡: يمكن معالجة مليارات المستندات بشكل متزامن بفضل التوازي المدمج.
  2. قابلية النقل ؟: يعمل على جهاز واحد أو كتلة أو بيئة سحابية.
  3. Taggers المدمجة ؟: يتضمن العلامات الجاهزة للاستخدام استخدامًا شائعًا لترتيب مجموعات البيانات مثل Gopher و C4 و OpenWebText.
  4. إلغاء التكلفة السريعة ؟: مستند سريع للالتهاب المستند باستخدام مرشح بلوم الصدأ.
  5. قابلية التوسيع ؟ & Cloud Support ☁: يدعم المواقع المخصصة المتوافقة مع AWS S3.

للتثبيت ، ببساطة اكتب pip install dolma في المحطة الخاصة بك.

لمعرفة المزيد حول كيفية استخدام مجموعة أدوات Dolma ، يرجى زيارة الوثائق.

اقتباس

إذا كنت تستخدم مجموعة بيانات DOLMA أو مجموعة أدوات ، فيرجى الاستشهاد بالعناصر التالية: 

 @article { dolma ,
  title = { {Dolma: An Open Corpus of Three Trillion Tokens for Language Model Pretraining Research} } ,
  author = { Luca Soldaini and Rodney Kinney and Akshita Bhagia and Dustin Schwenk and David Atkinson and Russell Authur and Ben Bogin and Khyathi Chandu and Jennifer Dumas and Yanai Elazar and Valentin Hofmann and Ananya Harsh Jha and Sachin Kumar and Li Lucy and Xinxi Lyu and Nathan Lambert and Ian Magnusson and Jacob Morrison and Niklas Muennighoff and Aakanksha Naik and Crystal Nam and Matthew E. Peters and Abhilasha Ravichander and Kyle Richardson and Zejiang Shen and Emma Strubell and Nishant Subramani and Oyvind Tafjord and Pete Walsh and Luke Zettlemoyer and Noah A. Smith and Hannaneh Hajishirzi and Iz Beltagy and Dirk Groeneveld and Jesse Dodge and Kyle Lo } ,
  year = { 2024 } ,
  journal = { arXiv preprint } ,
  url = { https://arxiv.org/abs/2402.00159 }
}
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل