dolma

Dolma é duas coisas:

1. DOLMA DATASET : Um conjunto de dados aberto de 3 trilhões de tokens de uma mistura diversificada de conteúdo da Web, publicações acadêmicas, código, livros e materiais enciclopédicos.
2. Dolma Toolkit : um kit de ferramentas de alto desempenho para curar os conjuntos de dados para modelagem de idiomas-este repositório contém o código-fonte do Dolma Toolkit.

DOLMA DATASET

Dolma é um conjunto de dados aberto de 3 trilhões de tokens de uma mistura diversificada de conteúdo da Web, publicações acadêmicas, código, livros e materiais enciclopédicos. Foi criado como um corpus de treinamento para o OLMO, um modelo de idioma do Instituto Allen para a IA (AI2).

Dolma está disponível para download no huggingface? Hub: huggingface.co/datasets/allenai/dolma . Dolma é licenciado sob ODC-by ; Veja a nossa postagem no blog para explicar.

Você também pode ler mais sobre Dolma em nosso anúncio, bem como consultando sua folha de dados.

Dolma Toolkit

Este repositório abriga o Dolma Toolkit, que permite a curadoria de grandes conjuntos de dados para modelos de ML de treinamento (pré). Seus principais recursos são:

1. Alto desempenho ⚡: pode processar bilhões de documentos simultaneamente, graças ao paralelismo interno.
2. Portabilidade ?: Funciona em uma única máquina, um cluster ou ambiente de nuvem.
3. Taggers embutidos ?
4. Deduplicação rápida ?: Document Speedy Document Deduplication usando um filtro Bloom de ferrugem.
5. Extensibilidade ? O Suporte à Cloud ☁: suporta taggers personalizados e locais compatíveis com AWS S3.

Para instalar, basta digitar pip install dolma no seu terminal.

Para saber mais sobre como usar o Dolma Toolkit, visite a documentação.

Citação

Se você usar o conjunto de dados ou kit de ferramentas da Dolma, cite os seguintes itens:

 @article { dolma ,
  title = { {Dolma: An Open Corpus of Three Trillion Tokens for Language Model Pretraining Research} } ,
  author = { Luca Soldaini and Rodney Kinney and Akshita Bhagia and Dustin Schwenk and David Atkinson and Russell Authur and Ben Bogin and Khyathi Chandu and Jennifer Dumas and Yanai Elazar and Valentin Hofmann and Ananya Harsh Jha and Sachin Kumar and Li Lucy and Xinxi Lyu and Nathan Lambert and Ian Magnusson and Jacob Morrison and Niklas Muennighoff and Aakanksha Naik and Crystal Nam and Matthew E. Peters and Abhilasha Ravichander and Kyle Richardson and Zejiang Shen and Emma Strubell and Nishant Subramani and Oyvind Tafjord and Pete Walsh and Luke Zettlemoyer and Noah A. Smith and Hannaneh Hajishirzi and Iz Beltagy and Dirk Groeneveld and Jesse Dodge and Kyle Lo } ,
  year = { 2024 } ,
  journal = { arXiv preprint } ,
  url = { https://arxiv.org/abs/2402.00159 }
}