MathPile

IA generativa para matemática: MathPile

Este é o repositório oficial da IA ​​generativa para a matemática: Parte I-MathPile: um corpus de pré-treinamento em escala de bilhões para matemática

Página inicial | Conjuntos de dados | Papel | Limitações | Declaração e licença | Citação | Apresentado por AK

Esteja ciente de que nosso corpus pode ser atualizado (vamos notificar após a liberação). É aconselhável usar a versão mais recente.

Notícias

• [2024/09/26] Nosso artigo foi aceito pelo Neurips D&B Track 2024?
• [2024/06/23] Lançamos os scripts de processamento de dados, disponíveis no src Dir.
• [2024/01/06] Lançamos a versão de uso comercial do MathPile, como MathPile_CommerCial.
• [2024/01/06] Lançamos uma nova versão ( v0.2 , uma versão mais limpa) do MathPile. Consulte nossa página inicial do conjunto de dados HF para obter mais detalhes.
• [2023/12/30] O MathPile foi apresentado na lista de tendências de conjuntos de dados de face abraçados. [instantâneo]
• [2023/12/29] Lançamos o MathPile, um corpus de pré-treinamento de alta qualidade e alta qualidade de 9,5b.
• [2023/12/28] Lançamos o relatório técnico do MathPile.

Introdução

Corporadores de alta qualidade e em larga escala são a pedra angular da construção de modelos poderosos da fundação. Neste trabalho, apresentamos o MathPile um corpus diversificado e de alta qualidade, compreendendo cerca de 9,5 bilhões de tokens. Nosso trabalho é significativamente diferente do trabalho anterior nas seguintes características:

• Matemática : Mathpile atende exclusivamente ao domínio matemático, diferentemente de corpora focada em domínio geral, como pilha e redpajama, ou focados multilíngues, como raízes e pilha. Embora existam corpora centrada em matemática, eles geralmente são de origem fechada, como o Minerva do Google e o Mathmix do Openai, ou não têm diversidade, como ProofPile e OpenWebmath.

• Diversidade : o MathPile se baseia em uma ampla gama de fontes: livros didáticos (incluindo notas de aula), Arxiv , Wikipedia , Proofwiki , Stackexchange e páginas da web . Ele abrange o conteúdo matemático adequado para K-12, faculdade, níveis de pós-graduação e competições de matemática. Essa diversidade é a primeira, especialmente com a liberação de uma coleção significativa de livros didáticos de alta qualidade (~ 0,19b tokens).

• Alta qualidade : aderimos ao princípio de menos é mais , acreditando firmemente na supremacia da qualidade dos dados sobre a quantidade, mesmo na fase de pré-treinamento. Nossos meticulosos esforços de coleta e processamento de dados incluíram um conjunto complexo de pré -processamento, pré -filtragem, limpeza, filtragem e desduplicação, garantindo a alta qualidade do nosso corpus.

• Documentação de dados : Para melhorar a transparência, documentamos extensivamente o MathPile. Isso inclui uma folha de dados (consulte a Tabela 5 em nosso artigo) e anotações de qualidade para documentos de origem na Web, como pontuações de identificação de idiomas e proporções de símbolo / palavra. Isso oferece aos usuários flexibilidade para adaptar os dados às suas necessidades. Também realizamos a detecção de contaminação por dados para eliminar duplicatas de conjuntos de testes de benchmark, como matemática e MMLU-STEM.

Esperamos que nosso MathPile possa ajudar a aprimorar as habilidades de raciocínio matemático dos modelos de idiomas. Veja nosso artigo para obter mais detalhes técnicos.

? Limitações

• As decisões tomadas durante as fases de coleta e processamento de dados nem sempre podem ser ideais.
• Alguns documentos no MathPile nem sempre podem ser da mais alta qualidade. Estamos comprometidos em refinar e otimizar continuamente esse corpus.

? Declarações e licença

• Esses corpora inestimável são o culminar do intelecto humano e devem ser utilizados para a melhoria da humanidade, ajudando na melhoria da vida humana. Pedimos fortemente a todos os usuários que se abstenham de usar nosso corpus para quaisquer atividades que possam prejudicar a Seguridade Nacional ou Social ou violar a lei.

• Fizemos o possível para garantir o uso legal e de alta qualidade dos dados. No entanto, questões imprevistas ainda podem surgir, incluindo, entre outros, as preocupações de segurança de dados e quaisquer riscos ou problemas decorrentes do uso indevido. Não seremos responsabilizados por tais problemas.

Se os dados de origem do MathPile forem regidos por uma licença mais restritiva que o CC BY-NC-SA 4.0, o MathPile adere a esse licenciamento mais rigoroso. Em todos os outros casos, opera sob a licença CC BY-NC-SA 4.0. Também planejamos lançar uma versão utilizável comercial do conjunto de dados em breve.

? Projetos usando MathPile

Abaixo estão alguns projetos que usam MathPile, cobrindo cenários, incluindo, entre outros, pré-treinamento, síntese de dados e benchmarking:

• Qualidade ou quantidade? Comparando abordagens pré-treinamento adaptativas de domínio para modelos de idiomas com entendimento matemático [Projeto Custom Stanford CS224N]
• Jiuzhang3.0: Melhorando com eficiência o raciocínio matemático, treinando pequenos modelos de síntese de dados
• Aumentação de dados no domínio orientado para tarefas
• Ótima memória, raciocínio superficial: limites de $ k $ nn-lms
• BAM! Assim: Upcycling de parâmetros simples e eficiente para mistura de especialistas
• SCIDFM: Um grande modelo de linguagem com mistura de especialistas para a ciência
• Mente: Diálogos sintéticos informados por matemática para LLMs pré -Trerening
• ...

?Citação

Se você achar nosso trabalho útil ou usar o MathPile, cite nosso artigo:

 @article{wang2023mathpile,
      title={Generative AI for Math: Part I -- MathPile: A Billion-Token-Scale Pretraining Corpus for Math},
      author={Wang, Zengzhi and Xia, Rui and Liu, Pengfei},
      journal={arXiv preprint arXiv:2312.17120},
      year={2023}
}