DataDreamer

https://datadreamer.dev

Incitar. Gerar dados sintéticos. Treinar e alinhar modelos.

O DatadReamer é uma poderosa biblioteca Python de código aberto para solicitar, geração de dados sintéticos e fluxos de trabalho de treinamento. Ele foi projetado para ser simples, extremamente eficiente e grau de pesquisa.

Instalação pip3 install datadreamer.dev
demo.py	Resultado de demo.py
Veja o script de demonstração completo	Veja o conjunto de dados sintéticos e o modelo treinado
Para mais demonstrações e receitas, consulte a página de turnê rápida.

Com DatadReamer, você pode:

• Crie fluxos de trabalho Promperting : Crie e execute os fluxos de trabalho de várias etapas, complexos e solicitando facilmente com os principais LLMs de código aberto ou baseados em API.
• Gere conjuntos de dados sintéticos : gerar conjuntos de dados sintéticos para novas tarefas ou aumentar os conjuntos de dados existentes com o LLMS.
• Modelos de trem : alinhar modelos. Modelos de ajuste fino. Modelos de ajuste de instrução. Modelos destilados. Treine dados existentes ou dados sintéticos.
• ... Saiba mais sobre o que é possível no guia de visão geral

Datadreamer é:

• ? Simples : simples e acessível para usar com padrões sensíveis, mas poderosos com suporte para técnicas de borda de sangramento.
• ? Pesquisa : construído para pesquisadores, por pesquisadores, mas acessível a todos. Um foco na correção, práticas recomendadas e reprodutibilidade.
• ? Aste Eficiente : armazenamento agressivo de cache e retumabilidade integrada. Suporte para técnicas como quantização, treinamento com eficiência de parâmetros (LORA) e muito mais.
• Reproduzível : os fluxos de trabalho construídos com o DatadReamer são facilmente compartilháveis, reproduzíveis e extensíveis.
• ? Facilita o compartilhamento : publicar conjuntos de dados e modelos é simples. Gerar automaticamente cartões de dados e cartões de modelo com metadados. Gerar uma lista de quaisquer citações necessárias.
• ... Saiba mais sobre os princípios de motivação e design por trás do DatadReamer.

Citação

Cite o papel datadreamer:

 @misc { patel2024datadreamer ,
      title = { DataDreamer: A Tool for Synthetic Data Generation and Reproducible LLM Workflows } , 
      author = { Ajay Patel and Colin Raffel and Chris Callison-Burch } ,
      year = { 2024 } ,
      eprint = { 2402.10379 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CL }
}

Contato

Entre em contato conosco por e -mail ([email protected]) ou em discórdia se tiver alguma dúvida, comentário ou feedback.

---

Copyright © 2024, Ajay Patel. Liberado sob a licença do MIT.

Obrigado aos mantenedores em abraçar o rosto e a Litellm por aceitar as contribuições necessárias para o DatadReamer e fornecer suporte a montante.

---

Agradecimentos de financiamento

_{ODNI, IARPA: Esta pesquisa é apoiada em parte pelo Escritório do Diretor de Inteligência Nacional (ODNI), Atividade de Projetos de Pesquisa Avançada de Inteligência (IARPA), por meio do contrato do programa Hiatus #2022-22072200005. As opiniões e conclusões aqui contidas são as dos autores e não devem ser interpretadas como necessariamente representando as políticas oficiais, expressas ou implícitas, de Odni, Iarpa ou governo dos EUA. O governo dos EUA está autorizado a reproduzir e distribuir reimpressões para fins governamentais, apesar de qualquer anotação de direitos autorais nela.}