GUNDAM

Golden Plug-in Data Manager (Gundam)

Projeto | Papel | Documentação

O Gundam é um gerenciador de dados que utiliza modelos de idiomas para lidar com dados textuais com eficiência, que é construído sobre o Pytorch. Gundam é:

• Abrangente : Gundam fornece um gerente de dados, incluindo o mineiro proposto, um gerador baseado em GPT-2 e um retriever de demonstração, e todos esses componentes são extensíveis.
• Flexível : o Gundam suporta modelos de idiomas GPT-2 com tamanhos diferentes.
• Eficiente : o Gundam fornece um mineiro individual eficiente para verificar a qualidade dos dados.

---

Breve introdução

O Gundam é uma nova estrutura de gerenciamento de dados que mede a suficiência e a necessidade de preencher demonstrações condicionadas aos modelos de linguagem. Mostramos que as métricas de suficiência e necessidade propostas podem ser operadas em ambas as instâncias de demonstração (ou seja, nível de instância) e conjuntos de demonstrações (ou seja, nível de conjunto). Assim, o conjunto de dados de plug-in suficientes e necessários, nomeados como um conjunto de plug-in de ouro, pode ser considerado um conjunto de núcleo, incluindo as amostras informativas. Como a enumeração e a medição de todos os subconjuntos possíveis é inviável, projetamos novos algoritmos de pesquisa baseados em árvores para extrair o conjunto de plug-in dourado. Observe que o conjunto de plug-in de ouro pode ser pré-computado e armazenado para economizar custos de computação on-line. Nesse sentido, os Retrievers de demonstração não paramétricos podem ser executados no conjunto de plug-in dourados armazenados em vez de todo o corpus de dados, para evitar recuperar demonstrações insuficientes ou desnecessárias. Além disso, considerando que muitos dados de dados do mundo real continuariam crescendo, desenvolvemos um algoritmo de atualização incremental para evitar recompra o Gundam em todas as peças alteradas e inalteradas.

Casos de uso

A vantagem significativa do Gundam é que o Gundam pode ser facilmente implantado em qualquer plataforma de gerenciamento de dados existente, porque a idéia principal de Gundam é atribuir diferentes níveis de prioridade aos dados armazenados para mostrar suas qualidades de dados em relação ao modelo de idioma especificado.

TODO (atualização mais recente em 2023/07/24)

• Libere versões básicas de um minerador individual e geradores baseados em GPT-2 em ambas as configurações de aprendizagem não supervisionadas (também conhecidas como inferência de poucas fotos) e nas configurações de aprendizado supervisionado (também conhecido como inferência de aquecimento).
• Apoie Retrievers de demonstração aleatória, Retrievers de demonstração baseada em relevância e retrievers de demonstração baseados em diversidade.
• Apoie os geradores baseados em mineradores e GPT-3.
• Libere o conjunto de dados textuais de suficiência e necessidade.
• Libere o tutorial detalhado do documento e a orientação do ReadMe.

Citando núcleo

 @software { GUNDAM ,
  author = { Jiarui Jin, Yuwei Wu, Mengyue Yang, Xiaoting He, Weinan Zhang, Yiming Yang, Yong Yu, and Jun Wang } ,
  title = { GUNDAM: A Data-Centric Manager for Your Plug-in Data with Language Models } ,
  year = { 2023 } ,
  publisher = { GitHub } ,
  journal = { GitHub repository } ,
  version = { 0.0 } ,
  howpublished = { url{https://github.com/GUNDAM-Labet/GUNDAM} } ,
}

A equipe

Os principais desenvolvedores do sistema Gundam são Jiarui Jin, Yuwei Wu e Mengyue Yang.

Licença

Gundam é lançado sob a licença Apache, versão 2.0.