lmtool fwp

Kit de ferramentas de modelagem de idiomas Pytorch (para programadores de peso rápido)

Este repositório contém o código oficial usado para experimentos de modelagem de idiomas no (s) artigo (s):

• Transformadores lineares são programadores secretamente rápidos de peso (ICML 2021)
• Indo além dos transformadores lineares com programadores de peso rápido recorrente
• ...

De maneira mais geral, isso pode ser usado como um kit de ferramentas de modelagem de idiomas em Pytorch para experimentar:

• Transformadores padrão

• Transformer-xl

• Programadores rápidos de peso com diferentes regras de atualização e funções de atenção linear :

  • Regras de atualização: "soma" e nossa regra "delta" (conforme proposto em nosso artigo; seção 4.2)
  • Funções de atenção lineares: "baseado em eluas" atenção linear "," favor+"," projeção determinística livre de parâmetros (DPFP) "

  por exemplo, algumas combinações resultam em modelos conhecidos:

  • Transformadores lineares = regra de atualização "soma" + "atenção linear baseada em elu"
  • Artistas = "soma" regra de atualização + "favor +"

Implementações de peso rápido

Esta repositoria contém duas implementações de pesos rápidos.

• Kernel CUDA CUDA (ver Utils/fast_fast_weight e utils/cuda_fast_weight_layer.py)
• torch.autograd.Function personalizada.autograd.function (consulte Utils/fast_weight.py)

Enquanto usamos apenas a implementação do CUDA para todas as nossas experiências finais (utilização de GPU mais rápida/muito melhor), a versão torch.autograd.Function pode ser útil para uma prototipagem rápida com novas extensões.

Requisitos

Este kit de ferramentas requer pytorch torch e ninja Ninja (para compilar os kernels Cuda).

As experiências para o artigo foram realizadas com Python 3.6 e Pytorch 1.4.0 (nota em 24 de agosto de 2023: o código também funciona com Python 3.11 e Pytorch 2.0.1+Cu117).

As versões mais recentes do Pytorch ainda não são bem suportadas por este kit de ferramentas que ainda usa torch.nn.DataParallel para treinamento multi-GPU. Se você realmente precisar usar uma versão mais recente do Pytorch, verifique a documentação para usar torch.nn.parallel.DistributedDataParallel . Esperamos consertar isso em breve, mas não podemos dizer exatamente quando.

O kit de ferramentas suporta pesos e preconceitos para monitorar trabalhos. Se você o usar, também instale wandb .

Agradecimentos

Essa reposidade contém muitas linhas de código tiradas e adaptadas das seguintes fontes:

• Essa reposidade foi originalmente bifurcada a partir da implementação oficial do transformador-xl Kimiyoung/Transformer-XL. O código dos modelos Transformer-XL e do transformador padrão, bem como a funcionalidade básica necessária para a modelagem de idiomas (incluindo entrada adaptativa e incorporação de saída) e preparação de dados (Wikitext-103, Enwik8, ...) é do repositório correspondente.
• Para os artistas, são usadas funções auxiliares de Lucidrains/Performer-Pytorch.
• Para implementações de CUDA de nossos programadores de peso rápido com a regra Delta:
  • O código do IDIAP/Fast Transformers é usado com pequenas alterações na regra de atualização da soma.
  • Nós o modificamos para implementar nossa regra de atualização. Veja os comentários no código para obter locais e modificações exatas.

Instruções gerais

Verifique os arquivos em example_scripts para obter instruções e exemplos gerais para treinar e avaliar modelos.

Bibtex

 @inproceedings{schlag2021linear,
      title={Linear Transformers Are Secretly Fast Weight Programmers}, 
      author={Imanol Schlag and Kazuki Irie and J"urgen Schmidhuber},
      booktitle={Proc. Int. Conf. on Machine Learning (ICML)},
      address = {Virtual only},
      month = jul,
      year={2021}
}

 @article{irie2021going,
      title={Going Beyond Linear Transformers with Recurrent Fast Weight Programmers}, 
      author={Kazuki Irie and Imanol Schlag and R'obert Csord'as and J"urgen Schmidhuber},
      journal={Preprint arXiv:2106.06295},
      year={2021}
}

Links

• O código para experimentos de recuperação sintética no artigo "Transformadores lineares são secretamente programadores de peso rápido" (ICML 2021) pode ser encontrado em Ischlag/Fast-Weight-Transformadores.
• O repositório completo para o artigo "Indo além dos transformadores lineares com programadores de peso rápido recorrente" pode ser encontrado em: Idsia/Recorrente-FWP
• Postagem de blog da AI de Jürgen Schmidhuber sobre programadores de peso rápido (26 de março de 2021).