scaling laws for language transfer

Escala leis para aprendizado de transferência de idiomas

Código e modelos das leis de escala de postagem do blog para aprendizado de transferência de idiomas

Motivação

Com base no trabalho a partir de leis de escala para transferência (Hernandez et al. 2021), meus experimentos se concentraram em explorar as relações entre ajuste fino em idiomas não ingleses e tentar responder à pergunta: quanto o pré-treinamento em inglês ajuda ao transferir para diferentes idiomas, pois variamos o tamanho do conjunto de dados e o tamanho do modelo?

Uso

Este repo contém o código para:

1. Reproduzindo transformadores apenas para decodificadores pré-treinados usando hiperparâmetros de leis de escala para idiomas neurais, mas treinados no OpenWebtext2 em vez de WebText
2. Reproduzindo experimentos de transferência de idiomas para modelos de inglês pré-treinado para textos chineses, espanhóis e alemães

Todos os modelos pré-treinados em inglês foram treinados para 26 bilhões de tokens, sem repetições:

• X6Small 3,3m Parâmetros não incorporados
• X5Small 16m Parâmetros não incorporados
• X4Small 39m Parâmetros não incorporados
• X3SMALL 51M Parâmetros não incorporados
• X2SMALL 70M Parâmetros não incorporados
• Pequenos parâmetros de 124 m não incorporados

Conjuntos de dados

• Inglês: OpenWebtext2
• Alemão: Oscar
• Espanhol: Oscar
• Chinês: QA da comunidade (WebText2091zh)