scaling laws for language transfer

Leyes de escala para el aprendizaje de transferencia de idiomas

Código y modelos de las leyes de escala de publicación de blog para el aprendizaje de transferencia de idiomas

Motivación

Sobre la base del trabajo de las leyes de escala para la transferencia (Hernández et. Al. 2021), mis experimentos se centraron en explorar las relaciones entre el ajuste fino en los idiomas que no son del inglés y tratando de responder a la pregunta: ¿cuánto ayuda previa al inglés al transferir diferentes idiomas a medida que variamos el tamaño del conjunto de datos y el tamaño del modelo?

Uso

Este repositorio contiene el código para:

1. Reproducción de transformadores de decodificadores previamente capacitados utilizando hiperparámetros de las leyes de escala para lenguajes neuronales pero capacitados en OpenWebText2 en lugar de WebText
2. Reproducción de experimentos de transferencia de idiomas para modelos ingleses previamente capacitados a textos chinos, españoles y alemanes

Todos los modelos previamente capacitados en inglés fueron entrenados para 26 mil millones de tokens sin repeticiones:

• x6small 3.3m parámetros sin inicio
• x5small 16m parámetros sin incrustaciones
• X4Small 39m Parámetros sin incrustaciones
• x3small 51m parámetros sin inicio
• X2Small 70m Parámetros sin incrustaciones
• Pequeños parámetros de 124 m sin inicio

Conjuntos de datos

• Inglés: OpenWebText2
• Alemán: Oscar
• Español: Oscar
• Chino: QA Community (WebText2091zh)