multifit

Multifit: modelo de lenguaje multilingüe eficiente ajustado

Código para reproducir el documento "Multifit: modelo de lenguaje multilingüe eficiente ajustado".

Aquí hay una publicación de blog con una presentación en nuestro artículo: http://nlp.fast.ai/classification/2019/09/10/multifit.html

Este repositorio contiene un pequeño marco sobre Fastai V1.0; El código es compatible con V1.0.47 hasta V1.0.59 (la corriente a partir de 2019.11.03). Los resultados entre las versiones FISTAI pueden diferir debido a las optimizaciones agregadas a FISTAI. Nuestros modelos fueron entrenados con 1.0.47.

El marco se reescribió para que sea más fácil de usar con el nuevo Fastai.

Lanzamos 7 modelos de idiomas capacitados en los vertederos de Wikipedia correspondientes:

• de_multifit_paper_version
• es_multifit_paper_version
• fr_multifit_paper_version
• it_multifit_paper_version
• ja_multifit_paper_version
• ru_multifit_paper_version
• zh_multifit_paper_version

Para obtener el modelo, solo use la función multifit.from_pretrained . Aquí hay un cuaderno de ejemplo que muestra cómo entrenar a un clasificador utilizando un modelos previos a la aparición.

• ./notebooks/cls-ja.ipynb - Ejemplo de clasificador entrenado en Amazon CLS JA Music.
• ./notebooks/mldoc-Ja-Multifit_FP16.IPYNB-Ejemplo de una capacitación multifit más rápida usando FP16 en MDLDOC.

Resultados

Mldoc

Resultados de clasificación de documentos en MLDOC DataSet Schwenk y Li, 2018

Modelo	Delaware	cepalle	fría	él	ja	freno	zh
LÁSER	92.70	88.75	90.80	85.93	85.15	84.65	88.98
Multibert	94.0	95.15	93.20	85.82	87.48	86.85	90.72
Múltiple	95.90	96.07	94.77	90.25	90.03	87.65	92.52

Amazon CLS

Resultados de clasificación de sentimientos en el conjunto de datos CLS Prettenhofer y Stein, 2010

	Delaware	Fría	Ja
Multibert	86.05 / 84.90 / 82.00	86.15 / 86.90 / 86.65	80.87 / 82.83 / 79.95
Múltiple	93.19 / 90.54 / 93.00	91.25 / 89.55 / 93.40	86.29 / 85.75 / 86.59

Cómo usarlo con Fastai v1.0

Puede usar los modelos previos a la biblioteca de Fastai de la siguiente manera:

 from fastai.text import *
import multifit

exp = multifit.from_pretrained("name of the model")
fa_config =  exp.pretrain_lm.tokenizer.get_fastai_config(add_open_file_processor=True)
data_lm = (TextList.from_folder(imdb_path, **fa_config)
            .filter_by_folder(include=['train', 'test', 'unsup']) 
            .split_by_rand_pct(0.1)
            .label_for_lm()           
            .databunch(bs=bs))
learn = exp.finetune_lm.get_learner(data_lm)  
# learn is a preconfigured fastai learner with a pretrained model loaded
learn.fit_one_cycle(10)
learn.save_encoder("enc")
...

Reproducir los resultados

Este repositorio es una reescritura de los scripts de entrenamiento originales, por lo que carece de todos los scripts utilizados en el documento. Estamos trabajando en un puerto a Fastai v2.0 y luego agregaremos los scripts que muestran cómo reproducir los resultados. En caso de que necesite usar los scripts más rápido, puede acceder a los scripts originales aquí.

Citación

 @article{Eisenschlos2019MultiFit,
  title={MultiFiT: Efficient Multi-lingual Language Model Fine-tuning},
  author={Julian Eisenschlos, Sebastian Ruder, Piotr Czapla, Marcin Kardas, Sylvain Gugger, Jeremy Howard}
  journal={Proceedings of EMNLP-IJCNLP 2019},
  year={2019}
}