multifit

Multifit: modelo de linguagem multilíngue eficiente de ajuste fino

Código para reproduzir o documento "Multifit: modelo de linguagem multilíngue eficiente de ajuste fino".

Aqui está uma postagem no blog com uma introdução ao nosso artigo: http://nlp.fast.ai/classification/2019/09/10/multifit.html

Este repositório contém uma pequena estrutura em cima do FastAi v1.0; O código é compatível com v1.0.47 até v1.0.59 (a corrente a partir de 2019.11.03). Os resultados entre as versões do Fastai podem diferir devido a otimizações adicionadas ao FASTAI. Nossos modelos foram treinados usando 1.0.47.

A estrutura foi reescrita para facilitar o uso com o mais novo fastai.

Lançamos 7 modelos de idiomas treinados em dumps correspondentes da Wikipedia:

• DE_MULTIFIT_PAPER_VERSION
• es_multifit_paper_version
• fr_multifit_paper_version
• it_multifit_paper_version
• JA_MULTIFIT_PAPER_VERSION
• RU_MULTIFIT_PAPER_VERSION
• zh_multifit_paper_version

Para buscar o modelo, basta usar a função multifit.from_pretrained . Aqui estão alguns exemplos de notebook que mostram como treinar um classificador usando modelos pré -tenhados.

• ./notebooks/cls-ja.ipynb - Exemplo de classificador treinado na Amazon CLS JA Music.
• ./notebooks/mldoc-ja-multifit_fp16.ipynb-Exemplo de um treinamento multifuncionado mais rápido usando FP16 no MDLDOC.

Resultados

Mldoc

Resultados da classificação de documentos no conjunto de dados MLDOC Schwenk e Li, 2018

Modelo	de	es	fr	isto	JA	ru	Zh
LASER	92.70	88,75	90,80	85.93	85.15	84.65	88.98
Multibert	94.0	95.15	93.20	85.82	87.48	86,85	90.72
Multifit	95.90	96.07	94.77	90.25	90.03	87.65	92.52

Amazon CLS

Resultados de classificação de sentimentos no conjunto de dados CLS Prettenhofer e Stein, 2010

	De	Fr	JA
Multibert	86.05 / 84.90 / 82.00	86.15 / 86.90 / 86.65	80.87 / 82.83 / 79.95
Multifit	93.19 / 90.54 / 93.00	91.25 / 89.55 / 93.40	86.29 / 85.75 / 86.59

Como usá -lo com o fastai v1.0

Você pode usar os modelos pré -treinados com a Biblioteca Fastai da seguinte forma:

 from fastai.text import *
import multifit

exp = multifit.from_pretrained("name of the model")
fa_config =  exp.pretrain_lm.tokenizer.get_fastai_config(add_open_file_processor=True)
data_lm = (TextList.from_folder(imdb_path, **fa_config)
            .filter_by_folder(include=['train', 'test', 'unsup']) 
            .split_by_rand_pct(0.1)
            .label_for_lm()           
            .databunch(bs=bs))
learn = exp.finetune_lm.get_learner(data_lm)  
# learn is a preconfigured fastai learner with a pretrained model loaded
learn.fit_one_cycle(10)
learn.save_encoder("enc")
...

Reproduzindo os resultados

Este repositório é uma reescrita dos scripts de treinamento originais, por isso não possui todos os scripts usados ​​no papel. Estamos trabalhando em uma porta para o Fastai v2.0 e, em seguida, adicionaremos os scripts que mostram como reproduzir os resultados. Caso você precise usar os scripts mais rápido, você pode acessar os scripts originais aqui.

Citação

 @article{Eisenschlos2019MultiFit,
  title={MultiFiT: Efficient Multi-lingual Language Model Fine-tuning},
  author={Julian Eisenschlos, Sebastian Ruder, Piotr Czapla, Marcin Kardas, Sylvain Gugger, Jeremy Howard}
  journal={Proceedings of EMNLP-IJCNLP 2019},
  year={2019}
}