multifit

多重：有效的多语言语言模型微调

代码重现论文“多重：有效的多语言语言模型微调”。

这是一篇博客文章，介绍了我们的论文：http：//nlp.fast.ai/classification/2019/09/10/multifit.html

该存储库在Fastai V1.0顶部包含一个小框架；该代码与v1.0.47兼容，最大为v1.0.59（截至2019.11.03起的电流）。 FastAI版本之间的结果可能会因添加了FastAi的优化而有所不同。使用1.0.47对我们的模型进行了培训。

重写该框架以使其更容易与最新的Fastai一起使用。

我们发布了7种对相应的Wikipedia转储训练的语言模型：

• de_multifit_paper_version
• es_multifit_paper_version
• fr_multifit_paper_version
• it_multifit_paper_version
• ja_multifit_paper_version
• ru_multifit_paper_version
• zh_multifit_paper_version

要获取模型，只需使用multifit.from_pretrained函数即可。以下是一些示例笔记本，其中显示了如何使用验证的型号训练分类器。

• ./notebooks/cls-ja.ipynb-在Amazon CLS JA音乐中训练的分类器的示例。
• ./notebooks/mldoc-ja-multifit_fp16.ipynb-使用fp16在MDLDOC上进行更快的多项培训示例。

结果

Mldoc

MLDOC数据集Schwenk和Li上的文档分类结果，2018年

模型	de	es	fr	它	JA	ru	ZH
激光	92.70	88.75	90.80	85.93	85.15	84.65	88.98
Multibert	94.0	95.15	93.20	85.82	87.48	86.85	90.72
多率	95.90	96.07	94.77	90.25	90.03	87.65	92.52

亚马逊CL

CLS数据集Frettenhofer和Stein上的情感分类结果，2010年

	de	fr	JA
Multibert	86.05 / 84.90 / 82.00	86.15 / 86.90 / 86.65	80.87 / 82.83 / 79.95
多率	93.19 / 90.54 / 93.00	91.25 / 89.55 / 93.40	86.29 / 85.75 / 86.59

如何与Fastai v1.0一起使用

您可以将验证的模型与Fastai库一起使用，如下所示：

 from fastai.text import *
import multifit

exp = multifit.from_pretrained("name of the model")
fa_config =  exp.pretrain_lm.tokenizer.get_fastai_config(add_open_file_processor=True)
data_lm = (TextList.from_folder(imdb_path, **fa_config)
            .filter_by_folder(include=['train', 'test', 'unsup']) 
            .split_by_rand_pct(0.1)
            .label_for_lm()           
            .databunch(bs=bs))
learn = exp.finetune_lm.get_learner(data_lm)  
# learn is a preconfigured fastai learner with a pretrained model loaded
learn.fit_one_cycle(10)
learn.save_encoder("enc")
...

再现结果

该存储库是对原始培训脚本的重写，因此缺少论文中使用的所有脚本。我们正在使用fastai v2.0的端口工作，然后我们将添加显示如何重现结果的脚本。如果您需要更快地使用脚本，则可以在此处访问原始脚本。

引用

 @article{Eisenschlos2019MultiFit,
  title={MultiFiT: Efficient Multi-lingual Language Model Fine-tuning},
  author={Julian Eisenschlos, Sebastian Ruder, Piotr Czapla, Marcin Kardas, Sylvain Gugger, Jeremy Howard}
  journal={Proceedings of EMNLP-IJCNLP 2019},
  year={2019}
}