multifit

マルチフィット：効率的な多言語モデル微調整

論文を再現するためのコード「マルチフィット：効率的な多言語モデル微調整」。

これが私たちの論文を紹介するブログ投稿です：http：//nlp.fast.ai/classification/2019/09/10/multifit.html

このリポジトリには、Fastai v1.0の上に小さなフレームワークが含まれています。このコードは、v1.0.47からv1.0.59までのv1.0.47（2019.11.03の電流）と互換性があります。 Fastaiバージョン間の結果は、FastAIに追加された最適化により異なる場合があります。モデルは1.0.47を使用してトレーニングされました。

フレームワークは、最新のFastaiで使いやすくするために書き直されました。

対応するウィキペディアダンプでトレーニングされた7つの言語モデルをリリースしました。

• de_multifit_paper_version
• es_multifit_paper_version
• fr_multifit_paper_version
• it_multifit_paper_version
• ja_multifit_paper_version
• ru_multifit_paper_version
• zh_multifit_paper_version

モデルを取得するには、 multifit.from_pretrained関数を使用するだけです。以下に、前処理されたモデルを使用して分類器をトレーニングする方法を示すノートブックの例を示します。

• ./notebooks/cls-ja.ipynb- Amazon CLS JA Musicで訓練された分類器の例。
• ./notebooks/mldoc-ja-multifit_fp16.ipynb- mdldocでFP16を使用したより高速なマルチフィットトレーニングの例。

結果

mldoc

MLDOCデータセットSchwenk and Liのドキュメント分類結果、2018年

モデル	de	es	fr	それ	JA	ru	Zh
レーザ	92.70	88.75	90.80	85.93	85.15	84.65	88.98
Multibert	94.0	95.15	93.20	85.82	87.48	86.85	90.72
マルチフィット	95.90	96.07	94.77	90.25	90.03	87.65	92.52

Amazon CLS

CLS Dataset Prettenhofer and Steinのセンチメント分類結果、2010年

	de	fr	JA
Multibert	86.05 / 84.90 / 82.00	86.15 / 86.90 / 86.65	80.87 / 82.83 / 79.95
マルチフィット	93.19 / 90.54 / 93.00	91.25 / 89.55 / 93.40	86.29 / 85.75 / 86.59

Fastai v1.0で使用する方法

次のように、FastAIライブラリを使用して事前に守られたモデルを使用できます。

 from fastai.text import *
import multifit

exp = multifit.from_pretrained("name of the model")
fa_config =  exp.pretrain_lm.tokenizer.get_fastai_config(add_open_file_processor=True)
data_lm = (TextList.from_folder(imdb_path, **fa_config)
            .filter_by_folder(include=['train', 'test', 'unsup']) 
            .split_by_rand_pct(0.1)
            .label_for_lm()           
            .databunch(bs=bs))
learn = exp.finetune_lm.get_learner(data_lm)  
# learn is a preconfigured fastai learner with a pretrained model loaded
learn.fit_one_cycle(10)
learn.save_encoder("enc")
...

結果を再現します

このリポジトリは、元のトレーニングスクリプトの書き換えであるため、論文で使用されるすべてのスクリプトがありません。 Fastai V2.0のポートに取り組んでおり、結果を再現する方法を示すスクリプトを追加します。スクリプトをより速く使用する必要がある場合は、ここから元のスクリプトにアクセスできます。

引用

 @article{Eisenschlos2019MultiFit,
  title={MultiFiT: Efficient Multi-lingual Language Model Fine-tuning},
  author={Julian Eisenschlos, Sebastian Ruder, Piotr Czapla, Marcin Kardas, Sylvain Gugger, Jeremy Howard}
  journal={Proceedings of EMNLP-IJCNLP 2019},
  year={2019}
}