Calibrated BERT Fine Tuning

校准 - 伯特·弗林调整

此存储库包含我们的纸质代码：

校准语言模型用于分布数据和分发数据的微调，EMNLP2020。

[纸] [幻灯片]

训练

用伯特基地的培训：

 CUDA_VISIBLE_DEVICES=0 python bert.py --dataset 20news-15 --seed 0

通过歧管平滑训练

 CUDA_VISIBLE_DEVICES=0,1 python manifold-smoothing.py --dataset 20news-15 --seed 0 --eps_in 0.0001 --eps_out 0.001 --eps_y 0.1

评估

用伯特基础评估

 python test.py --model base --in_dataset 20news-15 --out_dataset 20news-5 --index 0

评估温度缩放[1]（基于训练有素的BERT基本模型）

 python test.py --model temperature --in_dataset 20news-15 --out_dataset 20news-5 --index 0

使用MC-Dropout [2]评估（基于训练有素的BERT基本模型）

 python test.py --model mc-dropout --in_dataset 20news-15 --out_dataset 20news-5 --eva_iter 10 --index 0

带有歧管平滑的评估

 python test.py --model manifold-smoothing --in_dataset 20news-15 --out_dataset 20news-5 --eps_in 0.0001 --eps_out 0.001 --eps_y 0.1

参考

[1] Guo，Chuan，Geoff Pleiss，Yu Sun和Kilian Q. Weinberger。 “关于现代神经网络的校准。”在机器学习国际会议上，第1321-1330页。 2017。

[2] Gal，Yarin和Zoubin Ghahramani。 “作为贝叶斯近似值的辍学：代表深度学习中的模型不确定性。”在机器学习国际会议上，第1050-1059页。 2016。