mean teacher

卑鄙的老师是更好的榜样

纸-----尼普斯2017海报--------尼普斯2017 Spotlight幻灯片----博客文章

由Harri Valpola（好奇的人工智能公司）的Antti Tarvainen撰写

方法

平均教师是半监督学习的简单方法。它包括以下步骤：

1. 进行有监督的体系结构并进行副本。让我们将原始模型称为学生，而新的模型为老师。
2. 在每个培训步骤中，使用与学生和老师的输入相同的小匹配，但分别为输入中添加随机增强或噪音。
3. 在学生和老师的成果（SoftMax之后）之间增加额外的一致性成本。
4. 让优化器正常更新学生的体重。
5. 让老师的体重成为学生体重的指数移动平均值（EMA）。也就是说，在每个训练步骤之后，更新老师的权重稍微针对学生的体重。

我们的贡献是最后一步。 Laine和Aila [Paper]使用了学生和老师之间的共享参数，或者使用了教师预测的临时合奏。相比之下，平均教师更准确，适用于大型数据集。

卑鄙的老师在现代建筑中效果很好。将平均教师与重新NET结合在一起，我们在ImageNet和Cifar-10数据集上的半监督学习中提高了最先进的状态。

Imagenet使用10％的标签	TOP-5验证错误
变异自动编码器[纸]	35.42±0.90
平均教师Resnet-152	9.11±0.12
所有标签，最先进的[纸]	3.79

CIFAR-10使用4000个标签	测试错误
CT-GAN [纸]	9.98±0.21
平均老师Resnet-26	6.28±0.15
所有标签，最先进的[纸]	2.86

执行

有两个实现，一个用于张量，另一种用于Pytorch。 Pytorch版本可能更容易适应您的需求，因为它遵循典型的Pytorch成语，并且有一个自然的位置可以添加模型和数据集。让我知道是否需要澄清。

关于本文的结果，使用传统的Convnet体系结构进行了张曲流版本的实验。使用剩余网络的实验使用Pytorch版本运行。

选择超参数和其他调音的提示

平均老师介绍了两个新的超参数：EMA衰减率和一致性成本重量。这些中的每一个的最佳值取决于数据集，模型和Minibatches的组成。您还需要选择如何在MiniBatches中交织未标记的样本和标记样品。

以下是一些可以让您入门的经验法则：

• 如果您正在研究一个新数据集，则最容易从标记的数据开始并进行纯监督培训。然后，当您对建筑和超参数感到满意时，请添加卑鄙的老师。同一网络应该很好地工作，尽管您可能需要调整正规化，例如与小数据一起使用的重量衰减。
• 平均老师需要模型中的一些噪音才能最佳工作。实际上，最好的噪声可能是随机输入增加。使用您能想到的任何相关的增强：该算法将训练模型以使其不变。
• 将每个MiniBatch的一部分用于标记的示例很有用。然后，有监督的训练信号很早就很强，可以迅速训练并防止陷入不确定性。在pytorch示例中，我们有四分之一或一半的MiniBatch用于标记的示例，其余的则是未标记的。 （请参阅Pytorch代码中的TwoStreamBatchSampler。）
• 对于EMA衰减率，0.999似乎是一个很好的起点。
• 您可以将MSE或KL-Divergence用作一致性成本函数。对于KL差异，良好的一致性成本重量通常在1.0到10.0之间。对于MSE，这似乎是在类的数量和平方的类中。在小型数据集上，我们看到MSE取得了更好的结果，但是KL也始终效果很好。
• 在最初的几个时期，直到教师网络开始给出良好的预测，这可能有助于提高一开始的一致性成本。
• 我们在Pytorch示例中使用的另一个技巧：在顶层有两个单独的logit层。使用一个用于标记示例的分类，一个用于预测教师的成果。然后在这两个预测的徽标之间有额外的成本。意图与一致性成本越差相同：在开始时，教师的输出可能是错误的，因此松开分类预测和一致性成本之间的链接。 （请参阅Pytorch实现中的 - 距离 - 距离成本的参数。）