mean teacher

卑鄙的老師是更好的榜樣

紙-----尼普斯2017海報--------尼普斯2017 Spotlight幻燈片----博客文章

由Harri Valpola（好奇的人工智能公司）的Antti Tarvainen撰寫

方法

平均教師是半監督學習的簡單方法。它包括以下步驟：

1. 進行有監督的體系結構並進行副本。讓我們將原始模型稱為學生，而新的模型為老師。
2. 在每個培訓步驟中，使用與學生和老師的輸入相同的小匹配，但分別為輸入中添加隨機增強或噪音。
3. 在學生和老師的成果（SoftMax之後）之間增加額外的一致性成本。
4. 讓優化器正常更新學生的體重。
5. 讓老師的體重成為學生體重的指數移動平均值（EMA）。也就是說，在每個訓練步驟之後，更新老師的權重稍微針對學生的體重。

我們的貢獻是最後一步。 Laine和Aila [Paper]使用了學生和老師之間的共享參數，或者使用了教師預測的臨時合奏。相比之下，平均教師更準確，適用於大型數據集。

卑鄙的老師在現代建築中效果很好。將平均教師與重新NET結合在一起，我們在ImageNet和Cifar-10數據集上的半監督學習中提高了最先進的狀態。

Imagenet使用10％的標籤	TOP-5驗證錯誤
變異自動編碼器[紙]	35.42±0.90
平均教師Resnet-152	9.11±0.12
所有標籤，最先進的[紙]	3.79

CIFAR-10使用4000個標籤	測試錯誤
CT-GAN [紙]	9.98±0.21
平均老師Resnet-26	6.28±0.15
所有標籤，最先進的[紙]	2.86

執行

有兩個實現，一個用於張量，另一種用於Pytorch。 Pytorch版本可能更容易適應您的需求，因為它遵循典型的Pytorch成語，並且有一個自然的位置可以添加模型和數據集。讓我知道是否需要澄清。

關於本文的結果，使用傳統的Convnet體系結構進行了張曲流版本的實驗。使用剩餘網絡的實驗使用Pytorch版本運行。

選擇超參數和其他調音的提示

平均老師介紹了兩個新的超參數：EMA衰減率和一致性成本重量。這些中的每一個的最佳值取決於數據集，模型和Minibatches的組成。您還需要選擇如何在MiniBatches中交織未標記的樣本和標記樣品。

以下是一些可以讓您入門的經驗法則：

• 如果您正在研究一個新數據集，則最容易從標記的數據開始並進行純監督培訓。然後，當您對建築和超參數感到滿意時，請添加卑鄙的老師。同一網絡應該很好地工作，儘管您可能需要調整正規化，例如與小數據一起使用的重量衰減。
• 平均老師需要模型中的一些噪音才能最佳工作。實際上，最好的噪聲可能是隨機輸入增加。使用您能想到的任何相關的增強：該算法將訓練模型以使其不變。
• 將每個MiniBatch的一部分用於標記的示例很有用。然後，有監督的訓練信號很早就很強，可以迅速訓練並防止陷入不確定性。在pytorch示例中，我們有四分之一或一半的MiniBatch用於標記的示例，其餘的則是未標記的。 （請參閱Pytorch代碼中的TwoStreamBatchSampler。）
• 對於EMA衰減率，0.999似乎是一個很好的起點。
• 您可以將MSE或KL-Divergence用作一致性成本函數。對於KL差異，良好的一致性成本重量通常在1.0到10.0之間。對於MSE，這似乎是在類的數量和平方的類中。在小型數據集上，我們看到MSE取得了更好的結果，但是KL也始終效果很好。
• 在最初的幾個時期，直到教師網絡開始給出良好的預測，這可能有助於提高一開始的一致性成本。
• 我們在Pytorch示例中使用的另一個技巧：在頂層有兩個單獨的logit層。使用一個用於標記示例的分類，一個用於預測教師的成果。然後在這兩個預測的徽標之間有額外的成本。意圖與一致性成本越差相同：在開始時，教師的輸出可能是錯誤的，因此鬆開分類預測和一致性成本之間的鏈接。 （請參閱Pytorch實現中的 - 距離 - 距離成本的參數。）