siamese triplet

暹罗和三胞胎与在线对/三重矿开采一起学习

用于学习嵌入的暹罗和三胞胎网络的Pytorch实施。

暹罗和三重态网络可用于学习从图像到紧凑的欧几里得空间的映射，距离对应于相似性的度量[2]。以这种方式训练的嵌入式可以用作分类或少量学习任务的功能向量。

安装

需要pytorch 0.4，用火炬0.2.1

对于pytorch 0.3兼容性结帐标签TARCH-0.3.1

代码结构

• datasets.py
  • 暹罗级课 - 类似MNIST的数据集的包装器，返回随机正和负面对
  • TripletMnist类 - 类似MNIST的数据集的包装器，返回随机三重态（锚，正和负）
  • BalancedBatchSampler类 - 用于数据加载器的批量摄影器，根据标签从每个类中随机选择N_Classes和N_Samples
• Networks.py
  • 嵌入式网络- 用于编码图像嵌入向量的基本网络
  • 分类网络- 嵌入式网络的包装器，添加了一个完全连接的图层和日志软件，以进行分类
  • Siamesenet-嵌入网络的包装器，处理成对的输入
  • TripletNet-包装器的包装器，用于嵌入网络，处理输入的三重态
• 损失
  • 对比度- 对嵌入和对目标的对比度损失（相同/不同）
  • Tripletloss-嵌入三胞胎的三胞胎损失
  • Onlineconcontastiveloss-小批量嵌入的对比损失。使用PaileStor对象使用地面真相类标签在迷你批次中找到正面和负对，并计算这些对的对比损失
  • Onlinetripletloss-小批量嵌入的三重损失。使用TripletSelector对象使用地面真相类标签在迷你批次中查找三重态
• 培训师
  • 拟合- 统一功能，用于训练具有不同输入和不同类型损失功能的网络
• 指标
  • 可以与Trainer的拟合功能一起使用的样品指标。
• utils.py
  • PAIRSELECTOR-摘要类定义对象基于嵌入和地面真相类标签生成对的对象。可以与Onlinecontastiveloss一起使用。
    • AllPositivePairSelector，HardnegativePairSelector- PaileSelector实现
  • TripletSelector-定义对象的抽象类基于嵌入和地面真相类标签生成三重态。可以与Onlinetripletloss一起使用。
    • AlltripletSelector ， HardEstNegativetRipletSelector ， RandomNegativetRipletSelector ， SemihardNegativetRipletSlector -TripletSelector -TripletSelector实现

示例 - mnist

我们将在MNIST数据集上训练嵌入。实验是在Jupyter笔记本中进行的。

我们将使用MNIST数据集上的不同损失功能进行学习监督功能嵌入。这仅是出于可视化目的，因此我们将使用二维嵌入方式，这在实践中不是最好的选择。

对于每个实验，都使用相同的嵌入网络（32 CORV 5X5-> PRELU-> MAXPOOL 2X2-> 64 CORV 5X5-> PRELU-> MAXPOOL 2X2-> MAXPOOL 2X2->密集256-> PRELU-> PRELU->密集256-> PRELU-> PRELU-> pRELU->密集2），我们没有执行任何超参数搜索。

基线 - SoftMax分类

我们添加了一个完全连接的层，其中包括类的数量，并训练网络与SoftMax和跨嵌段进行分类。该网络的准确性约为99％。我们从倒数第二层提取2个维嵌入：

火车集：

测试集：

虽然嵌入看起来可以分开（这是我们训练它们的目的），但它们没有良好的度量属性。作为新课程的描述符，它们可能不是最好的选择。

暹罗网络

现在，我们将训练一个暹罗网络，该网络拍摄一对图像并训练嵌入式的网络，以便如果它们与同一类相同的距离，则将它们之间的距离最小化，并且如果它们代表不同的类别，则大于某些保证金值。我们将最大程度地减少对比度损失函数[1]：

暹罗级班级样本随机呈正面和负面对，然后将其馈送到暹罗网络。

经过20个培训时期，这里是我们为培训设置所获得的嵌入：

测试集：

学习的嵌入在课堂上要好得多。

三胞胎网络

我们将训练一个三胞胎网络，该网络采用锚点，正（与锚的同一类别）和负面的示例（不同类别）示例。目的是学习嵌入，以使锚更接近积极的示例，而不是通过某个余量值来实现负面示例。

资料来源： Schroff，Florian，Dmitry Kalenichenko和James Philbin。面部：统一嵌入面部识别和聚类。 CVPR 2015。

三胞胎损失：

TripletMnist类为每个可能的锚定一个正面和负面的例子。

经过20个培训时期，这里是我们为培训设置所获得的嵌入：

测试集：

在课堂上，学到的嵌入并不像暹罗网络那样彼此接近，但这不是我们优化它们的目的。我们希望嵌入与其他班级相比，嵌入更接近同一班级的其他嵌入式，我们可以看到培训将要进入的地方。

在线对/三胞胎选择 - 负面采矿

暹罗和三胞胎网络有两个问题：

1. 可能的对/三胞胎的数量随示例数量的数量增加了四边形/立方体。处理所有这些都是不可行的，并且训练的收敛缓慢。
2. 我们随机生成对/三胞胎。随着培训的继续，越来越多的对/三胞胎易于处理（它们的损失价值很小甚至0），从而阻止了网络培训。我们需要为网络提供艰难的例子。
3. 每个馈送到网络的图像仅用于计算对比度/三重损失的一对/三重态。计算有些浪费。一旦计算了嵌入，就可以将其重复用于许多对/三胞胎。

为了有效地处理这些问题，我们将像分类一样为网络提供标准的迷你批次。损耗函数将负责选择迷你批量内的硬对和三胞胎。如果我们以每10个类别的16次图像为网络喂养网络，则可以处理高达159*160/2 = 12720对和10*16*15/2*（9*16）= 172800三重态，而先前实现中的80对和53个三重态。

通常，在迷你批次中处理所有可能的对或三重态并不是最好的主意。我们可以找到有关如何在[2]和[3]中选择三胞胎的一些策略。

在线对选择

我们将像为分类网络所做的那样，用迷你批量的网络喂养网络。这次，我们将使用一个特殊的批处理摄影器，将在每个类中在每个类中采样N_Classes和n_samples ，从而导致尺寸N_Classes*n_samples的小批次。

对于每个迷你批次，将使用提供的标签选择。

MNIST是一个相当简单的数据集，随机选择对的嵌入已经很好，我们在这里看不到太多改进。

火车嵌入：

测试嵌入：

在线三重态选择

就像在线对选择一样，我们将提供一个带有迷你批次的网络。给定标签和预测的嵌入，我们可以将一些策略用于三重态选择：

• 所有可能的三胞胎（可能太多）
• 每个正对的最大负（将导致每个锚的相同负数）
• 每个正对的随机硬负（仅考虑具有正三重损耗值的三重率）
• 每对阳性对的半固定为阴性（类似于[2]）

必须仔细选择三胞胎选择的策略。不良的策略可能导致效率低下的训练，甚至更糟的是建模崩溃（所有嵌入的嵌入最终都具有相同的值）。

这是我们对每对积极对的随机艰难负面影响所得到的。

培训集：

测试集：

时尚人士

对时尚人数数据集进行了类似的实验，在线矿山的优势稍微可见。只使用了仅使用二维嵌入的网络体系结构，这可能不够复杂，无法学习良好的嵌入。具有更高数字类别的更复杂的数据集应从在线采矿中受益更多。

基线 - 分类

暹罗vs在线对比损失与负面采矿

随机选择对的暹罗网络

在线对比损失与负面采矿

三胞胎与在线三胞胎损失负面挖掘

带随机三胞胎的三胞胎网络

在线三胞胎损失与负面采矿

托多

• 优化三重态选择
• 用方法之间的度量评估
• 当测试集的类不在火车集中时，以一声设置评估
• 在更困难的数据集上显示在线三胞胎选择示例

参考

[1] Raia Hadsell，Sumit Chopra，Yann Lecun，通过学习不变映射的减少维度，CVPR 2006

[2] Schroff，Florian，Dmitry Kalenichenko和James Philbin。面部：统一嵌入面部识别和聚类。 CVPR 2015

[3]亚历山大·赫尔曼斯（Alexander Hermans），卢卡斯·拜尔（Lucas Beyer），巴斯蒂安·莱贝（Bastian Leibe），以捍卫2017年人物重新识别的三胞胎损失

[4] Brandon Amos，Bartosz Ludwiczuk，Mahadev Satyanarayanan，OpenFace：带移动应用程序的通用面部识别库，2016年

[5] Yi Sun，Xiaogang Wang，Xiaoou Tang，通过联合身份验证的深度学习面代表，NIPS 2014