LightCNN

CNN leve para reconhecimento de rosto profundo, em Pytorch

Uma implementação de Pytorch de uma CNN leve para a representação de rosto profundo com rótulos barulhentos do artigo de Xiang Wu, Ran He, Zhenan Sun e Tieniu Tan. O código oficial e original da Caffe pode ser encontrado aqui.

Índice

• Atualizações
• Instalação
• Conjuntos de dados
• Treinamento
• Avaliar
• Desempenho
• Citação
• Referências

Atualizações

• 9 de fevereiro de 2022
  • O modelo Light CNN V4 pré -traido é liberado.
• 17 de janeiro de 2018
  • Modelo Light CNN-29 V2 e código de treinamento são lançados. O 100% - EER no LFW alcança 99,43% .
  • O desempenho do conjunto 1 no megaface alcança 76,021% para a precisão da classificação-1 e 89,740% para tpr@dist = 10^-6.
• 12 de setembro de 2017
  • O modelo CNN-29 leve e o código de treinamento são lançados. O 100% - EER no LFW alcança 99,40% .
  • O desempenho do conjunto 1 no Megaface alcança 72,704% para a precisão da classificação-1 e 85,891% para TPR@FAR = 10^-6.
• 12 de julho de 2017
  • O modelo CNN-9 leve e o código de treinamento são lançados. O 100% - EER no LFW obtém 98,70% .
  • O desempenho do conjunto 1 no Megaface alcança 65,782% para a precisão da classificação-1 e 76,288% para tpr@dist = 10^-6.
• 4 de julho de 2017
  • O repositório foi construído.

Instalação

• Instale o Pytorch seguindo o site.
• Clone este repositório.
  • NOTA: Atualmente, executamos apenas no Python 2.7.

Conjuntos de dados

• Faça o download do conjunto de dados de rosto como Casia-Webface, VGG-Face e MS-CELEB-1M.

  • A lista limpa do MS-CELEB-1M é carregada: Baidu Yun, Google Drive.

• Todas as imagens de rosto são convertidas em imagens em escala de cinza e normalizadas para 144x144 de acordo com os marcos.

• De acordo com os cinco pontos faciais, não apenas giramos dois pontos oculares horizontalmente, mas também definimos a distância entre o ponto médio dos olhos e o ponto médio da boca (EC_MC_Y) e o eixo y do ponto médio dos olhos (EC_Y).

• As imagens LFW alinhadas são carregadas no Baidu Yun.

  Conjunto de dados	tamanho	ec_mc_y	ec_y
  Conjunto de treinamento	144x144	48	48
  Conjunto de testes	128x128	48	40

Treinamento

• Para treinar a CNN leve usando o script de trem, basta especificar os parâmetros listados no train.py como uma bandeira ou alterá -los manualmente.

python train.py --root_path=/path/to/your/datasets/ 
		--train_list=/path/to/your/train/list.txt 
		--val_list=/path/to/your/val/list.txt 
		--save_path=/path/to/your/save/path/ 
		--model= " LightCNN-9/LightCNN-29 " --num_classes=n

• Pontas:
  • As listas de conjuntos de dados de trem e Val são seguidos pelo formato de Caffe. Os detalhes do carregador de dados são mostrados em load_imglist.py . Ou você pode usar torchvision.datasets.ImageFolder para carregar seus conjuntos de dados.
  • O num_classes indica o número de identidades no seu conjunto de dados de treinamento.
  • Ao treinar por Pytorch, você pode definir uma taxa de aprendizado maior que o CAFFE e é mais rápida conversa por Pytorch do que a CAFFE para a CNN leve.
  • Aumentamos a taxa de aprendizado para os parâmetros do FC2, que podem liderar um melhor desempenho. Se o treinamento for colapso em seus próprios conjuntos de dados, você poderá diminuí -lo.
  • Modificamos a implementação do SGD com momento, uma vez que a implementação oficial do Pytorch é diferente de Sutskever et. al. Os detalhes são mostrados aqui.
  • Os conjuntos de dados de treinamento para LightCNN-29V2 são Casia-Webface e MS-CELEB-1M, portanto, o num_classes é 80013 .

Avaliação

• Para avaliar uma rede treinada:

 python extract_features.py --resume=/path/to/your/model 
			   --root_path=/path/to/your/datasets/ 
			   --img_list=/path/to/your/list.txt 
			   --save_path=/path/to/your/save/path/ 
			   --model="LightCNN-9/LightCNN-29/LightCNN-29v2"
			   --num_classes=n (79077 for LightCNN-9/LightCNN-29, 80013 for LightCNN-29v2)

• Você pode usar vlfeat ou sklearn para avaliar os recursos no ROC e obter EER e TPR@FPR para seus conjuntos de dados de teste.
• O modelo de LightCNN-9 é lançado no Google Drive.
  • Observe que o modelo liberado contém todo o estado do módulo e otimizador da CNN leve. Os detalhes do modelo de carregamento podem ser encontrados no train.py
• O modelo de LightCNN-29 é lançado no Google Drive.
• O modelo de LightCNN-29 V2 é lançado no Google Drive.
• As características do LFW e MEGAFACE do Lightcnn-9 são lançadas.
• O modelo de Lightcnn V4 é lançado no Google Drive.
  • A estrutura detalhada do Lightcnn V4 é mostrada em Light_cnn_v4.py
  • A entrada é uma imagem de face 128*128 bgr 128 alinhada.
  • O valor do pixel de entrada é normalizado pela média ([0,0, 0,0, 0,0]) e DST ([255,0, 255,0, 255,0]).

Desempenho

O desempenho da CNN leve em LFW 6.000 pares.

Modelo	100% - eer	TPR@FAR = 1%	Tpr@far=0.1%	TPR@FAR = 0
Lightcnn-9	98,70%	98,47%	95,13%	89,53%
Lightcnn-29	99,40%	99,43%	98,67%	95,70%
Lightcnn-29v2	99,43%	99,53%	99,30%	96,77%
Lightcnn v4	99,67%	99,67%	99,57%	99,27%

O desempenho da CNN leve nos protocolos LFW Blufr

Modelo	Vr@far=0.1%	Dir@distante = 1%
Lightcnn-9	96,80%	83,06%
Lightcnn-29	98,95%	91,33%
Lightcnn-29v2	99,41%	94,43%

O desempenho da CNN leve no megaface

Modelo	Rank-1	TPR@FAR = 1E-6
Lightcnn-9	65,782%	76,288%
Lightcnn-29	72,704%	85,891%
Lightcnn-29v2	76,021%	89,740%

Citação

Se você usar nossos modelos, cite o seguinte artigo:

 @article{wu2018light,
  title={A light CNN for deep face representation with noisy labels},
  author={Wu, Xiang and He, Ran and Sun, Zhenan and Tan, Tieniu},
  journal={IEEE Transactions on Information Forensics and Security},
  volume={13},
  number={11},
  pages={2884--2896},
  year={2018},
  publisher={IEEE}
}

Referências

• Implementação original da CNN Light (CAFFE).
• Pytorch.