deep transfer learning

Aprendizagem de transferência profunda em Pytorch

Esta é uma biblioteca Pytorch para aprendizado de transferência profunda. Dividimos o código em dois aspectos: adaptação de domínio não supervisionada (SUDA) de fonte única e adaptação de domínio não supervisionada de várias fontes (MUDA). Existem muitos métodos SUDA, no entanto, acho que existem alguns métodos MUDA com aprendizado profundo. Além disso, Muda com aprendizado profundo pode ser uma direção mais promissora para a adaptação do domínio.

Aqui eu implementei alguns métodos profundos de transferência da seguinte maneira:

• Uda
  • DDC: Confusão de domínio profundo maximizando a invariância de domínio
  • Dan: Aprendendo recursos transferíveis com redes de adaptação profunda (ICML2015)
  • Coral profundo: alinhamento de correlação de coral profundo para adaptação de domínio profundo (ECCV2016)
  • RevGrad: Adaptação de domínio não supervisionada por retropropagação (ICML2015)
  • MRAN: Rede de adaptação multi-representante para classificação de imagem entre domínios (Rede Neural 2019)
  • DSAN: Rede de adaptação de subdomínio profundo para classificação de imagens (transações IEEE em redes neurais e sistemas de aprendizagem 2020)
• Muda
  • Distribuição e classificador específicos para o domínio alinhado para classificação de domínio cruzado de várias fontes (AAAI2019)
• Aplicativo
  • Detecção de fraude cruzada: modelando sequências de comportamento dos usuários com rede explicável hierárquica para detecção de fraude entre domínios (www2020)
  • Aprendendo a expandir o público por meio de especialistas e críticos da Meta Hybrid para recomendação e publicidade (KDD2021)
• Enquete
  • Uma pesquisa abrangente sobre aprendizado de transferência (Proc. IEEE)

Resultados no Office31 (UDA)

Método	A - w	D - w	W - d	A - d	D - a	W - a	Média
Resnet	68,4 ± 0,5	96,7 ± 0,5	99,3 ± 0,1	68,9 ± 0,2	62,5 ± 0,3	60,7 ± 0,3	76.1
DDC	75,8 ± 0,2	95,0 ± 0,2	98,2 ± 0,1	77,5 ± 0,3	67,4 ± 0,4	64,0 ± 0,5	79.7
DDC*	78,3 ± 0,4	97,1 ± 0,1	100,0 ± 0,0	81,7 ± 0,9	65,2 ± 0,6	65,1 ± 0,4	81.2
Dan	83,8 ± 0,4	96,8 ± 0,2	99,5 ± 0,1	78,4 ± 0,2	66,7 ± 0,3	62,7 ± 0,2	81.3
Dan*	82,6 ± 0,7	97,7 ± 0,1	100,0 ± 0,0	83,1 ± 0,9	66,8 ± 0,3	66,6 ± 0,4	82.8
DCORAL*	79,0 ± 0,5	98,0 ± 0,2	100,0 ± 0,0	82,7 ± 0,1	65,3 ± 0,3	64,5 ± 0,3	81.6
RevGrad	82,0 ± 0,4	96,9 ± 0,2	99,1 ± 0,1	79,7 ± 0,4	68,2 ± 0,4	67,4 ± 0,5	82.2
Revgrad*	82,6 ± 0,9	97,8 ± 0,2	100,0 ± 0,0	83,3 ± 0,9	66,8 ± 0,1	66,1 ± 0,5	82.8
MRAN	91,4 ± 0,1	96,9 ± 0,3	99,8 ± 0,2	86,4 ± 0,6	68,3 ± 0,5	70,9 ± 0,6	85.6
DSAN	93,6 ± 0,2	98,4 ± 0,1	100,0 ± 0,0	90,2 ± 0,7	73,5 ± 0,5	74,8 ± 0,4	88.4

Observe que os resultados sem '*' vem do papel. Os resultados com '*' são executados por mim com o código.

Resultados no Office31 (Muda)

Padrões	Método	A, w - d	A, d - w	D, W - a	Média
	Resnet	99.3	96.7	62.5	86.2
	Dan	99.5	96.8	66.7	87.7
Single Best	DCORAL	99.7	98.0	65.3	87.7
	RevGrad	99.1	96.9	68.2	88.1
	Dan	99.6	97.8	67.6	88.3
Fonte combinada	DCORAL	99.3	98.0	67.1	88.1
	RevGrad	99.7	98.1	67.6	88.5
Multi-fontes	Mfsan	99.5	98.5	72.7	90.2

Resultados no OfficeHome (Muda)

Padrões	Método	C, P, R - a	A, p, r - c	A, C, R - P.	A, c, p - r	Média
	Resnet	65.3	49.6	79.7	75.4	67.5
	Dan	64.1	50.8	78.2	75.0	67.0
Single Best	DCORAL	68.2	56.5	80.3	75.9	70.2
	RevGrad	67.9	55.9	80.4	75.8	70.0
	Dan	68.5	59.4	79.0	82.5	72.4
Fonte combinada	DCORAL	68.1	58.6	79.5	82.7	72.2
	RevGrad	68.4	59.1	79.5	82.7	72.4
Multi-fontes	Mfsan	72.1	62.0	80.3	81.8	74.1

Observe que (1) Combina de origem: Todos os domínios de origem são combinados em uma configuração tradicional de fonte única versus alvo. (2) Best Single Best: Entre os múltiplos domínios de origem, relatamos os melhores resultados de transferência de fonte única. (3) Multi-fonte: os resultados dos métodos MUDA.

Observação

Se você achar que sua precisão é 100%, o problema pode ser a pasta do conjunto de dados. Observe que a estrutura da pasta necessária para o provedor de dados funcionar é:

 -dataset
    -amazon
    -webcam
    -dslr

Contato

Se você tiver algum problema sobre esta biblioteca, crie um problema ou envie -nos um email em:

• [email protected]
• [email protected]

Referência

Se você usar este repositório, cite os seguintes papéis:

 @inproceedings{zhu2019aligning,
  title={Aligning domain-specific distribution and classifier for cross-domain classification from multiple sources},
  author={Zhu, Yongchun and Zhuang, Fuzhen and Wang, Deqing},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={33},
  pages={5989--5996},
  year={2019}
}

 @article{zhu2020deep,
  title={Deep subdomain adaptation network for image classification},
  author={Zhu, Yongchun and Zhuang, Fuzhen and Wang, Jindong and Ke, Guolin and Chen, Jingwu and Bian, Jiang and Xiong, Hui and He, Qing},
  journal={IEEE transactions on neural networks and learning systems},
  volume={32},
  number={4},
  pages={1713--1722},
  year={2020},
  publisher={IEEE}
}

 @article{zhu2019multi,
  title={Multi-representation adaptation network for cross-domain image classification},
  author={Zhu, Yongchun and Zhuang, Fuzhen and Wang, Jindong and Chen, Jingwu and Shi, Zhiping and Wu, Wenjuan and He, Qing},
  journal={Neural Networks},
  volume={119},
  pages={214--221},
  year={2019},
  publisher={Elsevier}
}