deep transfer learning

Aprendizaje de transferencia profunda en Pytorch

Esta es una biblioteca de Pytorch para el aprendizaje de transferencia profunda. Dividamos el código en dos aspectos: adaptación de dominio no supervisada de fuente única (SUDA) y adaptación de dominio no supervisado de múltiples fuentes (MUDA). Hay muchos métodos SUDA, sin embargo, encuentro que hay algunos métodos MUDA con aprendizaje profundo. Además, Muda con aprendizaje profundo podría ser una dirección más prometedora para la adaptación del dominio.

Aquí he implementado algunos métodos de transferencia profunda de la siguiente manera:

• Ida
  • DDC: Maximización de confusión de dominio profundo para la invariancia del dominio
  • Dan: Aprender características transferibles con redes de adaptación profunda (ICML2015)
  • Coral profundo: alineación de correlación de coral profundo para la adaptación de dominio profundo (ECCV2016)
  • RevGrad: adaptación de dominio no supervisada por backpropagation (ICML2015)
  • MRAN: Red de adaptación de la representación múltiple para la clasificación de imágenes de dominio cruzado (Red Neural 2019)
  • DSAN: Red de adaptación de subdominios profundos para la clasificación de imágenes (transacciones IEEE en redes neuronales y sistemas de aprendizaje 2020)
• Muda
  • Alinear la distribución y el clasificador específicos del dominio para la clasificación de dominio cruzado de múltiples fuentes (AAAI2019)
• Solicitud
  • Detección de fraude entre dominios: modelado de secuencias de comportamiento de los usuarios con una red explicable jerárquica para la detección de fraude de dominio cruzado (WWW2020)
  • Aprender a expandir a la audiencia a través de meta expertos y críticos de meta híbridos para recomendación y publicidad (KDD2021)
• Encuesta
  • Una encuesta completa sobre el aprendizaje de transferencia (Proc. IEEE)

Resultados en Office31 (UDA)

Método	A - W	D - W	W - D	A - D	D - A	W - A	Promedio
Resnet	68.4 ± 0.5	96.7 ± 0.5	99.3 ± 0.1	68.9 ± 0.2	62.5 ± 0.3	60.7 ± 0.3	76.1
DDC	75.8 ± 0.2	95.0 ± 0.2	98.2 ± 0.1	77.5 ± 0.3	67.4 ± 0.4	64.0 ± 0.5	79.7
DDC*	78.3 ± 0.4	97.1 ± 0.1	100.0 ± 0.0	81.7 ± 0.9	65.2 ± 0.6	65.1 ± 0.4	81.2
Dan	83.8 ± 0.4	96.8 ± 0.2	99.5 ± 0.1	78.4 ± 0.2	66.7 ± 0.3	62.7 ± 0.2	81.3
Dan	82.6 ± 0.7	97.7 ± 0.1	100.0 ± 0.0	83.1 ± 0.9	66.8 ± 0.3	66.6 ± 0.4	82.8
Dcoral*	79.0 ± 0.5	98.0 ± 0.2	100.0 ± 0.0	82.7 ± 0.1	65.3 ± 0.3	64.5 ± 0.3	81.6
Revgrado	82.0 ± 0.4	96.9 ± 0.2	99.1 ± 0.1	79.7 ± 0.4	68.2 ± 0.4	67.4 ± 0.5	82.2
Revgrad*	82.6 ± 0.9	97.8 ± 0.2	100.0 ± 0.0	83.3 ± 0.9	66.8 ± 0.1	66.1 ± 0.5	82.8
Mran	91.4 ± 0.1	96.9 ± 0.3	99.8 ± 0.2	86.4 ± 0.6	68.3 ± 0.5	70.9 ± 0.6	85.6
Dsan	93.6 ± 0.2	98.4 ± 0.1	100.0 ± 0.0	90.2 ± 0.7	73.5 ± 0.5	74.8 ± 0.4	88.4

Tenga en cuenta que los resultados sin '*' provienen del papel. Los resultados con '*' están ejecutados por mí mismo con el código.

Resultados en Office31 (muda)

Estándares	Método	A, W - D	A, d - w	D, W - A	Promedio
	Resnet	99.3	96.7	62.5	86.2
	Dan	99.5	96.8	66.7	87.7
Single Best	Dcoral	99.7	98.0	65.3	87.7
	Revgrado	99.1	96.9	68.2	88.1
	Dan	99.6	97.8	67.6	88.3
Fuente Combinar	Dcoral	99.3	98.0	67.1	88.1
	Revgrado	99.7	98.1	67.6	88.5
De múltiples fuentes	Mfsan	99.5	98.5	72.7	90.2

Resultados en Officehome (muda)

Estándares	Método	C, P, R - A	A, p, r - c	A, C, R - P	A, c, p - r	Promedio
	Resnet	65.3	49.6	79.7	75.4	67.5
	Dan	64.1	50.8	78.2	75.0	67.0
Single Best	Dcoral	68.2	56.5	80.3	75.9	70.2
	Revgrado	67.9	55.9	80.4	75.8	70.0
	Dan	68.5	59.4	79.0	82.5	72.4
Fuente Combinar	Dcoral	68.1	58.6	79.5	82.7	72.2
	Revgrado	68.4	59.1	79.5	82.7	72.4
De múltiples fuentes	Mfsan	72.1	62.0	80.3	81.8	74.1

Tenga en cuenta que (1) Combine la fuente: todos los dominios de origen se combinan juntos en una configuración tradicional de objetivo de código único VS. (2) Mejor único: entre los dominios de origen múltiple, informamos los mejores resultados de transferencia de fuente única. (3) Fuente múltiple: los resultados de los métodos MUDA.

Nota

Si encuentra que su precisión es del 100%, el problema podría ser la carpeta del conjunto de datos. Tenga en cuenta que la estructura de la carpeta requerida para que funcione el proveedor de datos es:

 -dataset
    -amazon
    -webcam
    -dslr

Contacto

Si tiene algún problema sobre esta biblioteca, cree un problema o envíenos un correo electrónico a:

• [email protected]
• [email protected]

Referencia

Si usa este repositorio, cite los siguientes documentos:

 @inproceedings{zhu2019aligning,
  title={Aligning domain-specific distribution and classifier for cross-domain classification from multiple sources},
  author={Zhu, Yongchun and Zhuang, Fuzhen and Wang, Deqing},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={33},
  pages={5989--5996},
  year={2019}
}

 @article{zhu2020deep,
  title={Deep subdomain adaptation network for image classification},
  author={Zhu, Yongchun and Zhuang, Fuzhen and Wang, Jindong and Ke, Guolin and Chen, Jingwu and Bian, Jiang and Xiong, Hui and He, Qing},
  journal={IEEE transactions on neural networks and learning systems},
  volume={32},
  number={4},
  pages={1713--1722},
  year={2020},
  publisher={IEEE}
}

 @article{zhu2019multi,
  title={Multi-representation adaptation network for cross-domain image classification},
  author={Zhu, Yongchun and Zhuang, Fuzhen and Wang, Jindong and Chen, Jingwu and Shi, Zhiping and Wu, Wenjuan and He, Qing},
  journal={Neural Networks},
  volume={119},
  pages={214--221},
  year={2019},
  publisher={Elsevier}
}