deep transfer learning

Apprentissage du transfert profond à Pytorch

Il s'agit d'une bibliothèque Pytorch pour un apprentissage en profondeur. Nous divisons le code en deux aspects: adaptation de domaine non supervisée à source unique (SUDA) et adaptation de domaine non supervisée multi-sources (MUDA). Il existe de nombreuses méthodes Suda, mais je trouve qu'il existe quelques méthodes MUDA avec l'apprentissage en profondeur. En outre, Muda avec l'apprentissage en profondeur pourrait être une direction plus prometteuse pour l'adaptation du domaine.

Ici, j'ai mis en œuvre des méthodes de transfert en profondeur comme suit:

• Uda
  • DDC: Confusion du domaine profond Maximiser pour l'invariance du domaine
  • Dan: Apprendre des fonctionnalités transférables avec des réseaux d'adaptation profonds (ICML2015)
  • Corail profond: alignement de corrélation des coraux profonds pour l'adaptation du domaine profond (ECCV2016)
  • Revgrad: Adaptation du domaine non supervisé par rétro-propagation (ICML2015)
  • MRAN: Réseau d'adaptation multi-représentation pour la classification des images inter-domaines (Neural Network 2019)
  • DSAN: Réseau d'adaptation du sous-domaine Deep pour la classification des images (transactions IEEE sur les réseaux de neurones et les systèmes d'apprentissage 2020)
• Muda
  • Alignez la distribution et le classificateur spécifiques au domaine pour la classification du domaine croisé à partir de sources multiples (AAAI2019)
• Application
  • Détection de la fraude entre le domaine: modélisation des séquences de comportement des utilisateurs avec réseau explicable hiérarchique pour la détection de la fraude inter-domaine (www2020)
  • Apprendre à étendre l'audience via des experts et des critiques de méta-hybride pour la recommandation et la publicité (KDD2021)
• Enquête
  • Une enquête complète sur l'apprentissage du transfert (Proc. IEEE)

Résultats sur Office31 (UDA)

Méthode	A - W	D - W	W - D	ANNONCE	D - A	W - A	Moyenne
Resnet	68,4 ± 0,5	96,7 ± 0,5	99,3 ± 0,1	68,9 ± 0,2	62,5 ± 0,3	60,7 ± 0,3	76.1
DDC	75,8 ± 0,2	95,0 ± 0,2	98,2 ± 0,1	77,5 ± 0,3	67,4 ± 0,4	64,0 ± 0,5	79.7
Ddc *	78,3 ± 0,4	97,1 ± 0,1	100,0 ± 0,0	81,7 ± 0,9	65,2 ± 0,6	65,1 ± 0,4	81.2
Dan	83,8 ± 0,4	96,8 ± 0,2	99,5 ± 0,1	78,4 ± 0,2	66,7 ± 0,3	62,7 ± 0,2	81.3
Dan *	82,6 ± 0,7	97,7 ± 0,1	100,0 ± 0,0	83,1 ± 0,9	66,8 ± 0,3	66,6 ± 0,4	82.8
Dcoral *	79,0 ± 0,5	98,0 ± 0,2	100,0 ± 0,0	82,7 ± 0,1	65,3 ± 0,3	64,5 ± 0,3	81.6
Revradging	82,0 ± 0,4	96,9 ± 0,2	99,1 ± 0,1	79,7 ± 0,4	68,2 ± 0,4	67,4 ± 0,5	82.2
Revgrad *	82,6 ± 0,9	97,8 ± 0,2	100,0 ± 0,0	83,3 ± 0,9	66,8 ± 0,1	66,1 ± 0,5	82.8
Mran	91,4 ± 0,1	96,9 ± 0,3	99,8 ± 0,2	86,4 ± 0,6	68,3 ± 0,5	70,9 ± 0,6	85.6
DSAN	93,6 ± 0,2	98,4 ± 0,1	100,0 ± 0,0	90,2 ± 0,7	73,5 ± 0,5	74,8 ± 0,4	88.4

Notez que les résultats sans «*» proviennent du papier. Les résultats avec «*» sont exécutés par moi-même avec le code.

Résultats sur Office31 (MUDA)

Normes	Méthode	A, w - D	A, D - W	D, W - A	Moyenne
	Resnet	99.3	96.7	62.5	86.2
	Dan	99.5	96.8	66.7	87.7
Meilleur	Dcoral	99.7	98.0	65.3	87.7
	Revradging	99.1	96.9	68.2	88.1
	Dan	99.6	97.8	67.6	88.3
Source combiner	Dcoral	99.3	98.0	67.1	88.1
	Revradging	99.7	98.1	67.6	88.5
Multicolato	MFSAN	99.5	98.5	72.7	90.2

Résultats sur OfficeHome (MUDA)

Normes	Méthode	C, P, R - A	A, P, R - C	A, C, R - P	A, C, P - R	Moyenne
	Resnet	65.3	49.6	79.7	75.4	67.5
	Dan	64.1	50.8	78.2	75.0	67.0
Meilleur	Dcoral	68.2	56.5	80.3	75.9	70.2
	Revradging	67.9	55.9	80.4	75.8	70.0
	Dan	68.5	59.4	79.0	82.5	72.4
Source combiner	Dcoral	68.1	58.6	79.5	82.7	72.2
	Revradging	68.4	59.1	79.5	82.7	72.4
Multicolato	MFSAN	72.1	62.0	80.3	81.8	74.1

Notez que (1) Source Combine: Tous les domaines source sont combinés ensemble dans un paramètre cible traditionnel à source unique vs. (2) Single Best: Parmi les domaines source multiple, nous rapportons les meilleurs résultats de transfert de source unique. (3) Multi-source: les résultats des méthodes MUDA.

Note

Si vous constatez que votre précision est de 100%, le problème pourrait être le dossier de l'ensemble de données. Veuillez noter que la structure du dossier requise pour que le fournisseur de données fonctionne est:

 -dataset
    -amazon
    -webcam
    -dslr

Contact

Si vous avez un problème sur cette bibliothèque, veuillez créer un problème ou nous envoyer un e-mail à:

• [email protected]
• [email protected]

Référence

Si vous utilisez ce référentiel, veuillez citer les articles suivants:

 @inproceedings{zhu2019aligning,
  title={Aligning domain-specific distribution and classifier for cross-domain classification from multiple sources},
  author={Zhu, Yongchun and Zhuang, Fuzhen and Wang, Deqing},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={33},
  pages={5989--5996},
  year={2019}
}

 @article{zhu2020deep,
  title={Deep subdomain adaptation network for image classification},
  author={Zhu, Yongchun and Zhuang, Fuzhen and Wang, Jindong and Ke, Guolin and Chen, Jingwu and Bian, Jiang and Xiong, Hui and He, Qing},
  journal={IEEE transactions on neural networks and learning systems},
  volume={32},
  number={4},
  pages={1713--1722},
  year={2020},
  publisher={IEEE}
}

 @article{zhu2019multi,
  title={Multi-representation adaptation network for cross-domain image classification},
  author={Zhu, Yongchun and Zhuang, Fuzhen and Wang, Jindong and Chen, Jingwu and Shi, Zhiping and Wu, Wenjuan and He, Qing},
  journal={Neural Networks},
  volume={119},
  pages={214--221},
  year={2019},
  publisher={Elsevier}
}