deep transfer learning

Tiefes Transferlernen in Pytorch

Dies ist eine Pytorch -Bibliothek für Deep Transfer Learning. Wir unterteilen den Code in zwei Aspekte: eine unbeaufsichtigte Einzel-Source-Domänenanpassung (SUDA) und Multi-Source Unüberwachte Domain Adaptation (MUDA). Es gibt viele Suda -Methoden, aber ich finde, es gibt einige Muda -Methoden mit tiefem Lernen. Außerdem könnte Muda mit tiefem Lernen eine vielversprechendere Richtung für die Anpassung der Domänen sein.

Hier habe ich einige tiefe Transfermethoden wie folgt implementiert:

• Uda
  • DDC: Deep Domain -Verwirrung maximiert die Domäneninvarianz
  • Dan: Lernen übertragbare Funktionen mit Deep Adaptation Networks (ICML2015)
  • Deep Coral: Deep Coral Korrelationsausrichtung für die Anpassung der tiefen Domänen (ECCV2016)
  • RevGRAD: Unüberwachte Domänenanpassung durch Backpropagation (ICML2015)
  • MRAN: Multi-Repräsentation Adaptation Network für die Cross-Domänen-Bildklassifizierung (Neural Network 2019)
  • DSAN: Deep Subdomain Adaptation Network für die Bildklassifizierung (IEEE -Transaktionen zu neuronalen Netzwerken und Lernsystemen 2020)
• Muda
  • Ausrichtung der domänenspezifischen Verteilung und Klassifizierer für die Klassifizierung der Domänen aus mehreren Quellen (AAAI2019)
• Anwendung
  • Cross-Domain-Betrugserkennung: Modellierung der Verhaltenssequenzen von Benutzern mit hierarchisch erklärbarem Netzwerk zur Erkennung von Domänen (www2020)
  • Lernen, das Publikum über Meta -Hybrid -Experten und Kritiker für Empfehlungen und Werbung zu erweitern (KDD2021)
• Umfrage
  • Eine umfassende Umfrage zum Transferlernen (Proc. IEEE)

Ergebnisse auf Office31 (UDA)

Verfahren	A - w	D - w	W - d	A - d	D - a	W - a	Durchschnitt
Resnet	68,4 ± 0,5	96,7 ± 0,5	99,3 ± 0,1	68,9 ± 0,2	62,5 ± 0,3	60,7 ± 0,3	76.1
DDC	75,8 ± 0,2	95,0 ± 0,2	98,2 ± 0,1	77,5 ± 0,3	67,4 ± 0,4	64,0 ± 0,5	79,7
Ddc*	78,3 ± 0,4	97,1 ± 0,1	100,0 ± 0,0	81,7 ± 0,9	65,2 ± 0,6	65,1 ± 0,4	81.2
DAN	83,8 ± 0,4	96,8 ± 0,2	99,5 ± 0,1	78,4 ± 0,2	66,7 ± 0,3	62,7 ± 0,2	81.3
DAN*	82,6 ± 0,7	97,7 ± 0,1	100,0 ± 0,0	83,1 ± 0,9	66,8 ± 0,3	66,6 ± 0,4	82.8
Dcoral*	79,0 ± 0,5	98,0 ± 0,2	100,0 ± 0,0	82,7 ± 0,1	65,3 ± 0,3	64,5 ± 0,3	81.6
Umgedreht	82,0 ± 0,4	96,9 ± 0,2	99,1 ± 0,1	79,7 ± 0,4	68,2 ± 0,4	67,4 ± 0,5	82.2
Umgedreht*	82,6 ± 0,9	97,8 ± 0,2	100,0 ± 0,0	83,3 ± 0,9	66,8 ± 0,1	66,1 ± 0,5	82.8
MRAN	91,4 ± 0,1	96,9 ± 0,3	99,8 ± 0,2	86,4 ± 0,6	68,3 ± 0,5	70,9 ± 0,6	85.6
DSAN	93,6 ± 0,2	98,4 ± 0,1	100,0 ± 0,0	90,2 ± 0,7	73,5 ± 0,5	74,8 ± 0,4	88,4

Beachten Sie, dass die Ergebnisse ohne '*' aus Papier stammen. Die Ergebnisse mit '*' werden von mir selbst mit dem Code ausgeführt.

Ergebnisse auf Office31 (Muda)

Standards	Verfahren	A, w - d	A, d - w	D, W - a	Durchschnitt
	Resnet	99.3	96,7	62,5	86,2
	DAN	99,5	96,8	66,7	87.7
Single Best	Dcoral	99.7	98.0	65.3	87.7
	Umgedreht	99.1	96,9	68,2	88.1
	DAN	99,6	97,8	67,6	88.3
Quelle Kombinat	Dcoral	99.3	98.0	67.1	88.1
	Umgedreht	99.7	98.1	67,6	88,5
Multi-Source	MFSAN	99,5	98,5	72.7	90.2

Ergebnisse auf OfficeHome (Muda)

Standards	Verfahren	C, p, r - a	A, p, r - c	A, c, r - p	A, c, p - r	Durchschnitt
	Resnet	65.3	49,6	79,7	75,4	67,5
	DAN	64.1	50.8	78,2	75,0	67.0
Single Best	Dcoral	68,2	56,5	80.3	75,9	70,2
	Umgedreht	67,9	55.9	80.4	75,8	70.0
	DAN	68,5	59.4	79,0	82,5	72.4
Quelle Kombinat	Dcoral	68.1	58.6	79,5	82.7	72.2
	Umgedreht	68,4	59.1	79,5	82.7	72.4
Multi-Source	MFSAN	72.1	62.0	80.3	81.8	74.1

Beachten Sie, dass (1) Quelle Kombinat: Alle Quelldomänen werden zu einer herkömmlichen Einstellung von Single Source und Target zusammengefasst. (2) Einzelbeste: Unter den mehreren Quelldomänen berichten wir über die besten Einzelquellenübertragungsergebnisse. (3) Multi-Source: Die Ergebnisse von Muda-Methoden.

Notiz

Wenn Sie feststellen, dass Ihre Genauigkeit 100%beträgt, ist das Problem möglicherweise der Datensatzordner. Bitte beachten Sie, dass die Ordnerstruktur, die der Datenanbieter benötigt, lautet:

 -dataset
    -amazon
    -webcam
    -dslr

Kontakt

Wenn Sie ein Problem in dieser Bibliothek haben, erstellen Sie bitte ein Problem oder senden Sie uns eine E -Mail unter:

• [email protected]
• [email protected]

Referenz

Wenn Sie dieses Repository verwenden, zitieren Sie bitte die folgenden Papiere:

 @inproceedings{zhu2019aligning,
  title={Aligning domain-specific distribution and classifier for cross-domain classification from multiple sources},
  author={Zhu, Yongchun and Zhuang, Fuzhen and Wang, Deqing},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={33},
  pages={5989--5996},
  year={2019}
}

 @article{zhu2020deep,
  title={Deep subdomain adaptation network for image classification},
  author={Zhu, Yongchun and Zhuang, Fuzhen and Wang, Jindong and Ke, Guolin and Chen, Jingwu and Bian, Jiang and Xiong, Hui and He, Qing},
  journal={IEEE transactions on neural networks and learning systems},
  volume={32},
  number={4},
  pages={1713--1722},
  year={2020},
  publisher={IEEE}
}

 @article{zhu2019multi,
  title={Multi-representation adaptation network for cross-domain image classification},
  author={Zhu, Yongchun and Zhuang, Fuzhen and Wang, Jindong and Chen, Jingwu and Shi, Zhiping and Wu, Wenjuan and He, Qing},
  journal={Neural Networks},
  volume={119},
  pages={214--221},
  year={2019},
  publisher={Elsevier}
}