animeGAN

Animegan

Une simple implémentation Pytorch de réseaux adversaires génératifs, en se concentrant sur le dessin de la face d'anime.

Images générées aléatoires

Les images sont générées à partir d'un modèle DCGAN formé sur 143 000 faces de caractère anime pour 100 époques.

Interpolation d'image

La manipulation des codes latents, permet la transition des images de la première ligne à la dernière ligne.

Images originales

Les images ne sont pas propres, certaines valeurs aberrantes peuvent être observées, ce qui dégrade la qualité des images générées.

Usage

Pour exécuter l'expérience,

$ python main.py --dataRoot path_to_dataset/ 

Le modèle pré-entraîné pour DCGAN est également dans ce dépôt, jouez-le dans le cahier Jupyter.

ensemble de données anime-face

Des images de style anime de 126 balises sont collectées à Danbooru.Donmai.us à l'aide de la galerie d'outils Crawler-DL. Les images sont ensuite traitées par un détecteur de visage anime python-animeface. L'ensemble de données résultant contient environ 143 000 faces d'anime. Notez que certaines des étiquettes peuvent ne plus significations après la culture, c'est-à-dire que les images de visage recadrées sous une balise «uniforme» peuvent ne pas contenir de parties visibles d'uniformes.

Comment construire l'ensemble de données à partir de zéro?

Préquis: Gallery-DL, Python-animeface

1. Télécharger des images de style anime

    # download 1000 images under the tag "misaka_mikoto"
   gallery-dl --images 1000 " https://danbooru.donmai.us/posts?tags=misaka_mikoto "
   
   # in a multi-processing manner
   cat tags.txt | 
   xargs -n 1 -P 12 -I ' tag '  
   bash -c ' gallery-dl --images 1000 "https://danbooru.donmai.us/posts?tags=$tag" '

2. Extraire les visages des images téléchargées

    import animeface
   from PIL import Image
   
   im = Image . open ( 'images/anime_image_misaka_mikoto.png' )
   faces = animeface . detect ( im )
   x , y , w , h = faces [ 0 ]. face . pos
   im = im . crop (( x , y , x + w , y + h ))
   im . show () # display

J'ai nettoyé l'ensemble de données d'origine, la nouvelle version de l'ensemble de données a 115085 images en 126 balises. Vous pouvez accéder aux images depuis:

• Github: https://github.com/jayleicn/animegan/releases/tag/data
• Baiduyun: https://pan.baidu.com/s/1o8nxllo

Utilisation non commerciale s'il vous plaît.

Les choses que j'ai apprises

1. Les Gans sont vraiment difficiles à former.
2. DCGAN fonctionne généralement bien, simplement ajouter des couches entièrement connectées causent des problèmes.
3. Dans mes cas, plus de couches pour G donne de meilleures images, en ce sens que G devrait être plus puissant que D.
4. Ajouter du bruit aux entrées et aux étiquettes de D aide à stabser la formation.
5. Utilisez une entrée différente et générez une résolution (64x64 vs 96x96), il n'y a pas de différence évidente pendant la formation, les images générées sont également très similaires.
6. Le bruit de binray comme l'entrée de G fonctionne étonnamment, mais les images ne sont pas aussi bonnes que celles ayant un bruit gussien, un crédit d'idées à @cwhy ['bruit binaire' ici, je veux dire une séquence de {-1,1} générée par la distribution de Bernoulli à P = 0,5]

Je ne les ai pas soigneusement vérifiés, si vous cherchez des conseils généraux Gan, voir @ Soumith's Ganhacks

Autres

1. Ce projet est fortement influencé par Chainer-DCGAN et Illustrationgan, les codes sont principalement empruntés à Pytorch DCGAN, merci les auteurs pour les codes propres.
2. Dépendances: pytorch, torchvision
3. Ceci est un projet de jouets pour moi d'apprendre le pytorch et les gans, surtout, pour le plaisir! :) Tous les commentaires sont les bienvenus.

@jayleicn