ArtLine
1.0.0
Vous pouvez me parrainer pour soutenir mon travail open source? parrainer
L'objectif principal du projet est de créer des portraits d'art en ligne incroyables.
Le modèle est conçu pour prendre une image de portrait et une instruction écrite correspondante, puis utiliser cette instruction pour ajuster le style de l'image.
Bohemian Rhapsody Movie, Rami Malek American Actor
Photo par maxime de Pexels
Keanu Reeves, acteur canadien.
Photo d'Anastasiya Gepp de Pexels
Interstellaire
Portrait Pexels, modèle
Beyoncé, chanteur américain
Modèle (lisse)
Modèle - (qualité)
Cliquez sur l'image ci-dessous pour en savoir plus sur Colab Demo, crédits à Bhavesh Bhatt pour l'incroyable vidéo YouTube.
Les résultats étonnants que le modèle a produits a une sauce secrète. Le modèle initial n'a pas pu créer le type de sortie que j'attendais, il a surtout eu du mal à reconnaître les caractéristiques faciales. Même si (https://github.com/yiranran/apdrawinggan) a produit d'excellents résultats, il avait des limites comme (photo de face frontale similaire à la photo d'identification, de préférence avec des caractéristiques claires, pas de lunettes et pas de longue frange.) Je voulais casser- et produire des résultats qui pourraient reconnaître n'importe quelle pose. Atteindre les lignes appropriées autour du visage, des yeux, des lèvres et du nez dépend des données que vous donnez au modèle. L'approvisionnement en jeu de données n'était pas suffisant, j'ai dû combiner des photos sélectionnées à partir de l'ensemble de données de la paire de colorisation de l'esquisse d'anime. L'ensemble de données combiné a aidé le modèle à mieux apprendre les lignes.
L'affiche du film a été créée en utilisant Artline en un rien de temps, ce n'est pas aussi bon qu'elle devrait l'être, mais je ne suis pas un artiste.
Auto-attention (https://arxiv.org/abs/1805.08318). Le générateur est pré-entraîné UNET avec normalisation spectrale et auto-atténuer. Quelque chose que j'ai obtenu de Deoltify de Jason Antift (https://github.com/jantic/deoldify), cela a fait une énorme différence, tout d'un coup, j'ai commencé à obtenir des détails appropriés autour des traits du visage.
Redimensionnement progressif (https://arxiv.org/abs/1710.10196) ,(https://arxiv.org/pdf/1707.02921.pdf). Le redimensionnement progressif prend cette idée d'augmenter progressivement la taille de l'image, dans ce projet, la taille de l'image a été progressivement augmentée et les taux d'apprentissage ont été ajustés. Grâce à Fast.ai pour m'avoir introduit un redimensionnement progressif, cela aide le modèle à mieux généraliser car il voit beaucoup plus d'images différentes.
Perte du générateur : perte perceptuelle / perte de fonctions basée sur VGG16. (https://arxiv.org/pdf/1603.08155.pdf).
Surprendre!! Pas de critique, pas de gan. Gan n'a pas fait beaucoup de différence, donc j'étais content sans Gan.
La mission était de créer quelque chose qui convertit toute photo personnelle en art de ligne. Les efforts initiaux ont contribué à reconnaître les lignes, mais le modèle doit encore beaucoup s'améliorer avec les ombres et les vêtements. Tous mes efforts sont pour améliorer le modèle et faire en sorte que l'art en ligne un clic.
Ensemble de données d'appoint
Ensemble de données de paire de colorisation de l'esquisse d'anime
L'approvisionnement de données est constitué principalement de portraits en gros plan, de sorte que le modèle aurait du mal à recogoner les tissus, les mains, etc. À cet effet, des images sélectionnées de la paire de colorisation de l'esquisse d'anime ont été utilisées.
J'espère que j'étais clair, à l'avenir aimerait améliorer le modèle davantage car il lutte toujours avec des arrière-plans aléatoires (je crée un ensemble de données personnalisé pour résoudre ce problème).
Je vais constamment améliorer le projet dans un avenir prévisible.
La façon la plus simple de commencer est simplement d'essayer sur Colab: https://colab.research.google.com/github/vijishmadhavan/light-up/blob/master/artline(try_it_on_colab).ipynb
Ce projet est construit autour de la merveilleuse bibliothèque Fast.ai.
Obtenir une grande sortie dépend de l'éclairage, des arrière-plans, des ombres et de la qualité des photos. Vous obtiendrez principalement de bons résultats dans le premier coup, mais il y a également des chances de problèmes. Le modèle n'est pas encore là, il doit encore être modifié pour atteindre tous les consommateurs. Il pourrait être utile pour les "artistes / artistes qui peuvent apporter des changements à la production finale.
Le modèle confond les ombres avec les cheveux, quelque chose que j'essaie de résoudre.
Il fait mal avec des images de faible qualité (en dessous de 500px).
Je ne suis pas un codeur, je supporte avec moi le mauvais code et la documentation. Je m'assurerai que je m'améliore avec les prochaines mises à jour.
Obtenez plus de mises à jour sur Twitter
Mail @ [email protected]
Le code est inspiré de Fast.ai's Leçon 7 et DeoLify (https://github.com/jantic/deoltify), veuillez regarder le cahier de leçon (https://github.com/fastai/course-v3/blob/ Master / NBS / DL1 / Leson7-Superres-gan.ipynb)
Merci à (https://github.com/yiranran/apdrawinggan) pour le jeu de données incroyable.
Tout le code de ce référentiel est sous la licence MIT comme spécifié par le fichier de licence.
