ArtLine
1.0.0
Sie können mich sponsern, um meine Open -Source -Arbeit zu unterstützen? Sponsor
Das Hauptziel des Projekts ist es, erstaunliche Leitungskunstporträts zu erstellen.
Das Modell ist so konzipiert, dass ein Porträtbild und eine entsprechende schriftliche Anweisung aufgenommen werden, und verwenden diese Anweisung dann, um den Stil des Bildes anzupassen.
Bohemian Rhapsody Movie, Rami Malek American Schauspieler
Foto von Maxim von Pexels
Keanu Reeves, kanadischer Schauspieler.
Foto von Anastasiya Gepp aus Pexels
Interstellar
Pexels Porträt, Modell
Beyoncé, amerikanischer Sänger
Modell- (glatt)
Modell- (Qualität)
Klicken Sie auf das folgende Bild, um mehr über Colab Demo zu erfahren, Credits an Bhavesh Bhatt für das erstaunliche YouTube -Video.
Die erstaunlichen Ergebnisse, die das Modell produziert hat, hat eine geheime Sauce. Das ursprüngliche Modell konnte nicht die Art von Ausgabe erstellen, die ich erwartete, und es kämpfte hauptsächlich mit der Erkennung von Gesichtsmerkmalen. Obwohl (https://github.com/yiranran/aprawinggan) großartige Ergebnisse erzielte, hatte es Einschränkungen wie (frontales Gesichtsfoto ähnlich wie das ID-Foto, vorzugsweise mit klaren Gesichtsfunktionen, ohne Brille und keine lange Rande.) Ich wollte brechen. in und erzeugen Ergebnisse, die jede Pose erkennen könnten. Das Erreichen der richtigen Linien um das Gesicht, die Augen, die Lippen und die Nase hängt von den Daten ab, die Sie dem Modell angeben. APDRAWING -Datensatz allein war nicht ausreichend, daher musste ich ausgewählte Fotos aus dem Datensatz des Anime -Skizzen -Colorisierungspaars kombinieren. Der kombinierte Datensatz half dem Modell, die Zeilen besser zu lernen.
Das Filmplakat wurde in kürzester Zeit mit Artline erstellt, es ist nicht so gut wie es sein sollte, aber ich bin kein Künstler.
Selbstbekämpfung (https://arxiv.org/abs/1805.08318). Der Generator ist unet mit spektraler Normalisierung und Selbstbekämpfung vorbereitet. Etwas, das ich von Jason Antics Entspannung (https://github.com/jantic/deoldify) bekam, machte einen großen Unterschied. Plötzlich bekam ich die richtigen Details in Bezug auf die Gesichtsfunktionen.
Progressive Größe (https://arxiv.org/abs/1710.10196) ,(https://arxiv.org/pdf/1707.02921.pdf). Progressive Größenänderung nimmt diese Idee, die Bildgröße allmählich zu erhöhen, und in diesem Projekt wurde die Bildgröße allmählich erhöht und die Lernraten wurden angepasst. Dank Fast.ai, dass ich mich in die progressive Größe integriert hat, hilft dies dem Modell, besser zu verallgemeinern, da es viele weitere verschiedene Bilder sieht.
Generatorverlust : Wahrnehmungsverlust/Merkmalsverlust basierend auf VGG16. (https://arxiv.org/pdf/1603.08155.pdf).
Überraschung!! Kein Kritiker, kein Gan. Gan machte keinen großen Unterschied, also war ich ohne Gan glücklich.
Die Mission war es, etwas zu schaffen, das jedes persönliche Foto in eine Linienkunst umwandelt. Die anfänglichen Bemühungen haben dazu beigetragen, Linien zu erkennen, aber das Modell muss sich immer noch viel mit Schatten und Kleidung verbessern. Alle meine Bemühungen sind es, das Modell zu verbessern und Linienkunst zu einem Klick zu machen.
APDRAWING -Datensatz
Anime Sketch Colorization Pair Dataset
Der APDRAWING-Datensatzkonsum von hauptsächlich Nahaufnahmen Porträts, damit das Modell Schwierigkeiten hat, Tücher, Hände usw. zu rekogonieren. Für diesen Zweck wurden ausgewählte Bilder aus dem Anime-Skizzen-Farbkolorisierungspaar verwendet.
Ich hoffe, ich war klar, dass ich das Modell weiter verbessern möchte, da es immer noch mit zufälligen Hintergründen zu kämpfen hat (ich erstelle einen benutzerdefinierten Datensatz, um dieses Problem anzugehen).
Ich werde das Projekt auf absehbare Zeit ständig aktualisieren.
Der einfachste Weg, um loszulegen, besteht
Dieses Projekt basiert auf der wunderbaren Fast.ai -Bibliothek.
Eine großartige Ausgabe abhängt, hängt von Beleuchtung, Hintergründen, Schatten und der Qualität der Fotos ab. Sie werden in der ersten Go meist gute Ergebnisse erzielen, aber es gibt auch Chancen für Probleme. Das Modell ist noch nicht da, es muss noch optimiert werden, um alle Verbraucher zu erreichen. Es kann nützlich sein, um "KIS -Kunst-/ Künstler, die Änderungen in die endgültige Ausgabe bringen können.
Das Modell verwirrt Schatten mit Haaren, etwas, das ich zu lösen versuche.
Es tut schlecht mit Bildern von geringer Qualität (unter 500px).
Ich bin kein Codierer, trage mit mir für den schlechten Code und die Dokumentation. Ich werde sicherstellen, dass ich mich mit bevorstehenden Updates verbessere.
Holen Sie sich mehr Updates auf Twitter
Mailen Sie mir @ [email protected]
Der Code ist von Fast.ai's Lektion 7 inspiriert und entspannt (https://github.com/jantic/deoldify). Bitte sehen Sie sich das Lessing Notebook (https://github.com/fastai/course-v3/blob/ an. Master/NBS/DL1/Lektion7-superres-gan.ipynb)
Vielen Dank an (https://github.com/yiranran/apdrawinggan) für den erstaunlichen Datensatz.
Der gesamte Code in diesem Repository befindet sich unter der MIT -Lizenz, wie in der Lizenzdatei angegeben.
