ArtLine
1.0.0
¿Puedes patrocinarme para apoyar mi trabajo de código abierto? patrocinador
El objetivo principal del proyecto es crear increíbles retratos de arte de línea.
El modelo está diseñado para tomar una imagen de retrato y una instrucción escrita correspondiente, y luego usar esa instrucción para ajustar el estilo de la imagen.
Bohemian Rhapsody Movie, Rami Malek American Actor
Foto de Maxim de Pexels
Keanu Reeves, actor canadiense.
Foto de Anastasiya Gepp de Pexels
Interestelar
Retrato de Pexels, modelo
Beyoncé, cantante estadounidense
Modelo- (suave)
Modelo- (calidad)
Haga clic en la imagen a continuación para saber más sobre Colab Demo, créditos a Bhavesh Bhatt para el increíble video de YouTube.
Los resultados sorprendentes que ha producido el modelo tiene una salsa secreta. El modelo inicial no pudo crear el tipo de salida que esperaba, en su mayoría tuvo problemas para reconocer las características faciales. A pesar de que (https://github.com/yiranranran/apdrawinginggan) produjo excelentes resultados, tuvo limitaciones como (foto frontal de cara similar a la foto de identificación, preferiblemente con características de cara clara, sin gafas y sin flequillo largo). Quería romper en y producir resultados que puedan reconocer cualquier pose. Lograr líneas adecuadas alrededor de la cara, los ojos, los labios y la nariz depende de los datos que le da al modelo. El conjunto de datos de apdrewing por sí solo no era suficiente, así que tuve que combinar fotos seleccionadas del conjunto de datos de pares de colorización de bocetos de anime. El conjunto de datos combinado ayudó al modelo a aprender mejor las líneas.
El póster de la película se creó usando Artline en muy poco tiempo, no es tan bueno como debería ser, pero no soy un artista.
Autoatención (https://arxiv.org/abs/1805.08318). El generador está provocado por un metro con normalización espectral y autoatención. Algo que obtuve de Deoldify de Jason Antic (https://github.com/jantic/deoldify), esto marcó una gran diferencia, de repente comencé a obtener los detalles adecuados sobre las características faciales.
RESISTENCIO PROGRESIVO (https://arxiv.org/abs/1710.10196),(https://arxiv.org/pdf/1707.02921.pdf). El cambio de tamaño progresivo toma esta idea de aumentar gradualmente el tamaño de la imagen, en este proyecto el tamaño de la imagen aumentó gradualmente y las tasas de aprendizaje se ajustaron. Gracias a Fast.ai por intrusión para un cambio de tamaño progresivo, esto ayuda al modelo a generalizarse mejor, ya que ve muchas más imágenes diferentes.
Pérdida del generador : pérdida perceptiva/pérdida de características basada en VGG16. (https://arxiv.org/pdf/1603.08155.pdf).
¡¡Sorpresa!! Sin crítico, no gan. Gan no hizo una gran diferencia, así que estaba feliz sin GaN.
La misión era crear algo que convierta cualquier foto personal en un arte de línea. Los esfuerzos iniciales han ayudado a reconocer las líneas, pero aún así el modelo tiene que mejorar mucho con las sombras y la ropa. Todos mis esfuerzos son mejorar el modelo y hacer que el arte de la línea sea a un clic de distancia.
Conjunto de datos de APDRAWING
Conjunto de datos de pares de colorización de boceto de anime
El conjunto de datos APDRAWING consultó principalmente retratos de primer plano, por lo que el modelo lucha por recogonizar telas, manos, etc. Para este propósito se utilizaron imágenes seleccionadas del par de colorización de boceto de anime.
Espero que haya sido claro, en el futuro quisiera mejorar aún más el modelo, ya que todavía lucha con antecedentes aleatorios (estoy creando un conjunto de datos personalizado para abordar este problema).
Estaré actualizando constantemente el proyecto en el futuro previsible.
La forma más fácil de comenzar es simplemente probar en Colab: https://colab.research.google.com/github/vijishmadhavan/light-up/blob/master/artline(try_it_on_colab).ipynb
Este proyecto está construido alrededor de la maravillosa biblioteca de ayuno.
Obtener una excelente salida depende de la iluminación, los fondos, las sombras y la calidad de las fotos. Principalmente obtendrá buenos resultados en el primer intento, pero también hay posibilidades de problemas. El modelo aún no está allí, todavía debe modificarse para llegar a todos los consumidores. Puede ser útil para "Artisits/ artistas de IA que pueden traer cambios en la salida final.
El modelo confunde las sombras con el cabello, algo que estoy tratando de resolver.
Hace mal con imágenes de baja calidad (por debajo de 500px).
No soy un codificador, tengan paciencia conmigo por el mal código y la documentación. Me aseguraré de mejorar con las próximas actualizaciones.
Obtenga más actualizaciones en Twitter
Envíeme un correo electrónico @ [email protected]
El código está inspirado en la Lección 7 de Fast.ai y Deoldify (https://github.com/jantic/deoldify), eche un vistazo al cuaderno de la lección (https://github.com/fastai/course-v3/blob/ maestro/nbs/dl1/lección7-suberres-gan.ipynb)
Gracias a (https://github.com/yiranranán/apdrawinggan) por el increíble conjunto de datos.
Todo el código en este repositorio está bajo la licencia MIT según lo especificado por el archivo de licencia.
