ArtLine
1.0.0
Você pode me patrocinar para apoiar meu trabalho de código aberto? patrocinador
O principal objetivo do projeto é criar retratos de arte de linha incríveis.
O modelo foi projetado para obter uma imagem de retrato e uma instrução escrita correspondente e, em seguida, use essa instrução para ajustar o estilo da imagem.
Filme de Rhapsody Bohemian, Rami Malek American Ator
Foto por Maxim de Pexels
Keanu Reeves, ator canadense.
Foto de Anastasiya Gepp da Pexels
Interestelar
Retrato de Pexels, modelo
Beyoncé, cantor americano
Modelo- (suave)
Modelo- (qualidade)
Clique na imagem abaixo para saber mais sobre a demonstração do Colab, créditos para Bhavesh Bhatt para o incrível vídeo do YouTube.
Os resultados surpreendentes que o modelo produziu têm um molho secreto. O modelo inicial não conseguiu criar o tipo de saída que eu esperava, lutou principalmente para reconhecer os recursos faciais. Embora (https://github.com/yiranran/apdrawinggan) tenha produzido ótimos resultados, ele tinha limitações como (foto do rosto frontal semelhante ao id de identificação, de preferência com recursos de face clara, sem óculos e sem margo longo.) Eu queria quebrar- e produzir resultados que pudessem reconhecer qualquer pose. A obtenção de linhas adequadas ao redor do rosto, olhos, lábios e nariz depende dos dados que você fornece ao modelo. O conjunto de dados ApDrawing por si só não foi suficiente, então eu tive que combinar fotos selecionadas do conjunto de dados de pares de coloração de esboço de anime. O conjunto de dados combinado ajudou o modelo a aprender melhor as linhas.
O pôster do filme foi criado usando o Artline em pouco tempo, não é tão bom quanto deveria, mas eu não sou um artista.
ATATENÇÃO (https://arxiv.org/abs/1805.08318). O gerador é pré-criado sem consumo com normalização espectral e auto-distribuição. Algo que recebi da Deoldify de Jason Antic (https://github.com/jantic/deoldify), isso fez uma enorme diferença, de repente, comecei a obter detalhes adequados sobre os recursos faciais.
REDIMINAÇÃO PROGRESSIVA (https://arxiv.org/abs/1710.10196) ,(https://arxiv.org/pdf/1707.02921.pdf). O redimensionamento progressivo leva essa idéia de aumentar gradualmente o tamanho da imagem, neste projeto o tamanho da imagem aumentou gradualmente e as taxas de aprendizado foram ajustadas. Agradecemos ao Fast.ai por me intrometer a redimensionamento progressivo, isso ajuda o modelo a generalizar melhor, pois vê muito mais imagens diferentes.
Perda do gerador : perda perceptiva/perda de recursos com base no VGG16. (https://arxiv.org/pdf/1603.08155.pdf).
Surpresa!! Nenhum crítico, sem gan. Gan não fazia muita diferença, então fiquei feliz sem gan.
A missão era criar algo que converte qualquer foto pessoal em uma arte de linha. Os esforços iniciais ajudaram a reconhecer linhas, mas ainda assim o modelo precisa melhorar muito com sombras e roupas. Todos os meus esforços são melhorar o modelo e tornar a arte de linha um clique de distância.
Conjunto de dados ApDrawing
Conjunto de dados do par de colorização do esboço de anime
O conjunto de dados apddrawing constitui principalmente retratos em close-up, para que o modelo lutaria para reconhecer panos, mãos etc. Para esse fim, foram usadas imagens selecionadas do par de esboços de anime.
Espero estar claro, daqui para frente gostaria de melhorar ainda mais o modelo, pois ele ainda luta com antecedentes aleatórios (estou criando um conjunto de dados personalizado para resolver esse problema).
Atualizarei constantemente o projeto para o futuro próximo.
A maneira mais fácil de começar é simplesmente experimentar o Colab: https://colab.research.google.com/github/vijishmadhavan/light-up/blob/master/artline(try_it_on_colab).ipynb
Este projeto é construído em torno da maravilhosa biblioteca Fast.ai.
Obter ótima saída depende da iluminação, fundos, sombras e a qualidade das fotos. Você obtém bons resultados na primeira vez, mas também há chances de problemas. O modelo ainda não está lá, ainda precisa ser aprimorado para alcançar todos os consumidores. Pode ser útil para "AI Artisits/ Artists que podem trazer alterações para a saída final.
O modelo confunde sombras com cabelos, algo que estou tentando resolver.
Isso é ruim com imagens de baixa qualidade (abaixo de 500px).
Não sou um codificador, tenha paciência comigo para o código e a documentação ruim. Garantirei que eu melhore com as próximas atualizações.
Obtenha mais atualizações no Twitter
Envie -me @ [email protected]
O código é inspirado na lição 7 do Fast.ai e na Deoldify (https://github.com/jantic/deoldify), veja o notebook da lição (https://github.com/fastai/course-v3/blob/ mestre/nbs/dl1/lesson7-superres-gan.ipynb)
Obrigado a (https://github.com/yiranran/apdrawinggan) pelo incrível conjunto de dados.
Todo o código deste repositório está sob a licença do MIT, conforme especificado pelo arquivo de licença.
