Gerador de personagens de videogame AI
Visão geral
Este projeto aproveita o poder da difusão estável, da Dreambooth e da Lora Technologies para gerar personagens de videogame altamente personalizáveis e exclusivos. Este sistema ajuda os criativos a gerar imagens detalhadas de caracteres, aumentando a criatividade e oferecendo uma vasta gama de possibilidades de design de caracteres.
Características
- Geração de caracteres personalizada : Crie personagens de videogame com características e atributos visuais exclusivos.
- Ajuste avançado : utiliza Dreambooth e Lora para ajuste e aprimoramento preciso do modelo.
- Alta flexibilidade : Adequado para uma ampla gama de jogos e estilos de personagens.
Detalhes técnicos
Pilha de tecnologia
- Difusão estável : para geração de imagem de caracteres base.
- Dreambooth : para ajustar o modelo de uso geral para reconhecer e gerar novos caracteres específicos.
- LORA (adaptação de baixa classificação) : aplicada para um modelo leve e eficiente de ajuste fino, concentrando-se em aprimorar aspectos específicos dos caracteres gerados.
Conjunto de dados
O conjunto de dados consiste em 31.800 imagens coletadas de 12 videogames diferentes, com rotulagem profunda usando ferramentas como DeepDanbooru e Blip para uma classificação precisa de atributos.
Arquitetura de modelo
- Modelo básico : difusão estável v1.5, gerando imagens básicas detalhadas.
- Adaptação Dreambooth : aprimora a capacidade do modelo de gerar caracteres novos e específicos sem perder recursos gerais.
- Adaptação de Lora : fornece melhorias direcionadas com recursos computacionais mínimos, adequados para aprimoramentos de caracteres únicos.
Instalação
git clone https://github.com/VaradhKaushik/Ai-character-generation.git
cd Ai-character-generation
pip install -r requirements.txt
Escopo futuro
- O próximo passo é experimentar modelos diferentes com essa abordagem.
- Tune o modelo em um conjunto de dados de alta resolução.
- Comibne Lora e nosso modelo treinado por Dreambooth.
- Tente estilo de treinamento, roupas, conceito loras e compare resultados.
- Explore o uso de Lycoris para o ajuste fino do modelo.
Referências
- https://huggingface.co/runwayml/stable-diffusion-v1-5
- https://github.com/shivamshrarao/diffusers/tree/main/examples/dreambooth
- https://huggingface.co/blog/stable_diffusion
- https://huggingface.co/docs/diffusers/training/lora?installation=pytorch
- https://github.com/huggingface/diffusers/tree/main/examples/text_to_image
- https://civitai.com/models/4468?modelversionId=57618
- https://github.com/automatic1111/stable-diffusion-webui
- https://huggingface.co/openai/clip-vit-base-patch32
- https://github.com/kichangkim/deepdanbooru
Membros da equipe
Alexander Seljuk, Varadh Kaushik, Girish Adari Kumar
