Facial caricature profile GIF

Face Caricature Perfil Image e GIF Animation Creation

Conteúdo

1. Antecedentes e propósito
2. Organizador/equipe venceu
3. Período do projeto
4. Introdução ao projeto
   4.1 Curso de projeto
   4.2 Descrição do modelo
5. INFERÊNCIA
6. Resultado
7. Apresentação

1. Antecedentes e propósito

• Pode ser oneroso fazer upload de sua prova em plataformas públicas, como o perfil do GitHub.
• Crie uma caricatura que reflita as características do usuário com base na imagem real da face e a converte em uma animação GIF.

2. Organizador/membro da equipe

• Organizador/Organizador: Kookmin University AI Big Data Convergence Management Society X: AI

• Um total de 5 pessoas [Kwon min -Ji, Kim Seo -ryeong, Kim Jin -ha. Kwang -yeol yoo (líder da equipe), Cho Hyun -sik]

3. Período do projeto

• 2024.07 ~ 2024.08 (2 meses)

4. Introdução do projeto

4.1. Processo do projeto

1. Use SAM para criar máscaras.
2. Na máscara gerada, apenas a máscara da parte que você deseja aplicar na conversão de estilo é inserida na StyletRansfer.
3. O Diffstyler entra nas fotos de rosto do usuário, imagens de estilo e máscara para criar uma caricatura que reflita o estilo.
4. O modelo Image2Video, Liveportrait, entra na imagem da caricatura e em um vídeo de direção para produzir o resultado final que o converte em GIF.

4.2. Modelo usado

Sam

Difstyler

Image2Video

5. Inferência

1. clone git

 git clone https://github.com/yugwangyeol/2024_XAI_ADV_CV1_Toyproject.git

2. Faça o download dos pacotes necessários.

 cd 2024_XAI_ADV_CV1_Toyproject
pip install git+https://github.com/facebookresearch/segment-anything.git
pip install gradio

# DiffStyler
cd DiffStyler
pip install -r requirements.txt
pip install "jax[cuda12_pip]==0.4.23" -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html

# LivePortrait
cd ../LivePortrait
pip install -r requirements.txt
cd ../

3. Execute o código abaixo para executar o Gradio.

 python main.py

• No ambiente Colab, você pode executar Gradio_main.ipynb e executar o código por sua vez.

6. resultado

Original	Máscara	Imagem de estilo	Difstyler

Vídeo de direção	LiveProtrait

Gradio

Apresentação

X: AI Adv CV1 Team Toy Project Intermediate Anúncio.pdf

X: AI Adv CV1 Team Toy Project Anúncio final.pdf

Apresentação