talking head anime demo
1.0.0
Você pode querer conferir a versão 2 muito mais capaz do mesmo software: http://github.com/pkhungurn/talking-wead-anime-2-demo
Este repositório contém código para dois aplicativos que usam o sistema de rede neural no Anime Head Head de um único projeto de imagem:
Se você não possui o hardware necessário (discutido abaixo) ou não deseja baixar o código e configurar um ambiente para executá -lo, clique para tentar executar o Poser manual no Google Colab.
Como em muitos projetos modernos de aprendizado de máquina escritos com a Pytorch, esse código requer uma GPU NVIDIA recente e poderosa para executar. Eu pessoalmente executei o código em um GeForce GTX 1080 Ti e um Titan RTX.
Além disso, a ferramenta Pepeteer requer uma webcam.
Se você instalar esses pacotes, você deve ser bom.
Se você usa o Anaconda, também terá a opção de recriar o ambiente Python que pode ser usado para executar a demonstração. Abra um diretório de shell e altere para a raiz do projeto. Em seguida, execute o seguinte comando:
conda env create -f environment.yml
Isso deve baixar e instalar todas as dependências. Lembre -se de que isso exigirá vários gigabytes do seu armazenamento. Após a instalação, você pode ativar o novo ambiente com o seguinte comando:
conda activate talking-head-anime
Depois de terminar o ambiente, você pode desativá -lo com:
conda deactivate
Depois de clonar este repositório para o armazenamento da sua máquina, você precisa baixar os modelos:
data na raiz do projeto. Os modelos são lançados separadamente com a Licença Internacional Creative Commons Attribution 4.0.shape_predictor_68_face_landmarks.dat e salve -o no diretório data . Você pode baixar o arquivo bzip a partir daqui. Não se esqueça de descompactar.Depois que o download for feito, o diretório de dados deve parecer o seguinte:
+ data
+ illust
- placeholder.txt
- waifu_00_256.png
- waifu_01_256.png
- waifu_02_256.png
- waifu_03_256.png
- waifu_04_256.png
- combiner.pt
- face_morpher.pt
- placeholder.txt
- shape_predictor_68_face_landmarks.dat
- two_algo_face_rotator.pt
Para jogar com a demonstração, você pode usar as 5 imagens que incluí nos data/illust . Ou você pode preparar algumas imagens de personagens sozinho. Imagens que podem ser animadas devem atender aos seguintes requisitos:
Para mais detalhes, consulte a seção 4 do site do projeto. Você deve salvar todas as imagens no diretório data/illust . Uma boa maneira de obter imagens de caracteres é gerar uma com o Waifu Labs e editar a imagem para atender aos requisitos acima.
Alterar diretório para o diretório raiz do projeto. Para executar o Poser manual, emita o seguinte comando em seu shell:
python app/manual_poser.py
Para administrar o marionetista, emita o seguinte comando em seu shell:
python app/puppeteer.py
Se o seu trabalho acadêmico se beneficiar do código neste repositório, cite a página da web do projeto da seguinte forma:
Pramook Khungurn. Anime da cabeça falando de uma única imagem. http://pkhungurn.github.io/talking-wead-anime/, 2019. Acesso: AAAA-MM-DD.
Você também pode usar a seguinte entrada Bibtex:
@misc{Khungurn:2019,
author = {Pramook Khungurn},
title = {Talking Head Anime from a Single Image},
howpublished = {url{http://pkhungurn.github.io/talking-head-anime/}},
year = 2019,
note = {Accessed: YYYY-MM-DD},
}
Embora o autor seja um funcionário do Google Japan, este software não é o produto do Google e não é suportado pelo Google.
Os direitos autorais deste software me pertencem, pois eu o solicitei usando o processo IARC. No entanto, uma das condições para a liberação desse código -fonte é que a publicação do "Anime de Head Head a partir de uma única imagem" seja aprovada pelo processo de aprovação de publicação interna. Solicitei aprovação em 2019/11/17. Foi revisado por um pesquisador, mas não foi formalmente aprovado por um gerente na minha área de produto (Google Maps). Decidi lançar esse código, com todos os riscos que ele pode incorrer.
Eu usei um código de rastreador de rosto implementado por Kwanhua Lee para implementar a ferramenta de marionetistas.
