AnimateDiff_Serverless_Runpod

Animatediff_serverless_runpod

1. Introdução

Este é um aplicativo sem servidor que usa o Animatediff para executar uma tarefa de texto para vídeo no Runpod.

Consulte também sdxl_serverless_runpod para tarefa de texto para imagens .

Sem servidor significa que você está cobrado apenas pelo tempo em que usa o aplicativo e não precisa pagar pelo tempo ocioso, o que é muito adequado para esse tipo de aplicativo que não é usado com frequência, mas precisa responder rapidamente.

Teoricamente, este aplicativo pode ser chamado por qualquer outro aplicativo. Aqui fornecemos dois exemplos:

1. Um script python simples
2. Um bot de telegrama

Veja o uso abaixo para obter mais detalhes.

Exemplo de resultado:

Prompt de entrada: (semente aleatória: 445608568)

 1girl, focus on face, offshoulder, light smile, shiny skin, best quality, masterpiece, photorealistic

Resultado: (Original |

exemplo_result_person_445608568.mp4

Prompt de entrada: (semente aleatória: 195577361)

 photo of coastline, rocks, storm weather, wind, waves, lightning, 8k uhd, dslr, soft lighting, high quality, film grain, Fujifilm XT3

Resultado: (Original | Zoom, 28 etapas, 768x512, cerca de 60 segundos no RTX 3090, 0,015 $? On Runpod)

exemplo_result_scene_195577361.mp4

Medição de tempo Explicação:

O tempo é medido a partir do momento em que o prompt de entrada é enviado no momento em que a imagem do resultado é recebida, incluindo o tempo para todas as seguintes etapas:

• Receba a solicitação do cliente
• Startup de contêiner sem servidor
• Carregamento de modelo
• Inferência
• Enviando a imagem de resultado de volta ao cliente.

2. Dependências

• Python> = 3.9
• Docker
• A GPU local é necessária para o teste, mas não é necessária para a implantação. (Recomendado: RTX 3090)

Se você não possui uma GPU, pode modificar e testar o código no Google Colab e depois criar e implantar o aplicativo no RunPod.

Exemplo de caderno: link

3. Uso

1. Teste na máquina local

 # Install dependencies
pip install -r requirements.txt

# Download models
python scripts/download.py

# Edit (or not) config to customize your inference, e.g., change base model, lora model, motion lora model, etc.
rename inference_v2(example).yaml to inference_v2.yaml

# Run inference test
python inference_util.py

# Run server.py local test
python server.py

Durante o download, se você encontrar erros como "gdown.exceptions.fileurlretrievalError: não é possível recuperar o link público do arquivo.", Reinstalando o pacote Gdown usando "pip instalar-upgrade--não-cache-dir gdown" e executando o download.py pode ajudar.

2. Implante no Runpod

1. Primeiro, verifique se você instalou o Docker e tenha contas no DockerHub e Runpod.

2. Em seguida, decida um nome para sua imagem do Docker, por exemplo, "Your_Username/anidiff: v1" e defina o nome da sua imagem em "./scripts/build.sh".

3. Execute os seguintes comandos para construir e empurre sua imagem do Docker para o DockerHub.

scripts bash/build.sh

4. Por fim, implante seu aplicativo no Runpod para criar modelo e terminal.

Desculpe por não fornecer instruções detalhadas aqui, pois o autor está bastante ocupado recentemente. Você pode encontrar muitas instruções detalhadas no Google sobre como implantar uma imagem do Docker no Runpod.

Sinta -se à vontade para entrar em contato comigo se encontrar algum problema depois de pesquisar no Google.

3. Ligue para o aplicativo

Ligue de um script python

 # Make sure to set API key and endpoint ID before running the script.
python test_client.py

Mostra: Ligue de um bot de telegrama

4. TODO

• Suporte para modelo básico específico para diferentes objetivos. (Pessoa e cena)
• Suporte para modelos Lora. (Edite o arquivo yaml e coloque seu modelo em "./models/dreambooth_lora")
• Suporte para modelos de movimento Lora. (Também editável no arquivo YAML, veja aqui para obter detalhes e downloads.)
• Instruções mais detalhadas
• Implante de um clique (se alguém estiver interessado ...)

4. Reconhecimento

Graças ao Animatediff e Runpod.