AnimeBack

Animeback

Pesquise as fotos. Este é um servidor de mecanismo de pesquisa para cenas de animação. Você pode pesquisar no contrário através de capturas de tela de um certo momento do anime, e ao contrário, de qual episódio veio e o momento exato em que apareceu. Front-end do site

Comparado ao Trace.Moe, este projeto pode fornecer serviços de pesquisa mais robustos e mais precisos, pois usa modelos de aprendizado profundo para extrair recursos de imagem. Portanto, a sobrecarga do desempenho é maior e a inclusão é mais lenta. Ainda na fase de teste

Exemplo

Teste fotos

Resultados da pesquisa

implantar

Requisitos ambientais

python3 precisa ser instalado ffmpeg

Instale dependências:

pip install bilibili_api imagehash tensorflow keras flask pymilvus opencv-python sklearn bilili
# Linux
pip install plyvel
# Windows
pip install plyvel-win32

correr

• Inicialize o arquivo de configuração

python run.py

• Instale e inicie o Milvus
• Configure config.json
• Execute o programa de download (Bilibili)

python run.py download-bilibili

• Execute o programa de processamento de vídeo/entrada

 # 将会处理已下载的视频
python run.py process

• Execute o back -end do site

python app.py

Este método é apenas para teste. Consulte o método de implantação de frascos para o ambiente de produção

O exemplo a seguir usa gunicorn , 4 Processo de Trabalhador ( -w 4 ) para executar o aplicativo de frasco e vincular a porta 4000 do localhost ( -b 127.0.0.1:4000 ):

gunicorn -w 4 -b 127.0.0.1:4000 app:flask_app

Implementação de tecnologia

• Através da API Bilibili (ou outro site), baixe automaticamente o anime e salve inicialmente as informações do anime.

• Use o FFMPEG para comprimir o vídeo e convertê -lo em MP4 e coloque -o no diretório estático do site

• Use FFMPEG para converter o vídeo em uma imagem em uma determinada taxa de amostragem e coloque -a em um diretório temporário

• Leia o quadro de imagem por quadro, filtre imagens semelhantes adjacentes através do algoritmo phash e extraia os vetores de recurso usando o modelo e insira -os no milvus . As informações correspondentes de cada quadro adicionadas são armazenadas no banco de dados leveldb , como id , time e epid

• Ao pesquisar, o vetor do recurso de imagem também é extraído, pesquisado com milvus , retorna id de quadros semelhantes e, em seguida, consulte outras informações através do banco de dados.

Pendência

• Suporte Xception Modelo pré-treinado e redução de dimensionalidade PCA
• Treinando modelos mais adequados
• Implementar otimização OP/ED
• Faça o download automaticamente do anime Sakura
• API de pesquisa aberta

Obrigado

• Alguns dos processos são pesquisados ​​usando imagens. Algumas idéias vêm de tuxiaobei
• A parte baixada da estação B usa Bilili
• A implementação do corte automático de bordas pretas das imagens vem do crop.py of Trace.moe
• Índice de Milvus e vetores de pesquisa são usados
• Vários modelos de aprendizado profundo foram usados ​​para extrair recursos de imagem