AnimeBack

Анимебек

Поиск изображений. Это сервер поисковых систем для сцен анимации. Вы можете искать в обратном направлении через скриншоты определенного момента аниме и в обратном направлении, из которого он пришел, и точное время, которое он появился. Фронт сайта

По сравнению с Trace.MOE этот проект может предоставить более надежные и более точные поисковые услуги, поскольку он использует модели глубокого обучения для извлечения функций изображения. Следовательно, накладные расходы на производительность больше, а включение медленнее. Все еще на этапе тестирования

Пример

Тестировать картинки

Результаты поиска

развертывать

Экологические требования

python3 должен быть установлен ffmpeg

Установить зависимости:

pip install bilibili_api imagehash tensorflow keras flask pymilvus opencv-python sklearn bilili
# Linux
pip install plyvel
# Windows
pip install plyvel-win32

бегать

• Инициализировать файл конфигурации

python run.py

• Установить и запустить Милвус
• Configure config.json
• Запустите программу загрузки (Bilibili)

python run.py download-bilibili

• Запустить программу обработки/входа видео

 # 将会处理已下载的视频
python run.py process

• Запустите бэкэнд сайта

python app.py

Этот метод предназначен только для тестирования. Пожалуйста, обратитесь к методу развертывания Flask для производственной среды

В следующем примере используется gunicorn , 4 рабочего процесса ( -w 4 ) для запуска приложения Flask и привязки к 4000 порту localhost ( -b 127.0.0.1:4000 ):

gunicorn -w 4 -b 127.0.0.1:4000 app:flask_app

Технологическая реализация

• Через API Bilibili (или другой веб -сайт) автоматически загружайте аниме и первоначально сохраняет информацию аниме.

• Используйте FFMPEG, чтобы сжать видео и преобразовать его в MP4, и поместите его в статический каталог веб -сайта

• Используйте FFMPEG, чтобы преобразовать видео в картинку с определенной скоростью отбора проб и поместите его во временный каталог

• Прочитайте рамку изображения по кадру, отфильтровывая прилегающие аналогичные изображения через phash -алгоритм и извлеките векторы функций, используя модель и вставьте их в milvus . Соответствующая информация каждого добавленного кадра хранится в базе данных leveldb , такой как id , time и epid

• При поиске также извлекается вектор функций изображения, поиск с помощью milvus , вернуть id аналогичных кадров, а затем запросить другую информацию через базу данных.

Дел

• Поддержка предварительно обученной модели Xception и снижение размерности PCA
• Обучение более подходящих моделей
• Реализовать оптимизацию OP/ED
• Автоматически скачать из аниме Sakura
• Открытый поиск API

Спасибо

• Некоторые из процессов обыскиваются с использованием изображений. Некоторые идеи приходят из Tuxiobei
• Часть загружена со станции B использует Bilili
• Реализация автоматической обрезки черных краев изображений поступает из crop.py of Trace.moe
• Индекс Milvus и поисковые векторы используются
• Различные модели глубокого обучения использовались для извлечения функций изображения