lama скачать - скачать исходный код lama

? Лама: резолюция-рост

Роман Суворов, Элизавета Логачева, Антон Машихин, Анастасия Ремизова, Арсени Ашуха, Алексей Сильвестроров, Наэджин Конг, Харшит Гока, парк Кивонг, Виктор Лемпицский.

Лама удивительно хорошо обобщает гораздо более высокие резолюции (~ 2K❗), чем во время обучения (256x256), и достигает превосходной производительности даже в сложных сценариях, например, завершение периодических структур.

[Страница проекта] [arxiv] [Дополнительный] [Bibtex] [Сводная информация о повседневных ганах]

Попробуйте в Google Colab

LAMA Development

(Не стесняйтесь поделиться своей газетой, создав проблему)

https://github.com/geekyutao/inpaint-anything

Уточнение функции для улучшения внедрения изображения высокого разрешения / видео / код #112 / Geomagical Labs (geomagical.com)

Неофициальные сторонние приложения:

(Не стесняйтесь делиться своим приложением/реализацией/демонстрацией, создав проблему)

https://github.com/enesmsahin/simple-lama-inpainting-простой пакет PIP для Lama Inpainting.
https://github.com/mallman/coremlama - Основной формат модели Apple ML
https://cleanup.pictures - Простой интерактивный инструмент удаления объекта от @cyrildiagne
- Lama-Cleaner от @sanster-это версия самостоятельной работы https://cleanup.pictures
Интегрирован в пространства для объятий с Gradio. Смотрите демонстрацию: @ak391
Telegram Bot @magiceraserbot от @moldoteck, код
Auto-Lama = DE: обнаружение объекта TR + Lama Inpainting by @andy971022
Lama-Magic-Eraser-Local = автономное приложение для внедрения, построенное с PYQT5 от @Zhaoyun0071
Хама - Удаление объекта с помощью умной кисти, которая упрощает рисунок маски.
Modelscope = крупнейшее сообщество моделей в китайском языке @Chenbinghui1.
Лама с Maskdino = обнаружение объектов Maskdino + Lama Inpainting с уточнением @qwopqwop200.
COREMLAMA - сценарий для преобразования порта Lama Cleaner в формат модели Apple ML.

Настройка среды

Clone the Repo: git clone https://github.com/advimman/lama.git

Есть три варианта окружающей среды:

Python Virtualenv:

 virtualenv inpenv --python=/usr/bin/python3
source inpenv/bin/activate
pip install torch==1.8.0 torchvision==0.9.0

cd lama
pip install -r requirements.txt

Конда

 % Install conda for Linux, for other OS download miniconda at https://docs.conda.io/en/latest/miniconda.html
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh -b -p $HOME/miniconda
$HOME/miniconda/bin/conda init bash

cd lama
conda env create -f conda_env.yml
conda activate lama
conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch -y
pip install pytorch-lightning==1.2.9

Docker: никаких действий не требуется?

Вывод

Бегать

 cd lama
export TORCH_HOME=$(pwd) && export PYTHONPATH=$(pwd)

1. Скачать предварительно обученные модели

Лучшая модель (Places2, Places Challenge):

 curl -LJO https://huggingface.co/smartywu/big-lama/resolve/main/big-lama.zip
unzip big-lama.zip

Все модели (Places & Celeba-HQ):

 download [https://drive.google.com/drive/folders/1B2x7eQDgecTL0oh3LSIBDGj0fTxs6Ips?usp=drive_link]
unzip lama-models.zip

2. Подготовьте изображения и маски

Загрузите тестовые изображения:

 unzip LaMa_test_images.zip

Или подготовить данные:

1) Создать маски, названные как `[image_name] _maskxxx [image_suffix]`, поместите изображения и маски в одну и ту же папку.

Вы можете использовать скрипт для генерации случайных масок.

Проверьте формат файлов:

 image1_mask001.png
image1.png
image2_mask001.png
image2.png

configs/prediction/default.yaml image_suffix _input.jpg .jpg .png

3. Предсказание

На хост -машине:

 python3 bin/predict.py model.path=$(pwd)/big-lama indir=$(pwd)/LaMa_test_images outdir=$(pwd)/output

Или в докере

Следующая команда вытянет изображение Docker из Docker Hub и выполнить скрипт прогнозирования

 bash docker/2_predict.sh $(pwd)/big-lama $(pwd)/LaMa_test_images $(pwd)/output device=cpu

Docker Cuda:

 bash docker/2_predict_with_gpu.sh $(pwd)/big-lama $(pwd)/LaMa_test_images $(pwd)/output

4. Прогнозируйте с уточнением

На хост -машине:

 python3 bin/predict.py refine=True model.path=$(pwd)/big-lama indir=$(pwd)/LaMa_test_images outdir=$(pwd)/output

Поезда и оценка

Убедитесь, что вы бежите:

 cd lama
export TORCH_HOME=$(pwd) && export PYTHONPATH=$(pwd)

Затем загрузите модели для потери восприятия :

 mkdir -p ade20k/ade20k-resnet50dilated-ppm_deepsup/
wget -P ade20k/ade20k-resnet50dilated-ppm_deepsup/ http://sceneparsing.csail.mit.edu/model/pytorch/ade20k-resnet50dilated-ppm_deepsup/encoder_epoch_20.pth

Места

️ NB: значения метрических показателей FID/SSIM/LPIPS для мест, которые мы видим в Lama Paper, рассчитываются на 30000 изображениях, которые мы производим в разделе оценки ниже. Для получения более подробной информации о проверке данных оценки [раздел 3. Наборы данных в дополнительном количестве] ️

На хост -машине:

 # Download data from http://places2.csail.mit.edu/download.html
# Places365-Standard: Train(105GB)/Test(19GB)/Val(2.1GB) from High-resolution images section
wget http://data.csail.mit.edu/places/places365/train_large_places365standard.tar
wget http://data.csail.mit.edu/places/places365/val_large.tar
wget http://data.csail.mit.edu/places/places365/test_large.tar

# Unpack train/test/val data and create .yaml config for it
bash fetch_data/places_standard_train_prepare.sh
bash fetch_data/places_standard_test_val_prepare.sh

# Sample images for test and viz at the end of epoch
bash fetch_data/places_standard_test_val_sample.sh
bash fetch_data/places_standard_test_val_gen_masks.sh

# Run training
python3 bin/train.py -cn lama-fourier location=places_standard

# To evaluate trained model and report metrics as in our paper
# we need to sample previously unseen 30k images and generate masks for them
bash fetch_data/places_standard_evaluation_prepare_data.sh

# Infer model on thick/thin/medium masks in 256 and 512 and run evaluation 
# like this:
python3 bin/predict.py 
model.path=$(pwd)/experiments/<user>_<date:time>_lama-fourier_/ 
indir=$(pwd)/places_standard_dataset/evaluation/random_thick_512/ 
outdir=$(pwd)/inference/random_thick_512 model.checkpoint=last.ckpt

python3 bin/evaluate_predicts.py 
$(pwd)/configs/eval2_gpu.yaml 
$(pwd)/places_standard_dataset/evaluation/random_thick_512/ 
$(pwd)/inference/random_thick_512 
$(pwd)/inference/random_thick_512_metrics.csv

Докер: Тодо

Селеба

На хост -машине:

 # Make shure you are in lama folder
cd lama
export TORCH_HOME=$(pwd) && export PYTHONPATH=$(pwd)

# Download CelebA-HQ dataset
# Download data256x256.zip from https://drive.google.com/drive/folders/11Vz0fqHS2rXDb5pprgTjpD7S2BAJhi1P

# unzip & split into train/test/visualization & create config for it
bash fetch_data/celebahq_dataset_prepare.sh

# generate masks for test and visual_test at the end of epoch
bash fetch_data/celebahq_gen_masks.sh

# Run training
python3 bin/train.py -cn lama-fourier-celeba data.batch_size=10

# Infer model on thick/thin/medium masks in 256 and run evaluation 
# like this:
python3 bin/predict.py 
model.path=$(pwd)/experiments/<user>_<date:time>_lama-fourier-celeba_/ 
indir=$(pwd)/celeba-hq-dataset/visual_test_256/random_thick_256/ 
outdir=$(pwd)/inference/celeba_random_thick_256 model.checkpoint=last.ckpt

Докер: Тодо

Места вызов

На хост -машине:

 # This script downloads multiple .tar files in parallel and unpacks them
# Places365-Challenge: Train(476GB) from High-resolution images (to train Big-Lama) 
bash places_challenge_train_download.sh

TODO: prepare
TODO: train 
TODO: eval

Докер: Тодо

Создайте свои данные

Пожалуйста, проверьте сценарии Bash для получения подготовки данных и генерации маски в разделе Celebahq, если вы застряли на одном из следующих шагов.

На хост -машине:

 # Make shure you are in lama folder
cd lama
export TORCH_HOME=$(pwd) && export PYTHONPATH=$(pwd)

# You need to prepare following image folders:
$ ls my_dataset
train
val_source # 2000 or more images
visual_test_source # 100 or more images
eval_source # 2000 or more images

# LaMa generates random masks for the train data on the flight,
# but needs fixed masks for test and visual_test for consistency of evaluation.

# Suppose, we want to evaluate and pick best models 
# on 512x512 val dataset  with thick/thin/medium masks 
# And your images have .jpg extention:

python3 bin/gen_mask_dataset.py 
$(pwd)/configs/data_gen/random_<size>_512.yaml  # thick, thin, medium
my_dataset/val_source/ 
my_dataset/val/random_<size>_512.yaml # thick, thin, medium
--ext jpg

# So the mask generator will: 
# 1. resize and crop val images and save them as .png
# 2. generate masks

ls my_dataset/val/random_medium_512/
image1_crop000_mask000.png
image1_crop000.png
image2_crop000_mask000.png
image2_crop000.png
...

# Generate thick, thin, medium masks for visual_test folder:

python3 bin/gen_mask_dataset.py 
$(pwd)/configs/data_gen/random_<size>_512.yaml   #thick, thin, medium
my_dataset/visual_test_source/ 
my_dataset/visual_test/random_<size>_512/  #thick, thin, medium
--ext jpg


ls my_dataset/visual_test/random_thick_512/
image1_crop000_mask000.png
image1_crop000.png
image2_crop000_mask000.png
image2_crop000.png
...

# Same process for eval_source image folder:

python3 bin/gen_mask_dataset.py 
$(pwd)/configs/data_gen/random_<size>_512.yaml   #thick, thin, medium
my_dataset/eval_source/ 
my_dataset/eval/random_<size>_512/  #thick, thin, medium
--ext jpg



# Generate location config file which locate these folders:

touch my_dataset.yaml
echo "data_root_dir: $(pwd)/my_dataset/" >> my_dataset.yaml
echo "out_root_dir: $(pwd)/experiments/" >> my_dataset.yaml
echo "tb_dir: $(pwd)/tb_logs/" >> my_dataset.yaml
mv my_dataset.yaml ${PWD}/configs/training/location/


# Check data config for consistency with my_dataset folder structure:
$ cat ${PWD}/configs/training/data/abl-04-256-mh-dist
...
train:
  indir: ${location.data_root_dir}/train
  ...
val:
  indir: ${location.data_root_dir}/val
  img_suffix: .png
visual_test:
  indir: ${location.data_root_dir}/visual_test
  img_suffix: .png


# Run training
python3 bin/train.py -cn lama-fourier location=my_dataset data.batch_size=10

# Evaluation: LaMa training procedure picks best few models according to 
# scores on my_dataset/val/ 

# To evaluate one of your best models (i.e. at epoch=32) 
# on previously unseen my_dataset/eval do the following 
# for thin, thick and medium:

# infer:
python3 bin/predict.py 
model.path=$(pwd)/experiments/<user>_<date:time>_lama-fourier_/ 
indir=$(pwd)/my_dataset/eval/random_<size>_512/ 
outdir=$(pwd)/inference/my_dataset/random_<size>_512 
model.checkpoint=epoch32.ckpt

# metrics calculation:
python3 bin/evaluate_predicts.py 
$(pwd)/configs/eval2_gpu.yaml 
$(pwd)/my_dataset/eval/random_<size>_512/ 
$(pwd)/inference/my_dataset/random_<size>_512 
$(pwd)/inference/my_dataset/random_<size>_512_metrics.csv

Или в докере:

 TODO: train
TODO: eval

Подсказки

Генерировать разные маски

Следующая команда выполнит скрипт, который генерирует случайные маски.

 bash docker/1_generate_masks_from_raw_images.sh 
    configs/data_gen/random_medium_512.yaml 
    /directory_with_input_images 
    /directory_where_to_store_images_and_masks 
    --ext png

Команда генерации тестовых данных хранит изображения в формате, который подходит для прогнозирования.

В таблице ниже описывается, какие конфигурации мы использовали для генерации различных испытательных наборов из бумаги. Обратите внимание, что мы не фиксируем случайное семя , поэтому результаты будут немного различаться каждый раз.

	Места 512x512	Celeba 256x256
Узкий	random_thin_512.yaml	random_thin_256.yaml
Середина	random_medium_512.yaml	random_medium_256.yaml
Широкий	random_thick_512.yaml	random_thick_256.yaml

Не стесняйтесь изменить путь конфигурации (аргумент № 1) на любую другую конфигурацию в configs/data_gen или настроить сами файлы конфигурации.

Переопределить параметры в конфигурации

Также вы можете переопределить параметры в конфигурации, как это:

 python3 bin/train.py -cn <config> data.batch_size=10 run_title=my-title

Где расширение файла .yaml опущено

Модели варианты

Названия конфигурации для моделей из бумаги (раполь в команду обучения):

 * big-lama
* big-lama-regular
* lama-fourier
* lama-regular
* lama_small_train_masks

Которые находятся в конфигурации/обучении/папке

Ссылки

Все данные (модели, тестовые изображения и т. Д.) https://disk.yandex.ru/d/amdeg-bijmvsug
Тестовые изображения из бумаги https://disk.yandex.ru/d/xkqjzevrk5vllq
Предварительно обученные модели https://disk.yandex.ru/d/egqasnlohjuzag
Модели потери восприятия https://disk.yandex.ru/d/ncvmqlmt_ktemq
Наши журналы обучения доступны по адресу https://disk.yandex.ru/d/9bt1wnsds4jdkq

Время обучения и ресурсы

Тодо

Благодарности

Код сегментации и модели, если форма Csailvision.
Lpips метрика от Richzhang
SSIM от PO-HSUN-SU
Фид из Mseitzer

Цитирование

Если вы нашли этот код полезным, рассмотрите возможность ссылаться на:

 @article{suvorov2021resolution,
  title={Resolution-robust Large Mask Inpainting with Fourier Convolutions},
  author={Suvorov, Roman and Logacheva, Elizaveta and Mashikhin, Anton and Remizova, Anastasia and Ashukha, Arsenii and Silvestrov, Aleksei and Kong, Naejin and Goka, Harshith and Park, Kiwoong and Lempitsky, Victor},
  journal={arXiv preprint arXiv:2109.07161},
  year={2021}
}

Расширять