AGIS Net скачать - загрузка исходного кода AGIS Net

AGIS Net

Загрузка шрифта

1.0.0

Скачать

Agis-net

Введение

Это официальная реализация Pytorch художественного синтеза изображения глифа посредством одноэтапного обучения .

бумага | Дополнительный материал

Абстрактный

Автоматическое поколение художественных глифных изображений - сложная задача, которая привлекает много исследовательских интересов. Предыдущие методы либо специально разработаны для синтеза формы, либо фокусируются на передаче текстуры. В этой статье мы предлагаем новую модель Agis-Net, чтобы перенести стили формы и текстуры в одной стадии с несколькими стилизованными образцами. Чтобы достичь этой цели, мы сначала распутаем представления для контента и стиля, используя два кодера, обеспечивая многоконтентное и многопрофильное поколение. Затем мы используем два совместных работающего декодера для создания изображения формы глифа и его текстурного изображения одновременно. Кроме того, мы вводим локальную потерю уточнения текстуры, чтобы еще больше улучшить качество синтезированных текстур. Таким образом, наша одноэтапная модель гораздо более эффективна и эффективна, чем другие многоэтапные сложенные методы. Мы также предлагаем крупномасштабный набор данных с китайскими глифными изображениями в различных стилях формы и текстуры, составленных из 35 художественных шрифтов, разработанных профессионалами с 7326 символами и 2460 синтетическими художественными шрифтами с 639 символами, для проверки эффективности и расширяемости нашего метода. Обширные эксперименты на наборах данных как английского, так и китайского художественного глифа демонстрируют превосходство нашей модели в создании высококачественных стилизованных глифных изображений против других современных методов.

Модель архитектура

Архитектура

Пропустить соединение	Местный дискриминатор

Некоторые результаты

сравнение

по всему_лагую

Предварительные условия

Linux
CPU или NVIDIA GPU + CUDA CUDNN
Питон 3
Pytorch 0,4,0+

Начните

Установка

Установите Pytorch, TOCHVISON и зависимости от https://pytorch.org
Установите библиотеки Python visdom и доминируйте:
```
pip install visdom
pip install dominate
```

Клонировать это репо:

git clone -b master --single-branch https://github.com/hologerry/AGIS-Net
cd AGIS-Net

Загрузите модель VGG19 с предварительно обученной VGG19: VGG19-DCBB9E9D.PTH и поместите ее под модели/ папку

Наборы данных

Сервер наборов данных не работает, вы можете загрузить наборы данных с диска PKU, Dropbox или Mega. Загрузите наборы данных, используя следующий скрипт, четыре набора данных и глиф среднего стиля сырой шрифта.

Это может занять некоторое время, пожалуйста, будьте терпеливы

 bash ./datasets/download_dataset.sh DATASET_NAME

base_gray_color АНГЛИЙСКИЙ Синтезированный набор данных GLYPH GRLYPH, предложенный MC-GAN.
base_gray_texture АНГЛИЙСКИЙ ХАРТИЧЕСКИЙ ГЛИФ-изображение, предложенный MC-GAN.
skeleton_gray_color Китайский синтезированный набор данных Glyp Gradient Glyph от нас.
skeleton_gray_texture Китайский художественный набор данных о глифе, предложенный нами.
average_skeleton RAW Китайский Avgerage Font Style (Skeleton) Набор данных Glyph Image Предложенный нами.

Пожалуйста, обратитесь к данным для получения более подробной информации о наших наборах данных и о том, как подготовить свои собственные наборы данных.

Обучение модели

Чтобы тренировать модель, загрузите учебные изображения (например, английский художественный трансфер глифа)
```
bash ./datasets/download_dataset.sh base_gray_color
bash ./datasets/download_dataset.sh base_gray_texture
```
Обучить модель:
1. Запустите визуализатор Visdom
```
python -m visdom.server -port PORT
```
  Порт указан в train.sh
2. Предварительный набор данных на набор обработки глиф в синтезированном градиенте
```
bash ./scripts/train.sh base_gray_color GPU_ID
```
  GPU_ID указывает, какой графический процессор использовать.
3. Peneture на художественном наборе данных изображений глифа
```
bash ./scripts/train.sh base_gray_texture GPU_ID DATA_ID FEW_SIZE
```
  DATA_ID указывает, какой художественный шрифт точно настроен.
  FALD_SIZE указывает размер нескольких выстрелов.
  Это вынесет ошибку, говоря:
```
 FileNodeFoundError: [Error 2] No such file or directory: 'chechpoints/base_gray_texture/base_gray_texture_DATA_ID_TIME/latest_net_G.pth
```
  Скопируйте предварительную модель наверху.
```
cp chechpoints/base_gray_color/base_gray_color_TIME/latest_net_ * chechpoints/base_gray_texture/base_gray_texture_DATA_ID_TIME/
```
  И начать тренироваться снова. Это будет работать хорошо.

Модель тестирования

Чтобы протестировать модель, скопируйте обученную модель с checkpoint в папку pretrained_models (например, английский художественный трансфер глифа)
```
cp chechpoints/base_gray_color/base_gray_texture_DATA_ID_TIME/latest_net_ * pretrained_models/base_gray_texture_DATA_ID/
```

Проверьте модель

bash ./scripts/test_base_gray_texture.sh GPU_ID DATA_ID

Благодарности

Этот код вдохновился Bicyclegan.

Особая благодарность за следующие работы по обмену их кодом и набором данных.

Pix2pix
Мсган
MC-Gan
Tet-Gan
Эмд

Цитирование

Если вы обнаружите, что наша работа полезна, пожалуйста, цитируйте нашу газету:

 @article{Gao2019Artistic,
  author = {Gao, Yue and Guo, Yuan and Lian, Zhouhui and Tang, Yingmin and Xiao, Jianguo},
  title = {Artistic Glyph Image Synthesis via One-Stage Few-Shot Learning},
  journal = {ACM Trans. Graph.},
  issue_date = {November 2019},
  volume = {38},
  number = {6},
  year = {2019},
  articleno = {185},
  numpages = {12},
  url = {http://doi.acm.org/10.1145/3355089.3356574},
  publisher = {ACM}
}