YOLaT VectorGraphicsRecognition

[NIPS2021, TPAMI2024] Yolat & Yolat ++: мощные и эффективные графические модели для распознавания векторной графики

Введение

Этот репозиторий является официальной внедрением Pytorch в наших двух мощных моделях распознавания векторной графики.

Neurips-201

TPAMII-2024 Документ: Иерархическая распознавая векторную графику и новый набор векторной графики на основе диаграмм

Перендеринг векторной графики в массивы пикселей может привести к значительным затратам на память или потере информации, как показано на вышеуказанном рисунке 1. Кроме того, этот процесс отбрасывает структурную информацию высокого уровня в примитивах, что имеет решающее значение для задач распознавания, таких как идентификация углов и контур. Подводя итог, мы предлагаем вам взглянуть только на текстовую серию (Yolat & Yolat ++), которая решает проблемы с растровой графикой, принимая текстовые документы векторной графики в качестве ввода.

Среда

conda create -n your_env_name python=3.8
conda activate your_env_name
sh deepgcn_env_install.sh 

Йолат

1. Подготовка данных

Планы пола

а) Загрузите и раскапывание набора данных Playlans в папку DataSet: data/FloorPlansGraph5_iter

б) Запустите следующие сценарии, чтобы подготовить набор данных для обучения/вывода.

 cd utils
python svg_utils/build_graph_bbox.py

Диаграммы

а) Загрузите и разкапливает набор данных диаграмм в папку набора данных: data/diagrams

б) Запустите следующие сценарии, чтобы подготовить набор данных для обучения/вывода.

 cd utils
python svg_utils/build_graph_bbox_diagram.py

2. Обучение и вывод

Планы пола

 cd cad_recognition
CUDA_VISIBLE_DEVICES=0 python -u train.py --batch_size 4 --data_dir data/FloorPlansGraph5_iter --phase train --lr 2.5e-4 --lr_adjust_freq 9999999999999999999999999999999999999 --in_channels 5 --n_blocks 2 --n_blocks_out 2 --arch centernet3cc_rpn_gp_iter2  --graph bezier_cc_bb_iter --data_aug true  --weight_decay 1e-5 --postname run182_2 --dropout 0.0 --do_mixup 0 --bbox_sampling_step 10

Диаграммы

 cd cad_recognition
CUDA_VISIBLE_DEVICES=0 python -u train.py --batch_size 4 --data_dir data/diagrams --phase train --lr 2.5e-4 --lr_adjust_freq 9999999999999999999999999999999999999 --in_channels 5 --n_blocks 2 --n_blocks_out 2 --arch centernet3cc_rpn_gp_iter2  --graph bezier_cc_bb_iter --data_aug true  --weight_decay 1e-5 --postname run182_2 --dropout 0.0 --do_mixup 0 --bbox_sampling_step 5

Йолат ++

Введен Yolat ++, характеризующийся иерархической структурой, предназначенной для VGS, охватывающих три уровня: примитив, кривая и точка . Кроме того, Yolat ++ использует стратегию улучшения с учетом позиции для эффективной дифференциации сходных примитивов.

Цитирование

Bibtex:

 @inproceedings{jiang2021recognizing,
title={{Recognizing Vector Graphics without Rasterization}},
author={Jiang, Xinyang and Liu, Lu and Shan, Caihua and Shen, Yifei and Dong, Xuanyi and Li, Dongsheng},
booktitle={Proceedings of Advances in Neural Information Processing Systems (NIPS)},
volume={34},
number={},
pages={},
year={2021}}

@inproceedings{yolat24,
title={{Hierarchical Recognizing Vector Graphics and A New Chart-based Vector Graphics Dataset}},
author={Shuguang Dou, Xinyang Jiang, Lu Liu, Lu Ying, Caihua Shan, Yifei Shen, Xuanyi Dong, Yun Wang, Dongsheng Li, Cairong Zhao},
booktitle={IEEE Transactions on Pattern Analysis and Machine Intelligence},
volume={},
number={},
pages={},
year={2024}}

Пожалуйста, подумайте? Светь наш проект, чтобы поделиться со своим сообществом, если вы найдете этот репозиторий полезным!

Связанный набор данных

Оценка для обнаружения и понимания диаграммы на основе VG