YOLaT VectorGraphicsRecognition

[NIPS2021, TPAMI2024] YOLAT & YOLAT ++ : 벡터 그래픽 인식을위한 강력하고 효율적인 그래프 모델

소개

이 저장소는 두 가지 강력한 벡터 그래픽 인식 모델의 공식 Pytorch 구현입니다.

Neurips-2021 용지 : 래스터 화없이 벡터 그래픽 인식.

TPAMI-2024 용지 : 계층 적 인식 벡터 그래픽 및 새로운 차트 기반 벡터 그래픽 데이터 세트

벡터 그래픽을 픽셀 어레이로 렌더링하면 위의 그림 1에서 알 수 있듯이 상당한 메모리 비용 또는 정보 손실을 초래할 수 있습니다. 또한이 프로세스는 기본 요소 내에서 높은 수준의 구조 정보를 폐기하며, 이는 코너 및 윤곽을 식별하는 것과 같은 인식 작업에 중요합니다. 요약하면, 벡터 그래픽의 텍스트 문서를 입력으로 가져 와서 래스터 그래픽 문제를 해결하는 텍스트 시리즈 (Yolat & Yolat ++) 만 살펴보십시오.

환경

conda create -n your_env_name python=3.8
conda activate your_env_name
sh deepgcn_env_install.sh 

yolat

1. 데이터 준비

평면도

a) Floorplans 데이터 세트를 데이터 세트 폴더로 다운로드하여 압축 해제 : data/FloorPlansGraph5_iter

b) 교육/추론을 위해 데이터 세트를 준비하려면 다음 스크립트를 실행하십시오.

 cd utils
python svg_utils/build_graph_bbox.py

다이어그램

a) 다이어그램 데이터 세트를 데이터 세트 폴더로 다운로드하고 압축 해제 : data/diagrams

b) 교육/추론을 위해 데이터 세트를 준비하려면 다음 스크립트를 실행하십시오.

 cd utils
python svg_utils/build_graph_bbox_diagram.py

2. 훈련 및 추론

평면도

 cd cad_recognition
CUDA_VISIBLE_DEVICES=0 python -u train.py --batch_size 4 --data_dir data/FloorPlansGraph5_iter --phase train --lr 2.5e-4 --lr_adjust_freq 9999999999999999999999999999999999999 --in_channels 5 --n_blocks 2 --n_blocks_out 2 --arch centernet3cc_rpn_gp_iter2  --graph bezier_cc_bb_iter --data_aug true  --weight_decay 1e-5 --postname run182_2 --dropout 0.0 --do_mixup 0 --bbox_sampling_step 10

다이어그램

 cd cad_recognition
CUDA_VISIBLE_DEVICES=0 python -u train.py --batch_size 4 --data_dir data/diagrams --phase train --lr 2.5e-4 --lr_adjust_freq 9999999999999999999999999999999999999 --in_channels 5 --n_blocks 2 --n_blocks_out 2 --arch centernet3cc_rpn_gp_iter2  --graph bezier_cc_bb_iter --data_aug true  --weight_decay 1e-5 --postname run182_2 --dropout 0.0 --do_mixup 0 --bbox_sampling_step 5

YOLAT ++

Yolat ++는 VG 용으로 설계된 계층 구조로 특징 지어지며, 원시, 곡선 및 점의 세 가지 레벨에 걸쳐 있습니다. 또한 YOLAT ++는 유사한 프리미티브를 효과적으로 구별하기 위해 위치 인식 향상 전략을 사용합니다.

소환

Bibtex :

 @inproceedings{jiang2021recognizing,
title={{Recognizing Vector Graphics without Rasterization}},
author={Jiang, Xinyang and Liu, Lu and Shan, Caihua and Shen, Yifei and Dong, Xuanyi and Li, Dongsheng},
booktitle={Proceedings of Advances in Neural Information Processing Systems (NIPS)},
volume={34},
number={},
pages={},
year={2021}}

@inproceedings{yolat24,
title={{Hierarchical Recognizing Vector Graphics and A New Chart-based Vector Graphics Dataset}},
author={Shuguang Dou, Xinyang Jiang, Lu Liu, Lu Ying, Caihua Shan, Yifei Shen, Xuanyi Dong, Yun Wang, Dongsheng Li, Cairong Zhao},
booktitle={IEEE Transactions on Pattern Analysis and Machine Intelligence},
volume={},
number={},
pages={},
year={2024}}

고려해야합니까? 이 저장소가 도움이되면 우리의 프로젝트를 커뮤니티와 공유하십시오!

관련 데이터 세트

VG 기반 탐지 및 차트 이해를위한 벤치 마크