YOLaT VectorGraphicsRecognition

[NIPS2021、TPAMI2024] YOLAT＆YOLAT ++：ベクターグラフィックス認識のための強力で効率的なグラフモデル

導入

このリポジトリは、2つの強力なベクトルグラフィックス認識モデルの公式Pytorch実装です。

Neurips-2021 Paper：ラスター化なしでベクターグラフィックを認識します。

TPAMI-2024論文：ベクターグラフィックスと新しいチャートベースのベクターグラフィックデータセットの階層的認識

上記の図1に示すように、ベクトルグラフィックをピクセルアレイにレンダリングすると、メモリコストが大幅にコストコストまたは損失をもたらす可能性があります。さらに、このプロセスは、プリミティブ内の高レベルの構造情報を破棄します。これは、コーナーや輪郭の識別などの認識タスクに重要です。要約すると、ベクターグラフィックスのテキストドキュメントを入力として取り入れることにより、ラスターグラフィックスの問題に対処するテキストシリーズ（Yolat＆Yolat ++）のみを見てください。

環境

conda create -n your_env_name python=3.8
conda activate your_env_name
sh deepgcn_env_install.sh 

ヨラト

1。データ準備

フロアプラン

a）FloorPlansデータセットをデータセットフォルダーにダウンロードして解凍します： data/FloorPlansGraph5_iter

b）トレーニング/推論のためにデータセットを準備するために、次のスクリプトを実行します。

 cd utils
python svg_utils/build_graph_bbox.py

図

a）データセットをデータセットフォルダーにダウンロードして解凍します： data/diagrams

b）トレーニング/推論のためにデータセットを準備するために、次のスクリプトを実行します。

 cd utils
python svg_utils/build_graph_bbox_diagram.py

2。トレーニングと推論

フロアプラン

 cd cad_recognition
CUDA_VISIBLE_DEVICES=0 python -u train.py --batch_size 4 --data_dir data/FloorPlansGraph5_iter --phase train --lr 2.5e-4 --lr_adjust_freq 9999999999999999999999999999999999999 --in_channels 5 --n_blocks 2 --n_blocks_out 2 --arch centernet3cc_rpn_gp_iter2  --graph bezier_cc_bb_iter --data_aug true  --weight_decay 1e-5 --postname run182_2 --dropout 0.0 --do_mixup 0 --bbox_sampling_step 10

図

 cd cad_recognition
CUDA_VISIBLE_DEVICES=0 python -u train.py --batch_size 4 --data_dir data/diagrams --phase train --lr 2.5e-4 --lr_adjust_freq 9999999999999999999999999999999999999 --in_channels 5 --n_blocks 2 --n_blocks_out 2 --arch centernet3cc_rpn_gp_iter2  --graph bezier_cc_bb_iter --data_aug true  --weight_decay 1e-5 --postname run182_2 --dropout 0.0 --do_mixup 0 --bbox_sampling_step 5

Yolat ++

Yolat ++は、VGS向けに設計された階層構造によって特徴付けられ、原始、曲線、およびポイントの3つのレベルにまたがる導入されています。さらに、YOLAT ++は、同様のプリミティブを効果的に区別するために、ポジションアウェア強化戦略を採用しています。

引用

bibtex：

 @inproceedings{jiang2021recognizing,
title={{Recognizing Vector Graphics without Rasterization}},
author={Jiang, Xinyang and Liu, Lu and Shan, Caihua and Shen, Yifei and Dong, Xuanyi and Li, Dongsheng},
booktitle={Proceedings of Advances in Neural Information Processing Systems (NIPS)},
volume={34},
number={},
pages={},
year={2021}}

@inproceedings{yolat24,
title={{Hierarchical Recognizing Vector Graphics and A New Chart-based Vector Graphics Dataset}},
author={Shuguang Dou, Xinyang Jiang, Lu Liu, Lu Ying, Caihua Shan, Yifei Shen, Xuanyi Dong, Yun Wang, Dongsheng Li, Cairong Zhao},
booktitle={IEEE Transactions on Pattern Analysis and Machine Intelligence},
volume={},
number={},
pages={},
year={2024}}

考えてみてください？このリポジトリが役立つと思われる場合は、コミュニティと共有するプロジェクトを主演してください！

関連データセット

VGベースの検出とチャートの理解のベンチマーク