GRAD

GRAD : 텍스트 그래프의 그래프 인식 증류

이것은 텍스트 그래프에서 Grade : Graph-Aware 증류에 대한 주요 결과를 재현하기위한 코드입니다.

시작하세요

더 많은 지침은 GradBERT 또는 GradMLP 로 이동하십시오.

코드를 실행하려는 종속성은 requirements.txt 파일에 있습니다.

요구 사항 및 설치

또한 [Giant]의 설치 프로세스를 따릅니다.

먼저 Conda Enviroment를 설정합시다

conda create -n " grad " python=3.8
conda activate grad

다음으로 Pytorch를 설치합니다.

conda install pytorch==1.9.0 cudatoolkit=10.2 -c pytorch
# check the pytorch version and cuda availability
python -c " import torch; print('torch={}, cuda={}'.format(torch.__version__, torch.cuda.is_available())) "

Finall, 우리는 GNN 관련 패키지를 설치합니다

ptcu_version= " 1.9.0+cu102 "
pip install torch-scatter -f " https://pytorch-geometric.com/whl/torch- ${ptcu_version} .html "
pip install torch-sparse -f " https://pytorch-geometric.com/whl/torch- ${ptcu_version} .html "
pip install torch-cluster -f " https://pytorch-geometric.com/whl/torch- ${ptcu_version} .html "
pip install torch-spline-conv -f " https://pytorch-geometric.com/whl/torch- ${ptcu_version} .html "
pip install torch-geometric
pip install ogb==1.3.2
# our ogb version is 1.3.2
python -c " import ogb; from ogb.graphproppred import PygGraphPropPredDataset; print(ogb.__version__) " 

Gradbert 임베딩

이 링크 https://drive.google.com/drive/folders/1tol67yewyogusf4t2qwrds-hbhbg-icx?usp=sharing에서 미리 훈련 된 Gradbert 노드 임베딩을 다운로드 하여이 폴더에서 추출하십시오. 추출 된 폴더 에이 하부 GradBERT/embeddings/ogbn-*/ 있는지 확인하십시오.

그런 다음 ogbn-arxiv 또는 ogbn-products 폴더로 이동하여 해당 sh 명령을 실행하여 OGB 리더 보드의 Gradbert 결과를 재현 할 수 있습니다.

디렉토리 레이아웃

아래에서 주요 결과를 재현 할 스크립트를 찾을 수 있습니다.

./GRAD
| ---- GradBERT/                     # OGB datasets
|        | ---- embeddings/
|        | ---- ogbn-arxiv/ 
|        |        | ---- gradbert_mlp.sh         # MLP with GradBERT feats
|        |        | ---- gradbert_sage.sh        # SAGE with GradBERT feats
|        |        | ---- RevGAT-ori
|                           | ---- gradbert_RevGAT_ogbnarxiv.sh      # RevGAT with GradBERT feats
|        | ---- ogbn-products/
|        |        | ---- gradbert_mlp.sh         # MLP with GradBERT feats
|        |        | ---- gradbert_giant_sage.sh  # SAGE with GradBERT+GIANT feats
|        |        | ---- SAGN_with_SLE
|                           | ---- Runexp_SAGN_SLE_ogbnproducts_morestages.sh     # SAGN_SLE with GradBERT+GIANT feats                    

| ---- GradMLP/                # CPF data from GLNN
|        | ---- experiments/          	
|        |        | ---- cora_gradmlp.sh
|        |        | ---- cora_gradmlp_kd.sh
|        |        | ---- etc.


Please go to ` GradBERT ` or ` GradMLP ` for more details.