GRAD

GRAD: дистилляция на график на текстовых графах

Это код для воспроизведения результатов ключей для GRAD: дистилляция с графом на текстовых графах.

Начните

Пожалуйста, перейдите в GradBERT или GradMLP для получения дополнительных инструкций.

Зависимости для запуска кода находятся в файле requirements.txt .

Требование и установить

Мы также следуем процессу установки из [гиганта].

Сначала давайте настроем среду кондиционера

conda create -n " grad " python=3.8
conda activate grad

Далее мы устанавливаем Pytorch:

conda install pytorch==1.9.0 cudatoolkit=10.2 -c pytorch
# check the pytorch version and cuda availability
python -c " import torch; print('torch={}, cuda={}'.format(torch.__version__, torch.cuda.is_available())) "

Finall, мы устанавливаем пакеты, связанные с GNN

ptcu_version= " 1.9.0+cu102 "
pip install torch-scatter -f " https://pytorch-geometric.com/whl/torch- ${ptcu_version} .html "
pip install torch-sparse -f " https://pytorch-geometric.com/whl/torch- ${ptcu_version} .html "
pip install torch-cluster -f " https://pytorch-geometric.com/whl/torch- ${ptcu_version} .html "
pip install torch-spline-conv -f " https://pytorch-geometric.com/whl/torch- ${ptcu_version} .html "
pip install torch-geometric
pip install ogb==1.3.2
# our ogb version is 1.3.2
python -c " import ogb; from ogb.graphproppred import PygGraphPropPredDataset; print(ogb.__version__) " 

Грэдбер встраивается

Пожалуйста, загрузите предварительно обученные вставки узла Градберта по этой ссылке https://drive.google.com/drive/folders/1tol67yewyogusf4t2qwrds-hbhbg-icx?usp=sharing и извлекит их в эту папку. Пожалуйста, убедитесь, что извлеченная папка имеет этот субструктурный GradBERT/embeddings/ogbn-*/ .

Затем вы можете перейти к папке ogbn-arxiv или ogbn-products и запустить соответствующие команды sh , чтобы воспроизвести результаты Граппера для таблицы лидеров OGB.

Схема каталога

Ниже вы можете найти сценарии, чтобы воспроизвести ключевые результаты.

./GRAD
| ---- GradBERT/                     # OGB datasets
|        | ---- embeddings/
|        | ---- ogbn-arxiv/ 
|        |        | ---- gradbert_mlp.sh         # MLP with GradBERT feats
|        |        | ---- gradbert_sage.sh        # SAGE with GradBERT feats
|        |        | ---- RevGAT-ori
|                           | ---- gradbert_RevGAT_ogbnarxiv.sh      # RevGAT with GradBERT feats
|        | ---- ogbn-products/
|        |        | ---- gradbert_mlp.sh         # MLP with GradBERT feats
|        |        | ---- gradbert_giant_sage.sh  # SAGE with GradBERT+GIANT feats
|        |        | ---- SAGN_with_SLE
|                           | ---- Runexp_SAGN_SLE_ogbnproducts_morestages.sh     # SAGN_SLE with GradBERT+GIANT feats                    

| ---- GradMLP/                # CPF data from GLNN
|        | ---- experiments/          	
|        |        | ---- cora_gradmlp.sh
|        |        | ---- cora_gradmlp_kd.sh
|        |        | ---- etc.


Please go to ` GradBERT ` or ` GradMLP ` for more details.