Descargar tgn - Descargar el código fuente tgn

TGN: redes de gráficos temporales [ARXIV, YouTube, publicación de blog]

Gráfico dinámico	TGN

Introducción

A pesar de la gran cantidad de diferentes modelos para el aprendizaje profundo en gráficos, hasta ahora se han propuesto pocos enfoques para tratar gráficos que presentan algún tipo de naturaleza dinámica (por ejemplo, características o conectividad en evolución a lo largo del tiempo).

En este artículo, presentamos redes de gráficos temporales (TGN), un marco genérico y eficiente para el aprendizaje profundo en gráficos dinámicos representados como secuencias de eventos cronometrados. Gracias a una nueva combinación de módulos de memoria y operadores basados en gráficos, los TGN pueden superar significativamente los enfoques anteriores que son al mismo tiempo más computacionalmente eficientes.

Además, mostramos que varios modelos anteriores para aprender en gráficos dinámicos pueden emitirse como instancias específicas de nuestro marco. Realizamos un estudio de ablación detallado de diferentes componentes de nuestro marco y diseñamos la mejor configuración que logra el rendimiento de vanguardia en varias tareas de predicción transductiva e inductiva para gráficos dinámicos.

Enlace en papel: redes de gráficos temporales para el aprendizaje profundo en gráficos dinámicos

Ejecutando los experimentos

Requisitos

Dependencias (con python> = 3.7):

 pandas==1.1.0
torch==1.6.0
scikit_learn==0.23.1

Conjunto de datos y preprocesamiento

Descargar los datos públicos

Descargue los conjuntos de datos de muestra (por ejemplo, Wikipedia y Reddit) desde aquí y almacene sus archivos CSV en una carpeta llamada data/ .

Preprocesar los datos

Utilizamos el formato npy denso para guardar las características en formato binario. Si las características de borde o las características de los nodos están ausentes, serán reemplazadas por un vector de ceros.

 python utils/preprocess_data.py --data wikipedia --bipartite
python utils/preprocess_data.py --data reddit --bipartite

Entrenamiento modelo

Aprendizaje auto-supervisado utilizando la tarea de predicción de enlaces:

 # TGN-attn: Supervised learning on the wikipedia dataset
python train_self_supervised.py --use_memory --prefix tgn-attn --n_runs 10

# TGN-attn-reddit: Supervised learning on the reddit dataset
python train_self_supervised.py -d reddit --use_memory --prefix tgn-attn-reddit --n_runs 10

Aprendizaje supervisado sobre clasificación de nodo dinámico (esto requiere un modelo capacitado de la tarea auto-supervisada, por ejemplo, ejecutando los comandos anteriores)::

 # TGN-attn: self-supervised learning on the wikipedia dataset
python train_supervised.py --use_memory --prefix tgn-attn --n_runs 10

# TGN-attn-reddit: self-supervised learning on the reddit dataset
python train_supervised.py -d reddit --use_memory --prefix tgn-attn-reddit --n_runs 10

Línea de base

 ### Wikipedia Self-supervised

# Jodie
python train_self_supervised.py --use_memory --memory_updater rnn --embedding_module time --prefix jodie_rnn --n_runs 10

# DyRep
python train_self_supervised.py --use_memory --memory_updater rnn --dyrep --use_destination_embedding_in_message --prefix dyrep_rnn --n_runs 10


### Reddit Self-supervised

# Jodie
python train_self_supervised.py -d reddit --use_memory --memory_updater rnn --embedding_module time --prefix jodie_rnn_reddit --n_runs 10

# DyRep
python train_self_supervised.py -d reddit --use_memory --memory_updater rnn --dyrep --use_destination_embedding_in_message --prefix dyrep_rnn_reddit --n_runs 10


### Wikipedia Supervised

# Jodie
python train_supervised.py --use_memory --memory_updater rnn --embedding_module time --prefix jodie_rnn --n_runs 10

# DyRep
python train_supervised.py --use_memory --memory_updater rnn --dyrep --use_destination_embedding_in_message --prefix dyrep_rnn --n_runs 10


### Reddit Supervised

# Jodie
python train_supervised.py -d reddit --use_memory --memory_updater rnn --embedding_module time --prefix jodie_rnn_reddit --n_runs 10

# DyRep
python train_supervised.py -d reddit --use_memory --memory_updater rnn  --dyrep --use_destination_embedding_in_message --prefix dyrep_rnn_reddit --n_runs 10

Estudio de ablación

Comandos para replicar todos los resultados en el estudio de ablación sobre diferentes módulos:

 # TGN-2l
python train_self_supervised.py --use_memory --n_layer 2 --prefix tgn-2l --n_runs 10 

# TGN-no-mem
python train_self_supervised.py --prefix tgn-no-mem --n_runs 10 

# TGN-time
python train_self_supervised.py --use_memory --embedding_module time --prefix tgn-time --n_runs 10 

# TGN-id
python train_self_supervised.py --use_memory --embedding_module identity --prefix tgn-id --n_runs 10

# TGN-sum
python train_self_supervised.py --use_memory --embedding_module graph_sum --prefix tgn-sum --n_runs 10

# TGN-mean
python train_self_supervised.py --use_memory --aggregator mean --prefix tgn-mean --n_runs 10

Banderas generales

 optional arguments:
  -d DATA, --data DATA         Data sources to use (wikipedia or reddit)
  --bs BS                      Batch size
  --prefix PREFIX              Prefix to name checkpoints and results
  --n_degree N_DEGREE          Number of neighbors to sample at each layer
  --n_head N_HEAD              Number of heads used in the attention layer
  --n_epoch N_EPOCH            Number of epochs
  --n_layer N_LAYER            Number of graph attention layers
  --lr LR                      Learning rate
  --patience                   Patience of the early stopping strategy
  --n_runs                     Number of runs (compute mean and std of results)
  --drop_out DROP_OUT          Dropout probability
  --gpu GPU                    Idx for the gpu to use
  --node_dim NODE_DIM          Dimensions of the node embedding
  --time_dim TIME_DIM          Dimensions of the time embedding
  --use_memory                 Whether to use a memory for the nodes
  --embedding_module           Type of the embedding module
  --message_function           Type of the message function
  --memory_updater             Type of the memory updater
  --aggregator                 Type of the message aggregator
  --memory_update_at_the_end   Whether to update the memory at the end or at the start of the batch
  --message_dim                Dimension of the messages
  --memory_dim                 Dimension of the memory
  --backprop_every             Number of batches to process before performing backpropagation
  --different_new_nodes        Whether to use different unseen nodes for validation and testing
  --uniform                    Whether to sample the temporal neighbors uniformly (or instead take the most recent ones)
  --randomize_features         Whether to randomize node features
  --dyrep                      Whether to run the model as DyRep

Diádico

Haga que la memoria de código sea eficiente: en aras de la simplicidad, el módulo de memoria del modelo TGN se implementa como un parámetro (de modo que se almacena y se carga juntos del modelo). Sin embargo, este no necesita ser el caso, y las implementaciones más eficientes que tratan a los modelos como tensores (de la misma manera que las características de entrada) serían más susceptibles de gráficos grandes.

Citarnos

 @inproceedings { tgn_icml_grl2020 ,
    title = { Temporal Graph Networks for Deep Learning on Dynamic Graphs } ,
    author = { Emanuele Rossi and Ben Chamberlain and Fabrizio Frasca and Davide Eynard and Federico 
    Monti and Michael Bronstein } ,
    booktitle = { ICML 2020 Workshop on Graph Representation Learning } ,
    year = { 2020 }
}