relational networks

Implementación de Pytorch de redes relacionales: un módulo de red neuronal simple para razonamiento relacional

Implementado y probado en la tarea de tipo de CLEVR.

Especie de clevr

La versión simplificada de Clevr. está compuesta por 10000 imágenes y 20 preguntas (10 preguntas relacionales y 10 preguntas no relacionales) por cada imagen. 6 colores (rojo, verde, azul, naranja, gris, amarillo) se asignan a la forma elegida al azar (cuadrado o círculo), y se colocan en una imagen.

Las preguntas no relacionales están compuestas por 3 subtipos:

1. Forma de ciertos objetos de color
2. Ubicación horizontal de cierto color de color: si está en el lado izquierdo de la imagen o el lado derecho de la imagen
3. Ubicación vertical de ciertos objetos de color: si está en la ventaja de la imagen o la desventaja de la imagen

Estas preguntas son "no relacionales" porque el agente solo necesita centrarse en cierto objeto.

Las preguntas relacionales están compuestas de 3 subtipos:

1. Forma del objeto que está más cerca del cierto objeto de color
2. Forma del objeto que está más alejado de cierto objeto de color
3. Número de objetos que tienen la misma forma con cierto objeto de color

Estas preguntas son "relacionales" porque el agente debe considerar las relaciones entre objetos.

Las preguntas se codifican en un vector de tamaño de 11: 6 para un vector único para cierto color entre 6 colores, 2 para un vector único de preguntas relacionales/no relacionales. 3 para un vector único de 3 subtipos.

Es decir, con la imagen de muestra que se muestra, podemos generar preguntas no relacionales como:

1. ¿Cuál es la forma del objeto rojo? => Círculo (aunque en realidad no se ve como "círculo" ...)
2. ¿El objeto verde se coloca en el lado izquierdo de la imagen? => si
3. ¿El objeto naranja se coloca en la ventaja de la imagen? => no

Y preguntas relacionales:

1. ¿Cuál es la forma del objeto más cercana al objeto rojo? => cuadrado
2. ¿Cuál es la forma del objeto más lejos del objeto naranja? => círculo
3. ¿Cuántos objetos tienen la misma forma con el objeto azul? => 3

Configuración

Crear entorno CondA desde el archivo environment.yml

 $ conda env create -f environment.yml

Activar entorno

 $ conda activate RN3

Si no usa Conda Instale Python 3 normalmente y usa pip install para instalar las dependencias restantes. La lista de dependencias se puede encontrar en el archivo environment.yml .

Uso

 $ ./run.sh

o

 $ python sort_of_clevr_generator.py

para generar un conjunto de datos de CLEVR y

 $ python main.py 

Para entrenar el modelo Binario RN. Alternativamente, use

 $ python main.py --relation-type=ternary

Para entrenar el modelo Ternary RN.

Modificaciones

En el documento original, la tarea de tipo de CLEVR utilizó un modelo diferente de la tarea CLEVR. Sin embargo, debido a que el modelo usado CLEVR requiere mucho menos tiempo para calcular (la red es mucho más pequeña), este modelo se usa para la tarea de tipo CLEVR.

Resultado

	Redes relacionales (20th Epoch)	CNN + MLP (sin RN, época número 100)
Cuestión no relacional	99%	66%
Cuestión relacional	89%	66%

CNN + MLP ocurrió con el sobreajuste a los datos de entrenamiento.

Las redes relacionales muestran resultados mucho mejores en preguntas relacionales y preguntas de no relatación.

Contribuciones

@GNGDB acelera el modelo por 10 veces.