ARC Avmice Collection (Corpus de abstracción y razonamiento)
Indicaciones para resolver tareas de arco con GPT4 o similar.
Resuelve 46 de las tareas públicas 800 en el conjunto de datos Arc 1.
No probado en las 100 tareas ocultas, ya que GPT4 es de código cerrado.
Aprends sobre indicaciones
- Grandes indicaciones y bajas posibilidades de una solución correcta.
- Comprende los datos codificados de longitud de ejecución, pero RLLe daña las capacidades de razonamiento. Sin embargo, en algún caso, RLE puede funcionar.
- Comprende coordenadas y puede detectar formas simples, líneas, cajas, formas de tetris.
- Las transformaciones como Rotar 90 o FLIP rara vez se consideran correctamente.
- No concluyente cuál es la mejor manera de representar los colores. A veces, los valores enteros de color crudo se interpretan como valores matemáticos, causando estragos en la predicción. Ofuscando los colores en el texto ayuda. En lugar de usar la palabra
color , uso la palabra ID o Layer . Indeciso lo que funciona.
Modelos de idiomas
- GPT4 de OpenAI: resuelve varias de las tareas de ARC, y las predicciones erróneas se acercan mucho al resultado esperado.
- GPT3.5 de OpenAI - No se puede resolver las tareas de arco, pero a veces las predicciones erróneas se acercan a la producción esperada.
- BARD Versión 2023.07.13 de Google - No pudo resolver ninguna tarea.
Ejemplos de predicciones incorrectas
En mi opinión, las predicciones incorrectas son más interesantes que las predicciones correctas. Estas predicciones se acercan mucho al resultado esperado.
Estructura de repo
Hay 2 directs:
- indicaciones/correcto: buenas predicciones que resuelven las tareas.
- indicaciones/incorrectos: predicciones erróneas que se acercan para resolver las tareas.
Los archivos son documentos de Markdown, con 3 o 4 secciones.
- Sección A - Metadatos sobre los modelos que se probó. Todos los documentos dicen
gpt4 en este momento. - Sección B - El aviso . Tarea ARC aumentada con información útil. Máquina generada.
- Sección C - La respuesta . La respuesta de GPT4 o modelo similar.
- Sección D - Sección opcional con comentarios humanos sobre lo que pudo haber salido mal con el razonamiento.
Discordia
Paso el rato en los canales de arco en LAB42 y Yannic Kilcher. Grandes lugares para discutir técnica rápida.
Licencia
Apache o MIT.
