Coleção de prompt de arco (abstração e corpus de raciocínio)
Solicitar para resolver tarefas de arco com GPT4 ou similares.
Resolve 46 das tarefas públicas 800 no conjunto de dados ARC 1.
Não testado nas 100 tarefas ocultas, pois o GPT4 é de código fechado.
Aprendizados sobre prompts
- Grandes instruções e baixa chance de uma solução correta.
- Entende dados codificados com comprimento de execução, mas RLE prejudica os recursos de raciocínio. No entanto, em alguns casos, a RLE pode funcionar.
- Entende coordenadas e pode detectar formas simples, linhas, caixas, formas de tetris.
- Transformações como girar 90 ou flip, raramente estão sendo consideradas corretamente.
- Inconclusivo Qual é a melhor maneira de representar cores. Às vezes, os valores inteiros de cor bruta são interpretados como valores matemáticos, causando estragos na previsão. Ocultar cores no texto ajuda. Em vez de usar a
color da palavra, eu uso a palavra ID ou Layer . Indeciso o que funciona.
Modelos de idiomas
- GPT4 do OpenAI - resolve várias tarefas do ARC, e as predefições incorretas chegam muito perto da saída esperada.
- GPT3.5 do OpenAI - Não é possível resolver tarefas de arco, mas às vezes as precedentes errôneas chegam perto da saída esperada.
- O BARD versão 2023.07.13 do Google - não foi capaz de resolver nenhuma tarefa.
Exemplos de previsões incorretas
IMO, as previsões incorretas são mais interessantes do que as previsões corretas. Essas previsões ficam muito próximas da saída esperada.






Estrutura de repo
Existem 2 diretores:
- Prompts/correto - Boas previsões que resolvem as tarefas.
- Prompts/Incorreto - PREDIÇÕES ERRADAS QUE CHEMO ALIMENTAR AS RESOLVER as tarefas.
Os arquivos são documentos de marcação, com 3 ou 4 seções.
- Seção A - Metadados sobre quais modelos foi tentado. Todos os documentos dizem
gpt4 no momento. - Seção B - o prompt . Tarefa de arco aumentada com informações úteis. Máquina gerada.
- Seção C - A resposta . A resposta do GPT4 ou modelo semelhante.
- Seção D - Seção opcional com comentários humanos sobre o que pode ter dado errado com o raciocínio.
Discórdia
Eu saio nos canais de arco no Lab42 e Yannic Kilcher. Ótimos lugares para discutir a técnica imediata.
Licença
Apache ou MIT.