Collection d'invite à arc (corpus d'abstraction et de raisonnement)
Invite à résoudre les tâches d'arc avec GPT4 ou similaires.
Résout 46 des tâches publiques 800 dans l'ensemble de données ARC 1.
Non testé sur les tâches cachées 100, car GPT4 est fermée.
Apprentissage sur les invites
- De grandes invites et une faible chance pour une solution correcte.
- Comprend les données codées de longueur de longueur, mais RLE nuit aux capacités de raisonnement. Cependant, dans certains cas, RLE peut fonctionner.
- Comprend les coordonnées et peut détecter des formes, des lignes, des boîtes, des formes Tetris simples.
- Des transformations telles que Rotation 90 ou Flip sont rarement considérées correctement.
- Inconcuse quelle est la meilleure façon de représenter les couleurs. Parfois, les valeurs de couleur crue sont interprétées comme des valeurs mathématiques, provoquant des ravages à la prédiction. Obfusquer les couleurs dans le texte aide. Au lieu d'utiliser la
color du mot, j'utilise l' ID de mot ou Layer . Indécis ce qui fonctionne.
Modèles de langue
- GPT4 d'OpenAI - résout plusieurs des tâches d'arc, et les erreurs de prédiction se rapprochent très près de la production attendue.
- GPT3.5 d'OpenAI - Impossible de résoudre les tâches d'arc, mais parfois les erreurs de prédiction se rapprochent de la production attendue.
- La version Bard de Google 2023.07.13 - n'a pas pu résoudre les tâches.
Exemples de prédictions incorrectes
IMO Les prédictions incorrectes sont plus intéressantes que les prédictions correctes. Ces prédictions se rapprochent très près de la sortie attendue.
Structure de réapprovisionnement
Il y a 2 réseaux:
- Invites / Correct - Bonnes prédictions qui résout les tâches.
- Invites / incorrects - erreurs de prédiction qui se rapprochent de la résolution des tâches.
Les fichiers sont des documents Markdown, avec 3 ou 4 sections.
- Section A - Métadonnées sur les modèles sur lesquels il a été essayé. Tous les documents indiquent
gpt4 pour le moment. - Section B - L' invite . Tâche d'arc augmentée avec des informations utiles. Machine générée.
- Section C - La réponse . La réponse de GPT4 ou du modèle similaire.
- Section D - Section facultative avec des commentaires humains sur ce qui peut avoir mal tourné avec le raisonnement.
Discorde
Je traîne dans les canaux d'arc sur Lab42 et Yannic Kilcher. Excellents endroits pour discuter de la technique rapide.
Licence
Apache ou MIT.
