Загрузка arc prompt arc prompt

Скачать

ARC Prompt Collection (корпус абстракции и рассуждения)

Подсказки для решения ARC -задач с GPT4 или аналогичными.

Решает 46 общедоступных 800 задач в наборе данных ARC 1.

Непроверенные на скрытых 100 задачах, так как GPT4 является закрытым исходным кодом.

Большие подсказки и низкий шанс для правильного решения.
Понимает кодируемые данные длины прогона, но RLE наносит ущерб возможностям рассуждений. Однако в некоторых случаях RLE может работать.
Понимает координаты и может обнаружить простые формы, линии, коробки, формы тетриса.
Преобразования, такие как вращение 90 или FLIP, редко рассматриваются правильно.
Несооооооооооои к лучшему способу представлять цвета. Иногда необработанные целочисленные значения интерпретируются как математические значения, вызывая хаос для прогнозирования. Западает цвета в текст. Вместо использования color слова я использую слово ID или Layer . Не определилось, что работает.

GPT4 OpenAI - решает несколько задач ARC, а неправильные представки очень близки к ожидаемому выводу.
Openai's GPT3.5 - Невозможно решить ARC -задачи, но иногда неправильные представки приближаются к ожидаемому выводу.
Google Bard версия 2023.07.13 - не смог решить какие -либо задачи.

ИМО неверные прогнозы более интересны, чем правильные прогнозы. Эти прогнозы очень близки к ожидаемому выводу.

Есть 2 дирта:

Подсказки/Правильно - хорошие прогнозы, которые решают задачи.
Подсказки/Неправильные - неправильные предсказания, которые приближаются к решению задач.

Файлы представляют собой документы разметки, с 3 или 4 разделами.

Раздел A - метаданные о том, какие модели он был опробован. Все документы говорят gpt4 на данный момент.
Раздел B - подсказка . ARC Задача дополняется полезной информацией. Машина сгенерирована.
Раздел C - Ответ . Ответ от GPT4 или аналогичной модели.
Раздел D - необязательный раздел с человеческими комментариями о том, что, возможно, пошло не так с рассуждением.