abel

Генеративный ИИ для математики: Абель

Модель | Таблица лидеров | Методология | Оценка | Анализ надежности | Ограничение | Цитата | Outlook |

Итан Черн*, Хаоян Зу*, Сюфенг Ли*, Джевен Ху*, Кехуа Фэн, Джунлонг Ли, Пенгфей Лю+

• "*" Основные участники,
• «+» Автор -корреспондент, (Gair) в Университете Шанхай Цзяо Тонга, Шанхайская лаборатория AI

---

Новости

[2023/12/12] Мы выпустили ABEL-7B-002 , что приводит к более сильному (35% улучшению GSM8K, 126% улучшения по математике) и более обобщенной модели, достигнув наилучшей производительности среди всех моделей 7B (80,44 на GSM8K, 29,46 по математике).

• Пожалуйста, проверьте модель и таблицу лидеров , чтобы узнать последние результаты. Мы впервые достигли точности более 80% на GSM8K с моделью 7B .
• Обратитесь к разделу обобщения для наших результатов оценки в возможностях обобщения модели.

Модели и производительность

Название модели	Контрольные точки HF	GSM8K	Математика	Лицензия
Абель-7B-002	? 7b	80.44	29,46	Apache License 2.0
Абель-7B-001	? 7b	59,74	13.00	Лама 2
Абель-13B-001	? 13b	66.41	17.34	Лама 2
Абель-70B-001	? 70b	83,62	28.26	Лама 2

Обобщение

Модель	GSM8K	Математика	Матка	Свамп	SCQ5K-EN	Арк-э	Дуговой	Hellaswag	MMLU
Абель-7B-002	80.44	29,46	69,78	77.67	55,95	77.67	55,05	77.72	61.19
Абель-7B-001	59,74	13	1.21	57.67	9.3	53,32	38.97	63,51	40.59
Metamath-Mistral-7b	77.7	28.2	33,94	79,33	37.6	78.48	51.93	76.44	61.93
Qwen-7b	47.84	9.34	27.44	53	40.05	74,97	53,05	86.85	57.98
Миштраль-7B	37.83	9.06	25,73	63	39,6	76.83	53,22	76.31	64,05
Yi-6b	32,6	5.78	26.98	55,67	35,5	73,66	49,53	68,97	64.02
Llama2-7B	12.96	2.78	11.52	44	28.24	71.12	46.61	71.32	46.7

Можно найти, что:

• Abel-002 отлично работает в математических наборах данных (GSM8K, Math, MathQA, SVAMP, SCQ5K-EN).
• Он также конкурентоспособен на наборах данных на вне доменов (ARC-E, ARC-C, Hellaswag), превосходящую базовую модель Misstral-7B.
• На MMLU ABEL-7B-002 показывает только незначительное снижение на 3 балла по сравнению с Mistral-7B, в то время как Abel-7B-001 показал снижение на 6 баллов по сравнению с Llama2-7B.

Детали оценки:

• Все результаты оценки являются максимальными значениями результатов с несколькими выстрелами и с нулевым выстрелом.
• Результаты GSM8K, Math, MathQA, SVAMP и SCQ5K-EN оцениваются нашими сценариями, в то время как результаты MMLU, ARC-E, ARC-C, HELLASWAG оцениваются OpenCompass.

Введение

Abel создается как дань уважения Нильсу Хенрику Абелю за его новаторскую работу по алгебре и анализу, при которой наша модель также относительно лучше. У нас все еще долгий путь, хотя?

Мы показываем, что:

• без инструментов
• без продолжающейся предварительной подготовки
• Без вознаграждения модели
• без RLHF
• Только используя SFT

Мы создали новую современную производительность в LLMS с открытым исходным кодом (которые не используют внешние инструменты) на тестах GSM8K ( 83.62 ) и математике ( 28,26 ). Конкретно:

• Производительность на GSM8K, на 83,62 , превосходит модели высшего уровня, такие как Palm-1, Minerva (Google), Claude-Instant (Anpropic), CHATGPT (OPENAI), с задержкой точки 1 процента за последней моделью Google, PALM-2-FLAN.
• Достижение уровня точности 28,26%в очень сложных задачах математической конкуренции (по сравнению с 42,5%GPT4), он поддерживает значительный лидерство по сравнению с другими моделями с открытым исходным кодом, превосходя предыдущую лучшую модель с открытым исходным кодом на 5,46%.
• Модели 7b и 13b достигли исторической вехи в производительности модели с открытым исходным кодом как в GSM8K, так и в математике.
• GAIRMath-Abel занимает 3 позиции в топ-10 рейтингах и является единственным университетским проектом в списке (другие-либо звездные стартапы, либо крупные технологические компании).
• Используя наш подход, мы не только достигли отличных результатов по GSM8K и Math, но и при получении нового набора данных (TALSCQ-EN), мы быстро достигли современной (SOTA) производительности без особых усилий, превосходя модель MathGPT и GPT4.

Мы демонстрируем, что:

• Возможности SFT значительно недооцениваются , и исследователи должны обратиться к SFT с должным уважением и осторожностью
• Исключительная математическая способность решать проблемы может быть достигнута исключительно через SFT , что вызывает более творческие возможности в будущем исследовании в этом направлении.

Таблица лидеров для математических рассуждений

• Стоивает за проприетарную модель, пока ? представляет модель с открытым исходным кодом
• ? предполагает, что развитие модели возглавляет академический университет (вместо компаний)
• Мы рассматриваем только модели без использования какого -либо инструмента (например, Python)

Рейтинг	Модель	Парамет	Ведущая организация	GSM8K	Математика
1	GPT-4	неизвестный	Openai	92.0	42,5
2	Клод-2	неизвестный	Антроп	88.0	-
3	Палм-2-Флан	неизвестный	Google	84,7	33,2
? 4	Гайрмат- Абель	70b	? Лаборатория Gair в Университете Шанхай Цзяотонг	83,6	28.3
? 5	Wizardmath	70b	Microsoft	81.6	22.7
6	Клод-Инстанция	неизвестный	Антроп	80.9	-
7	Чатгпт	неизвестный	Openai	80.8	34.1
? 4	Абель -002	7b	? Лаборатория Gair в Университете Шанхай Цзяотонг	80.4	29,5
8	CHATGPT-0301	неизвестный	Openai	74,9	-
? 9	Гайрмат- Абель	13b	? Лаборатория Gair в Университете Шанхай Цзяотонг	66.4	17.3
? 10	Гайрмат- Абель	7b	? Лаборатория Gair в Университете Шанхай Цзяотонг	59,7	13.0
11	Минерва	540b	Google	58.8	33,6
12	Ладонь	540b	Google	56.9	8.8
? 13	Лама-2	70b	Мета	56.8	13.5
? 14	Резок	33b	Оф	56.5	7.4
? 15	Baichuan2-13b	13b	Бачуань	52,8	10.1
16	Минерва	62b	Google	52,4	27.6
17	Ладонь	64b	Google	52,4	4.4
? 18	Резок	13b	Оф	52,1	5.1
? 19	Лама	65b	Мета	50,9	10.6
? 20	Qwen	7b	Алибаба	44,9	8.5
21	Чиншилла	70b	Глубокий	43,7	-
? 22	Лама-2	34b	Мета	42.2	6.24
23	Галактика	30b	Мета	41.7	12.7
? 24	Чатглм2	12B	Зипу	40,9	-
25	Текст-давинка-002	175b	Openai	40,7	19.1
? 26	Лама	33b	Мета	35,6	7.1
27	GPT-3	175b	Openai	34	5.2
? 28	Internlm	7b	Шанхайская лаборатория	31.2	-
? 29	Лама-2	13b	Мета	28,7	3.9
? 30	Vicuna v1.3	13b	Lmsys	27.6	-
? 31	Сокол	40b	Институт технологий инноваций	19.6	2.5
? 32	Лама	13b	Мета	17.8	3.9
? 33	Мпт	30b	Mosaicml	15.2	3.1
34	Галактика	6,7B	Мета	10.2	2.2

Методология

Мы предлагаем родительский надзор , стратегию присмотра за присмотром под контролем точной настройки,

Parental Oversight не ограничивается каким -либо конкретным методом обработки данных. Вместо этого он определяет философию обработки данных, которая должна направлять контролируемую тонкую настройку в эпоху генеративного ИИ (GAI). Мы считаем, что в эпоху GAI инженерия структуры данных стала новой парадигмой. В рамках этой парадигмы способ обработки точной настройки значительно влияет на производительность обученного GAI. Мы ожидаем, что растущее число исследований в сообществе сосредоточится на этой философии обработки данных.

Принцип Parental Oversight подчеркивает лечение контролируемой точной настройки с осторожностью и осторожностью. Это аналогично тому, как родителям рекомендуется обучать своих детей. Различные типы данных, наряду с их форматами презентаций (например, пошаговые рассуждения, итеративная уточнение) могут быть сравнены с различными методами образования. Подобно тому, как родители осторожно выбирают наиболее эффективный подход к обучению своим детям, практикующие Gai должны осторожно выбрать наиболее эффективные подходы к обработке данных, чтобы лучше инструктировать свои LLMS.

Кроме того, чем больше данных, тем лучше »философия не всегда верна. Качество и актуальность аннотированных образцов часто могут перевесить их количество. Обучающие образцы, используемые в SFT, должны не просто представлять правильный ответ, но и инструктировать модель о том, как был получен правильный ответ на основе знаний LLM. Кроме того, если знания LLM недостаточно для ответа на вопрос, Parental Oversight должен вмешаться, чтобы быстро рассмотреть разрывы в знаниях.

Оценка

• Создать среду Conda conda create -n abel python=3.10
• Активировать окружающую среду conda activate abel
• Запустить pip install -r requirements.txt .
• Запустить bash evaluation/eval.sh . Часть сценария оценки модифицирована из Minerva.
• Примечание: мы наблюдали некоторый неэлеплентный детерминированный характер при проведении оценки, которая может быть связана с этой проблемой VLLM. Таким образом, возможно, что результат, который вы получите, может немного отличаться от нашего. Вы также можете проверить наши результаты оценки в каталоге ./outputs .

Анализ надежности

Наш анализ надежности состоит из двух частей: состязательной оценки набора данных GSM8K_ROBUST и контролируемого обучения передачи на набор данных TAL-SCQ5K-EN . Мы выполняем предварительный анализ, чтобы понять (1), преодолевает ли Абель учебный набор данных и, таким образом, хрупкий в выборочных образцах тестирования и (2) может ли наш подход SFT быстро передавать и обобщать ABEL на наборы данных из разных распределений.

Оценка состязания в наборе данных GSM8K_ROBUST

Набор данных GSM8K_ROBUST - это набор данных, который мы установили на основе набора данных GSM8K. Мы случайным образом изменили числа в вопросах набора данных GSM8K, не изменяя какую-либо другую информацию в вопросах, используя GPT-4. Мы также попросили GPT-4 сгенерировать «золотые ответы» по измененным вопросам. После вручного просмотра подмножества этих образцов мы обнаружили, что все сгенерированные ответы для измененных вопросов были точными. Мы использовали набор данных GSM8K_ROBUST, чтобы оценить, переполняют ли модели данные обучения, что делает модели восприимчивыми к выборочным испытаниям. Наш анализ показывает, что Abel более устойчив к выстраивающимся образцам тестирования по сравнению с другими моделями.

Модель	GSM8K	GSM8K_ROBUST	дельта
Абель-7B	59,74	58.23	-1,51
Абель-13b	66.41	66.57	+0.16
Абель-70b	83,62	81.80	-1,82
Wizardmath-70b	81.60	74,91	-6.70
Wizardmath-13b	63,90	59,51	-4.39
RFT-7B	41.7	37.98	-3,72

Контролируемое обучение передачи на наборе данных Tal-SCQ5K-EN

Мы демонстрируем, что ABEL-70B не только достигает SOTA на наборах данных GSM8K и Math, но и хорошо обобщает TAL-SCQ5K-EN 2K, недавно выпущенный набор данных по провайдеру Math LLM TAL (好未來). Наш анализ показывает, что наш подход SFT может успешно обобщать ABEL для наборов данных из разных распределений. Мы проведем дальнейшие анализы и эксперименты для изучения и улучшения возможностей обобщения Абеля.

Модель	Tal-SCQ5K-EN 2K.
Абель-70b	59,7
Mathgpt	59,0
GPT-4	51.0
Llama-70b	43,8

Демо

Ограничение

• Изменение : несмотря на анализ устойчивости и учитывая, что генеративный ИИ для математики по своей природе демонстрирует хрупкость (часто требуя передовых стратегий декодирования, таких как голосование большинства), чрезмерная зависимость от построения образцов SFT для повышения производительности может неизбежно привести модель к переоснащению. (Тем не менее, переосмысление не является основной проблемой текущего проекта, поскольку даже при переосмыслении различных дополненных данных обучения по-прежнему сложно достичь благоприятных результатов в тестовом наборе, таких как набор математики, для сложных задач математических рассуждений.) Тем не менее, нам все еще необходимо выполнить более обширный надежный анализ (#1) и активно изучать методы обучения, которые могут преобразовать модель в математизирующую инициативу.
• Обобщение : хорошая математическая модель не должна ограничиваться решением проблем только на наборах данных GSM8K и математике; Он должен быть способен решать различные типы проблем, в том числе те, которые оценивают различные области знаний и требуют различных типов ответов (например, с множественным выбором, верно/ложным, доказательствами, арифметикой и т. Д.). Возможности текущей модели недостаточны для обобщения до этих разнообразных сценариев (#2).
• Универсальность . В конечном счете, мы ожидаем, что математические способности рассуждения, обеспечиваемые крупными моделями, могут быть интегрированы в чат -боты для различных областей, таких как медицина, закон, физика, химия и т. Д. Ключ к достижению AGI заключается в включении силы сильной математической модели в другие модели, которых в настоящее время не хватает в текущей модели (#3).
• Многоязычность : данные учебных данных текущей модели и базовые ограничения модели ограничивают ее способность предоставлять ответы на языках, отличных от английского (#4).
• Усовершенствованные методы : текущая модель в основном фокусируется на SFT, и передовые методы, такие как модели вознаграждений, RLHF (подкрепление обучения от обратной связи человека), и инструменты еще не изучены. ( #5, #6)

Мы создали список проблем для поддержания этих ограничений и потенциальных решений. Ваше мнение и комментарии всегда приветствуются.

Цитирование

Пожалуйста, цитируйте репо, если вам полезна модель/код/заключение в этом репо.

 @misc{abel,
  author = {Chern, Ethan and Zou, Haoyang and Li, Xuefeng and Hu, Jiewen and Feng, Kehua and Li, Junlong and Liu, Pengfei},
  title = {Generative AI for Math: Abel},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/GAIR-NLP/abel}},
}

Подтверждение

• Мы благодарим Shanghai AI Lab за поддержку части вычислительных ресурсов.
• Мы благодарим Jiasheng Gu за полезные обсуждения на ранней стадии проекта.

Outlook

Мы постоянно совершенствуем наши модели и будем выпускать обновления. Следите за обновлениями!