AlignLLMHumanSurvey

Awesome-Align-llm-Human

Сборник документов и ресурсов о выравнивании крупных языковых моделей (LLMS) с человеком.

Большие языковые модели (LLMS), обученные обширным текстовым корпусам, стали ведущими решениями для широкого спектра задач обработки естественного языка (NLP). Несмотря на их заметную работу, эти модели подвержены определенным ограничениям, таким как недоразумение человеческих инструкций, генерирование потенциально предвзятого содержания или фактически неверную (галлюцинированную) информацию. Следовательно, выравнивание LLM с ожиданиями человека стало активной областью интереса в исследовательском сообществе. В этом опросе представлен всеобъемлющий обзор этих технологий выравнивания, включая следующие аспекты. (1) Сбор данных (2) Методологии обучения (3) Оценка модели. В заключение мы собираем и переживаем наши выводы, проливая свет на несколько многообещающих будущих исследований в этой области. Таким образом, этот опрос служит ценным ресурсом для тех, кто инвестировал в понимание и повышение выравнивания LLM, чтобы лучше соответствовать ориентированным на человека задач и ожиданий.

Мы надеемся, что этот репозиторий может помочь исследователям и практикующим, чтобы лучше понять эту новую область. Если этот репозиторий полезен для вас, пожалуйста, помогите нам сослаться на эту статью:

@article{aligning_llm_human,
    title={Aligning Large Language Models with Human: A Survey},
    author={Yufei Wang and Wanjun Zhong and Liangyou Li and Fei Mi and Xingshan Zeng and Wenyong Huang and Lifeng Shang and Xin Jiang and Qun Liu},
    journal={arXiv preprint arXiv:2307.12966},
    year={2023}
}

Новости

? Этот проект находится в стадии разработки. Вы можете попасть в звезду и посмотреть , чтобы следовать обновлениям.

• 2023/07/31: наша документация по опросу помещается в [Podcast @ paperread.ai]
• 2023/07/25: Наша первоначальная документация по обследованию, выравнивающая большие языковые модели с человеком: обследование становится доступным.

Оглавление

• Новости
• Awesome-Aligning-llm-Human
  • Связанные опросы
  • Данные выравнивания
    • Данные от человека
    • Данные от сильных LLMS
    • Управление инструкциями
  • Обучение выравнивания
    • Онлайн -выравнивание человека
    • Офлайн -выравнивание человека
    • Параметр-эффективное обучение
  • Оценка выравнивания
    • Принципы дизайна оценки
    • Оценка критерии
    • Парадигмы оценки
  • Выравнивание инструментов

Связанные опросы

• Обзор крупных языковых моделей [Paper]
• Опрос о мультимодальных крупных языковых моделях [бумага]
• Опрос о оценке моделей крупных языков [Paper]
• Проблемы и применения крупных языковых моделей [Paper]
• Используя силу LLM на практике: опрос на CHATGPT и за ее пределами [Paper]
• Специализация домена как ключ к тому, чтобы сделать модели с большими языками разрушительными: комплексный опрос [Paper]
• Обзор безопасности и надежности крупных языковых моделей через призму проверки и проверки [Paper]
• Объединение крупных языковых моделей и графиков знаний: дорожная карта [бумага]
• Обучение инструментами с основными моделями [Paper]
• Восемь вещей, которые нужно знать о крупных языковых моделях [бумага]
• Открытые проблемы и фундаментальные ограничения обучения подкреплению от обратной связи человека [Paper]
• Участие в обзоре настройки инструкций [блог]

Данные выравнивания

Данные от человека

НЛП тесты

• AdptSource: интегрированная среда разработки и репозиторий для подсказок естественного языка [Paper]
• Super-NaturalInstructions: обобщение с помощью декларативных инструкций по заданиям NLP 1600+ [Paper]
• Коллекция FLAN: проектирование данных и методов для эффективной настройки инструкций [бумага]
• Набор данных OIG [блог]
• Chatplug: система генеративной диалога с открытым доменом с настройкой инструкций по интернету для цифрового человека [Paper]
• Выравнивание текста является эффективной унифицированной моделью для массивных задач NLP [Paper]
• OPT-IML: масштабирование языковой модели инструкции Мета обучение через призму обобщения [Paper]
• Инструктор-FINGPT: Анализ финансовых настроений путем настройки инструкций общего назначения крупных языковых моделей [Paper]

Знание домена

• Изучение языковой модели фундамента для понимания и использования знаний о геоссауке [Paper]
• Адвокат Llama Technical Report [Документ]
• Huatuo: настройка модели ламы с китайскими медицинскими знаниями [бумага]
• PMC-LLAMA: Дальнейшая создания ламы о медицинских бумагах [бумага]
• Параметр-эффективная тонкая настройка ламы для клинической области [бумага]

Ручные инструкции

• БЕСПЛАТНАЯ ДОЛЛИ: Представление первого в мире по-настоящему открытого обучения LLM [блог]
• Открытые беседы - демократизация крупного языкового выравнивания [Paper]
• Китайский открытый инструкция Generalist: предварительный выпуск [Paper]
• ShareGPT [блог]
• Давайте проверим шаг за шагом [бумага]
• Beavertails: к улучшению выравнивания безопасности LLM с помощью набора данных о том, как для людей с людьми [Paper]
• Важность маркировки данных в эпоху LLMS [Paper]

Данные о человеческих предпочтениях

• Языковые модели обучения, чтобы следовать инструкциям с обратной связью с человека [Paper]
• Улучшение выравнивания диалоговых агентов с помощью целевых человеческих суждений [Paper]
• Чико настраивая языковые модели от человеческих предпочтений [Paper]
• Учебные языковые модели для поддержки ответов с проверенными цитатами [Paper]
• WebGPT: браузер с помощью вопросов-ответа с человеческой обратной связью [Paper]

Данные от сильных LLMS

Общие инструкции

Улучшение качества ввода

• Самоубийство: выравнивание языковых моделей с самоконтрольными инструкциями [Paper]
• Lamini-LM: разнообразное стадо дистиллированных моделей из крупномасштабных инструкций [Paper]
• Baize: модель чата с открытым исходным кодом с параметрами настройки на данные о самообслуживании [Paper]
• Большой языковой модель как приписанный генератор данных обучения: рассказ о разнообразии и предвзятости [Paper]
• Wizardlm: расширение возможностей крупных языковых моделей, чтобы следовать сложным инструкциям [Paper]
• Неестественные инструкции: настройка языковых моделей с (почти) без человеческого труда [бумага]
• Dynosaur: парадигма динамического роста для курирования данных настройки инструкции [Paper]
• Изучение согласованности формата для настройки инструкций [бумага]

Улучшение качества выпуска

• Поздность в цепочке мышления вызывает рассуждения в крупных языковых моделях [Paper]
• ORCA: прогрессивное обучение на сложных следах объяснения GPT-4 [Paper]
• Лев: состязательная дистилляция модели крупного языка с закрытым исходным кодом [бумага]
• Принцип, управляемая самооплатой языковых моделей с нуля с минимальным человеческим надзором [Paper]
• Expert Propming: инструктирование моделей крупных языков, чтобы быть различными экспертами [Paper]
• Феникс: демократизация CHATGPT между языками [Paper]
• Улучшение генерализации меж задачи с помощью пошаговых инструкций [Paper]
• Коллекция COT: улучшение нулевого выстрела и несколько выстрелов в языковых моделях с помощью тонкой настройки цепочки мыслей [Paper]

Инструкции по рассуждениям

Общие рассуждения

• Специализация меньших языковых моделей для многоэтапных рассуждений [Paper]
• Распределил шаг за шагом! Опережать более крупные языковые модели с меньшими учебными данными и меньшими размерами модели [Paper]
• Обоснованная рассуждающая среда для получения знаний для малых языковых моделей в задачах с интенсивными знаниями [Paper]
• PAD: Программа-абонентная дистилляция специализируется на крупных моделях в рассуждениях [Paper]

Код

• Учебники - это все, что вам нужно [бумага]
• WizardCoder: расширение возможностей кода большие языковые модели с Evol-Instruct [Paper]
• Код Alpaca: модель Llama, посвященная инструкции для генерации кода [GitHub]
• Codet5+: Открыть код с большими языковыми моделями для понимания и генерации кода [Paper]
• Pangu-Coder2: повышение больших языковых моделей для кода с ранжированным отзывом [Paper]

Математика

• Монетный двор: повышение обобщения в математических рассуждениях с помощью тонкой настройки с несколькими обзорами [Paper]
• Коза: тонкая настраиваемая Llama превосходит GPT-4 по арифметическим задачам [бумага]
• Масштабирование отношений в изучении математических рассуждений с помощью больших языковых моделей [Paper]

Разговорные инструкции

• Vicuna: чат-бот с открытым исходным кодом, впечатляющий GPT-4 с 90%* качеством CHATGPT [блог]
• Baize: модель чата с открытым исходным кодом с параметрами настройки на данные о самообслуживании [Paper]
• Улучшение языковых моделей чата за счет масштабирования высококачественных учебных разговоров [Paper]
• Верблюд: Коммуникативные агенты для «разума» исследования крупномасштабного языкового модели Общества [Paper]
• Selfee: итеративная самоочищение LLM, наделенное поколением самоотдачи [блог]
• Эффективный конвейер создания данных для получения высококачественных данных финансовых инструкций для модели крупного языка [Paper]

Многоязычные инструкции

• Феникс: демократизация CHATGPT между языками [Paper]
• Бэйлинг: Соединение перекрестного выравнивания и инструкции, следующих за интерактивным переводом для моделей крупных языков [Paper]
• BACTRIAN-X: многоязычная реплицируемая модель, подходящая для обучения с низкой адаптацией [Paper]
• Инструктор-альтернатив: обучение новым языкам с LLMS посредством межсочевой инструкции на основе выравнивания [Paper]

Управление инструкциями

Последствия инструкции

• Как далеко могут зайти верблюды? Изучение состояния настройки инструкций на открытых ресурсах [Paper]
• Flacuna: раскрыть силу викуны в решении проблем, используя Flan Fine-Muning [Paper]
• Масштабирование языковых моделей, ограниченных данными [Paper]
• К лучшему обучению после языковых моделей для китайцев: исследование влияния данных обучения и оценки [Paper]
• Ложное обещание имитировать запатентованные LLMS [Paper]
• Фундаментальные ограничения выравнивания в моделях крупных языков [Paper]

Количество инструкции

• Становление самостоятельно: введение критериев ранней остановки для минимальной настройки инструктов [бумага]
• Лима: меньше для выравнивания [бумага]
• Майнинг инструкций: высококачественный выбор данных инструкций для моделей крупных языков [Paper]
• Alpagasus: Обучение лучшей альпаке с меньшим количеством данных [Paper]
• Может быть, требуется только 0,5% данных: предварительное исследование настройки инструкций с низким обучением [Paper]

Обучение выравнивания

Онлайн -выравнивание человека

• Языковые модели обучения, чтобы следовать инструкциям с обратной связью с человека [Paper]
• Плот: вознаграждение ранжируется на финал для генеративного выравнивания модели фундамента [Paper]
• Конституционный ИИ: Безвредность от обратной связи ИИ [[Paper]] (Конституция AI: безвреднее время от обратной связи с ИИ)
• RLCD: подкрепление обучения из контрастной дистилляции для выравнивания языковой модели [Paper]

Офлайн -выравнивание человека

Основанный на рангов обучение

• Оптимизация прямой предпочтения: ваша языковая модель тайно - модель вознаграждения [Paper]
• Оптимизация ранжирования предпочтения для выравнивания человека [бумага]
• RRHF: Ранные реакции на выравнивание языковых моделей с обратной связью человека без слез [бумага]
• Pangu-Coder2: повышение больших языковых моделей для кода с ранжированным отзывом [Paper]
• Вероятность калибровки последовательности улучшает генерацию условного языка [бумага]
• Сделать большие языковые модели лучшими рассуждениями с выравниванием [Paper]

Языковая обучение

• OpenChat: меньше для моделей с открытым исходным кодом [GitHub]
• Языки - это награды: задним числом, созданная с использованием человеческой обратной связи [Paper]
• Второй мысли лучше всего: научиться переоценивать с человеческими ценностями из текстовых изменений [Paper]
• Обучение социально выровненным языковым моделям в моделируемом человеческом обществе [Paper]
• Selfee: итеративная самоочищение LLM, наделенное поколением самоотдачи [блог]
• Мелкозернистая обратная связь с человеком дает лучшие награды за обучение языковой модели [Paper]

Параметр-эффективное обучение

• LORA: низкая адаптация больших языковых моделей [Paper]
• Qlora: Эффективное создание квантовых LLM [бумага]
• Настройка префикса: оптимизация непрерывных подсказок для генерации [бумага]
• Мощность масштаба для настройки параметров, достигаемой приглашения [бумага]
• Адаптивное бюджетное распределение для эффективного настройки параметров [бумага]
• Параметр-эффективные пространства с точной настройкой [бумага]
• Подсказка: настройка инструкций с гипернезой для эффективного обобщения с нулевым и мало-выстрелом [Paper]

Модельная архитектура дизайн

• Смесь экспертов соответствует настройке инструкций: победная комбинация для больших языковых моделей [Paper]
• Lamini-LM: разнообразное стадо дистиллированных моделей из крупномасштабных инструкций [Paper]

Оценка выравнивания

Принципы дизайна оценки

• Спарки искусственного общего интеллекта: ранние эксперименты с GPT-4 [Paper]
• Эффективное измерение когнитивной способности LLM: адаптивное тестирование [Paper]
• Целостная оценка языковых моделей [Paper]

Оценка критерии

Закрытые тесты

Общие знания

• Измерение массивного многозадачного языка понимания [бумага]
• CMMLU: измерение массивного многозадачного понимания языка на китайском языке [Paper]
• C-Eval: многоуровневая многодисциплинарная китайская оценка для моделей фундамента [Paper]
• Кола: Тщательно сравнивающая мировые знания о крупных языковых моделях [Paper]
• M3KE: массовый многоуровневый многоуровневый эталон оценки знаний для китайских моделей на крупном языке [Paper]
• Agival: ориентированный на человека эталон для оценки моделей фундамента [Paper]
• Измерение массивного многозадачного понимания Китая [бумага]
• Xiezhi: постоянно повышающий эталон для целостной оценки знаний о домене [Paper]
• Планшет: обучение на инструкциях для табличных данных [бумага]
• Могут ли языковые модели понять физические концепции? [Бумага]

Рассуждение

• Обучение проверки для решения задач по математическим словам [бумага]
• Измерение массивного многозадачного языка понимания [бумага]
• Commonsenseqa: вопрос, отвечающий на проблему, нацеленного на знание Commonsense [Paper]
• Аристотель использовал ноутбук? Задача ответа на вопрос с неявными стратегиями рассуждений [Paper]
• Поздность в цепочке мышления вызывает рассуждения в крупных языковых моделях [Paper]
• Бросает вызов большим задачам и может ли их решить цепь мыслей [Paper]
• Синтез программы с большими языковыми моделями [Paper]
• DS-1000: естественный и надежный эталон для генерации кода науки о данных [Paper]
• Оценка крупных языковых моделей, обученных коду [Paper]
• Действительно ли ваш код сгенерирован CHATGPT? Строгая оценка крупных языковых моделей для генерации кода [бумага]
• Repobench: аналитические системы кода на уровне репозитория [Paper]
• Classeval: изготовленный вручную эталон для оценки LLMS по генерации кода на уровне класса [Paper]
• Студент.

Открытые тесты

Общий чат

• Vicuna: чат-бот с открытым исходным кодом, впечатляющий GPT-4 с 90%* качеством CHATGPT [блог]
• Самоубийство: выравнивание языковых моделей с самоконтрольными инструкциями [Paper]
• Открытые беседы - демократизация крупного языкового выравнивания [Paper]
• Колба: мелкозернистая оценка модели языка на основе наборов навыков выравнивания [Paper]
• Оценить LLM-как сужура с Mt-Bench и Chatbot Arena [Paper]
• Alpacafarm: структура моделирования для методов, которые учатся на обратной связи с человеком [Paper]

Безопасность

• Оценка безопасности китайских моделей большого языка [бумага]
• CValues: измерение ценностей китайских моделей крупного языка от безопасности к ответственности [Paper]
• Скрытый джейлбрейк: эталон для оценки безопасности текста и мощности моделей крупных языков [Paper]
• TrustGPT: эталон для надежных и ответственных крупных языковых моделей [Paper]

Длинный контекст

• L-Eval: создание стандартизированной оценки для моделей длинного контекста языка [Paper]

Парадигмы оценки

Основанная на человеке оценка

• Самоубийство: выравнивание языковых моделей с самоконтрольными инструкциями [Paper]
• Lamini-LM: разнообразное стадо дистиллированных моделей из крупномасштабных инструкций [Paper]
• Языковые модели обучения, чтобы следовать инструкциям с обратной связью с человека [Paper]
• Оценить LLM-как сужура с Mt-Bench и Chatbot Arena [Paper]

Оценка на основе LLMS

LLM для оценки

• G-eval: NLG-оценка с использованием GPT-4 с лучшим выравниванием человека [Paper]
• GPTSCORE: оцените по мере желания [Paper]
• Изучение использования крупных языковых моделей для оценки качества текста без эталонного текста: предварительное эмпирическое исследование [Paper]
• Могут ли крупные языковые модели быть альтернативой человеческим оценкам? [Бумага]
• Факт: мелкозернистая атомная оценка фактической точности в генерации текста длинной формы [бумага]
• Alignscore: оценка фактической согласованности с единой функцией выравнивания [Paper]
• Пробуждение анализа ошибок обеспечивает оценку человеческого перевода в больших языковых моделях: тематическое исследование на CHATGPT [Paper]
• Оценка суммирования, похожая на человека с CHATGPT [Paper]
• Большие языковые модели являются современными оценщиками генерации кода [Paper]
• Бенчмаркинг-модели с языковой модели-моделью-экзаминером [Paper]
• LLM-Eval: единая многомерная автоматическая оценка для разговоров с открытым доменом с большими языковыми моделями [Paper]
• LLMS как фактические рассуждения: понимание существующих критериев и за пределами [Paper]

Смещение LLMS в оценке

• Большие языковые модели не являются справедливыми оценщиками [Paper]
• Стиль над субстанцией: смещение оценки для больших языковых моделей [бумага]
• Оценить LLM-как сужура с Mt-Bench и Chatbot Arena [Paper]

Оценка, специфичные для оценки

• Pandalm: автоматический эталон оценки для оптимизации настройки инструкций LLM [Paper]
• Более широкие и более глубокие сети LLM являются более справедливыми оценщиками LLM [Paper]
• Шепард: критик генерации языковой модели [бумага]

Выравнивание инструментов

• Llama V1 & V2 [GitHub] [Paper V1] [Paper V2]
• Llama-X: открытые академические исследования по улучшению LLAMA для Sota LLM [GitHub]
• Llama2-Chinese [GitHub]
• Colossal-AI: Сделать большие модели искусственного интеллекта дешевле, быстрее и более доступны. [GitHub]
• Обучение и обслуживание крупномасштабных нейронных сетей с автоматической параллелизацией. [GitHub]
• Fastchat [GitHub]
• Lmflow [GitHub]
• LLAMA2-ACCESSORY: инструментарий с открытым исходным кодом для разработки LLM [GitHub]