Awesome Text2SQL

Потрясающий текст2sql ???

Английский |中文版| Бумага

Кураторские учебники и ресурсы для крупных языковых моделей, Text2sql, Text2dsl, Text2api, Text2vis и многое другое.

? Как внести свой вклад

Мы тепло приветствуем взносы от всех, независимо от того, нашли ли вы опечатку, ошибку, имеем предложение или хочется поделиться ресурсом, связанным с LLM+Text2sql. Для получения подробных рекомендаций о том, как внести свой вклад, см. В нашем файле ancom.md.

? Таблица лидеров

	Wikisql	Паук Точное совпадение (em)	Паук Точное исполнение (Ex)	ПТИЦА Допустимый балл эффективности на основе вознаграждений (R-VES)	ПТИЦА Точность исполнения (Ex)
? 1	93.0 (2021/05-Sade+Декодирование под управлением выполнением)	81.5 (2023/11-Miniseek)	91.2 (2023/11-Miniseek)	69,36 (2024/08-Opensearch-SQL, V2 + GPT-4O)	73,00 (2024/09-chase-sql + Gemini)
? 2	92.7 (2021/03-SDSQL+Декодирование управления выполнением)	74.0 (2022/09-Графикс-3b + Пикард)	86.6 (2023/08-dail-sql + gpt-4 + самосогласованность)	68,79 (2024/08-Exsl + Granite-34B-код)	72,39 (2024/09-Askdata + GPT-4O)
? 3	92,5 (2020/11-I-SQL+Декодирование управления выполнением)	73,9 (2022/09-catsql + grappa)	86.2 (2023/08-dail-sql + gpt-4)	68.44 (2024/09-chase-sql + Gemini)	72,28 (2024/08-Opensearch-SQL, V2 + GPT-4O)
4	92.2 (2020/03-гидранет+декодирование управления исполнением)	73.1 (2022/09-корабль + Пикард)	85,6 (2023/10-DPG-SQL + GPT-4 + самокоррекция)	67.41 (2024/07-дистиллеры + GPT-4O)	71.83 (2024/07-дистиллеры + GPT-4O)
5	91.9 (2020/12-мост+декодирование управления выполнением)	72,9 (2022/05-G³R + LGESQL + Electra)	85,3 (2023/04-дин-SQL + GPT-4)	66.92 (2024/09-Askdata + GPT-4O)	70.37 (2024/08-Exsl + Granite-34B-код)
6	91.8 (2019/08-X-SQL+декодирование под управлением выполнением)	72.4 (2022/08-RESDSQL+T5-1.1-LM100K-XL)	83,9 (2023/07-indsight heange of Geand of GPT-4)	66.39 (2024/08-insights AI)	70.26 (2024/08-insights AI)
7	91.4 (2021/03-SDSQL)	72.4 (2022/05-T5-SR)	82.3 (2023/06-C3 + CHATGPT + Zero-Shot)	66.25 (2024/05-EXSL + Granite-20B-код)	70.21 (2024/07-Purple + Red + GPT-4O)
8	91.1 (2020/12-мост)	72,2 (2022/12-Н лучшего списка «Реранкеры + Пикард»)	80.8 (2023/07-х пошаговая цепь мышления с GPT-4 и инструкциями)	65,70 (2024/07-Recap + Gemini)	69.03 (2024/07-Recap + Gemini)
9	91.0 (2021/04-Text2sqlgen + например)	72.1 (2021/09-S² SQL + Electra)	79,9 (2023/02-RESDSQL-3B + NATSQ)	65,62 (2024/07-Purple + Red + GPT-4O)	68,87 (2024/07-байтобразование)
10	90.5 (2020/11-seqgensql+например)	72,0 (2023/02-РЕССКЛ-3B + NATSQL)	78.5 (2022/11-Sade + PQL)	63,68 (2024/08-ярковая + GPT-4O)	67.86 (2024/05-EXSL + Granite-20B-код)

Содержимое

• Потрясающий текст2sql ???
  • ? Как внести свой вклад
  • ? Таблица лидеров
  • Содержимое
  • Введение
  • Опрос
  • Классическая модель
  • Базовая модель
  • Тонкая настройка
  • ? Набор данных
  • ? Индекс оценки
  • ? Библиотеки
  • ? Практический проект
  • ? Цитирование
  • ? Дружеские ссылки

Введение

• Text-Sql (или Text2sql), как следует из названия, состоит в том, чтобы преобразовать текст в SQL. Более академическое определение - преобразование проблем естественного языка в области базы данных в структурированные языки запросов, которые могут быть выполнены в реляционных базах данных. Следовательно, текст к SQL также может быть сокращена как NL2SQL.
  • Ввод: вопросы естественного языка, такие как « запрос соответствующую информацию таблицы T_USER, и результаты отсортированы в порядке убывания по ID, и хранятся только первые 10 данных».
  • Вывод: SQL, такой как " SELECT * FROM TO_USER ORDER по ID DECS LIMIT 10 "

Опрос

• (2024-Arxiv) от естественного языка до SQL: обзор систем Text-Sql на основе LLM [Paper]

• (2024-Arxiv)

• (2024-Arxiv) Обзор NL2SQL с большими языковыми моделями: куда мы и куда мы идем? [Paper] [Код]

• (2024-Arxiv) Обследование по использованию больших языковых моделей для задач текста к SQL [Paper]

• (2023-Vldb, CCF-A) Обзор подходов к глубокому обучению для текста к SQL [Paper]

• (2022-TKDE, CCF-A) Обзор анализа текста до SQL: концепции, методы и будущие направления [Paper]

• (2022-Coloing, CCF-B) Последние достижения в области текста в SQL: обзор того, что у нас есть и чего мы ожидаем [Paper]

• (2022-Arxiv) Текст естественных языков с глубоким обучением на природные языки в SQL Conversion: опрос [Paper]

Классическая модель

• (2024-Arxiv, нет) Chase-SQL : мультиплановая рассуждения и предпочтения оптимизированный выбор кандидатов в Text-Sql [Paper]

• (2024-Arxiv, нет) e-sql : прямая схема, связывающаяся через обогащение вопросов в текстовом до SQL [Paper] [Код]

• (2024-Arxiv, нет) Ликероводочный завод : смерть схемы, связывающую? Текст-к-квл в эпоху хорошо разобразных языковых моделей [Paper]

• (2024-Arxiv, нет) DB-GPT-Hub : к открытому сравнению текста до SQL, уполномоченными крупными языковыми моделями [Paper] [CODE]

• (2024-arxiv, нет) SuperSQL : Рассвет естественного языка для SQL: мы полностью готовы? [Paper] [Код]

• (2024-Arxiv, нет) Шахматы : контекстуальное использование для эффективного синтеза SQL [Paper] [CODE]

• (2023-Arxiv, нет) Mac-SQL : многоагентная совместная структура для текста в Squ [Paper] [Code]

• (2023-Arxiv, нет) DBCᴏᴘɪʟᴏᴛ : масштабирование запросов естественного языка для массивных баз данных [Paper] [Код]

• (2023-Arxiv, нет).

• (2023-AAAI 2023, CCF-A) RESDSQL : Схема развязки связывание и анализ скелета для текста к SQL [Paper] [Код]

• (2023-Arxiv, нет) может ли LLM уже служить интерфейсом базы данных? Большая скамейка для крупномасштабной базы данных заземленного текста в Sqls [Paper] [Code]

• (2023-Arxiv, нет) DIN-SQL : разлагаемое в контекстное изучение текста к SQL с самокоррекцией [Paper] [CODE]

• (2023-Arxiv, нет) Комплексная оценка возможности с нулевым выстрелом CHATGPT [Paper] [Код] [Код] [Код]

• (2023-ICLR, CCF-A) Связывая языковые модели на символических языках [Paper] [CODE]

• (2023-SIGMOD, CCF-A) Перевод текста в S-SQL с использованием Структурного и контента

• (2023-ICASSP, CCF-B) T5-SR : единая стратегия декодирования SEQ-SEQ для семантического анализа [бумага]

• (2022-aCl, CCF-A) S ² SQL : инъекционный синтаксис к графику графа взаимодействия с схемой для анализа текста к SQL [Paper]

• (2022-NAACL, CCF-B) Sead : сквозное поколение текста к SQL с обезвоживанием с учетом схемы [Paper]

• (2022-EMNLP, CCF-B) Звезда : SQL-управляемое предварительное обучение для контекстного зависимого от анализа текста к SQL [Paper] [CODE]

• (2022-EMNLP, CCF-B) RASAT : Интеграция реляционных структур в предварительную модель SEQ2SEQ для текста до SQL [Paper] [CODE]

• (2022-EMNLP, CCF-B) CQR-SQL : переформулирование вопросов разговорного вопроса Увеличенная контекстная зависимая от контекста

• (2022-ACL, CCF-A) Hie-SQL : Информация об истории, улучшенная сеть для контекста-зависимого от семантического анализа текста к SQL [Paper]

• (2022-Arxiv, нет) Важность синтеза высококачественных данных для анализа текста к SQL [Paper]

• (2021-ACL, CCF-A) Разрешенное моделирование диалога и семантический анализ для многообразования текста в SQL [Paper]

• (2021-Arxiv, нет) Обратите больше внимания на историю: стратегия моделирования контекста для разговорного текста в S-SQL [Paper] [CODE]

• (2021-ICLR, CCF-A) Оценка : предварительное обучение для представления контекста в разговорном семантическом анализе [Paper]

• (2021-DASFAA, CCF-B) Интерактивный подход NL2SQL с стратегией повторного использования [Paper]

• (2021-NAACL, CCF-B) Структурная предварительная подготовка для текста в SQL [Paper]

• (2021-EMNLP, CCF-B) PICARD : Диаграмм постепенно для ограниченного авторегрессивного декодирования из языковых моделей [Paper] [CODE]

• (2021-ICLR, CCF-A) GRAPPA : Грамматика-аугментированная предварительная тренировка для табличного семантического анализа [бумага] [код]

• (2021-ACL, CCF-A) LGESQL : Линейный график Улучшенный текст-кв.

• (2020-EMNLP, CCF-B) Создание текстовых и табличных данных для перекрестного доменного семантического анализа текста к SQL [Paper] [Код]

• (2020-ACL, CCF-A) Tabert : Предварительная подготовка для совместного понимания текстовых и табличных данных [Paper] [Code]

• (2020-ACL, CCF-A) RAT-SQL : схема с учетом отношений, кодирование и связывание для анализаторов текста к SQL [Paper] [CODE]

• (2020-Энмлп, CCF-B) Упомяните извлечение и связывание для генерации запросов SQL [Paper]

• (2020-EMNLP, CCF-B) IGSQL : На основе нейронной модели взаимодействия схемой схемы базы данных для контекста-зависимого генерации текста к SQL [Paper] [CODE]

• (2020-Arxiv, нет) Гибридная сеть ранжирования для текста до SQL [Paper] [Code]

• (2019-Arxiv, нет) x-sql : подкрепление схемы представления с контекстом [Paper]

• (2019-EMNLP, CCF-B) Глобальные рассуждения о структурах базы данных для анализа текста к SQL [Paper] [CODE]

• (2019-EMNLP, CCF-B) На основе редактирования SQL-запросов для междоменных контекста-зависимых вопросов [Paper] [CODE]

• (2019-ACL, CCF-A) Представление структуры схемы с нейронными сетями графиков для анализа текста к SQL [Paper] [CODE]

• (2019-ACL, CCF-A) к комплексному тексту к SQL в базе данных междоменного с промежуточным представлением [Paper] [CODE]

• (2018-EMNLP, CCF-B) SyntaxSQLnet : Синтаксические деревья сети для сложного и междоменного текста-к SQL Задача [Paper] [Code]

• (2018-NAACL, CCF-B) TIPESQL : Основанный на знаниях генерация нейронного текста Tyx-to-SQL [Paper] [CODE]

• (2017-Arxiv, нет) SQLnet : генерирование структурированных запросов из естественного языка без обучения подкрепления [Paper] [CODE]

Базовая модель

• Llama [Paper] [Code] [Модель]

  • 2023/02, Meta AI предлагает LLM LLAMA с открытым исходным кодом, который имеет четыре масштаба: 7B, 13B, 33B и 65B.

• Chatglm [Paper] [Code] [Модель]

  • 2023/03, Университет Цингхуа предлагает открытую двуязычную языковую модель Chatglm, основанную на основе модели общего языка, со спецификацией 7b.

• Alpaca [Paper] [Code] [Модель]

  • 2023/03, Стэнфордский университет предлагает Alpaca, изысканный LLM с открытым исходным кодом на основе модели Llama 7B. Существует 1 спецификация 7b, а обучение проще и дешевле.

• Vicuna [Paper] [Code] [Модель]

  • 2023/03, Университет Калифорнийского университета в Беркли, CMU и Стэнфордский университет, предлагают Vicuna, Open Souce LLM на основе модели LLAMA, есть две спецификации: 7B и 13B.

• Wizardlm [Paper] [Code] [Модель]

  • 2023/04, Пекинг Университет и Microsoft предлагают Wizardlm, LLM эволюционных инструкций, с тремя спецификациями 7b, 13b и 30b. 2023/06, они предлагают Wizardmath, LLM в области математики. 2023/08, они предлагают WizardCoder, LLM в области кода.

• Сокол [Paper] [Code] [Модель]

  • 2023/06, Объединенные Арабские Эмираты предлагают Falcon, LLM с открытым исходным кодом, обученный исключительно наборе данных RefinedWeb, с четырьмя спецификациями параметров 1B, 7B, 40B и 180B. Стоит отметить, что производительность на модели 40b превышает производительность 65b llama.

• Chatglm2 [Paper] [Code] [Модель]

  • 2023/06, Университет Цинхуа предлагает версию Chatglm второго поколения со спецификацией 7B, которая обладает более высокой производительности, более длительным контекстом, более эффективным выводом и более открытой лицензией.

• Baichuan-7b [code] [Модель]

  • 2023/06, Baichuan Intelligent Technology предлагает Baichuan-7b, крупномасштабную предварительно обученную языковую модель с открытым исходным кодом, основанную на архитектуре трансформатора, которая содержит 7 миллиардов параметров и обученная примерно 1,2 триллиона токенов. Он поддерживает как китайские, так и английские языки с длиной окна контекста 4096.

• Baichuan-13b [Code] [Модель]

  • 2023/07, Baichuan Intelligent Technology предлагает Baichuan-13b, коммерчески доступную крупномасштабную языковую модель с открытым исходным кодом, после Baichuan-7B, которая имеет две версии: предварительное обучение (Baichuan-13b-Base) и выравнивание (Baichuan -13b-чат).

• Internlm [Paper] [CODE] [Модель]

  • 2023/07, Shanghai AI Laboratory и Sensetime предлагают Internlm, который имеет модели с параметром параметров 7B и 20B и модели чата, адаптированные для практических сценариев и системы обучения.

• Llama 2 [Paper] [Код] [Модель]

  • 2023/07, Meta AI предлагает сериал LLAME второго поколения LLAMA LLAMA LLM LLAMA 2. По сравнению с LLAMA 1, данные обучения на 40% больше, а длина контекста удваивается. Модель имеет четыре спецификации: 7B, 13B, 34B и 70B, но 34B не является открытым исходным кодом.

• Код Llama [Paper] [Code] [Модель]

  • 2023/08, Meta AI предлагает код Llama, основанный на Llama 2. Code Llama достигает современной производительности среди открытых моделей на нескольких контрольных показателях кода. Существуют основные модели (код Llama), специализации Python (Code Llama - Python) и модели, посвященные инструкциям, с параметрами 7B, 13B и 34B каждый. 2024/01, Meta AI Open Sourced Codellama-70B, Codellama-70B-Python и Codellama-70B-Instruct.

• QWEN [Paper] [CODE] [Модель]

  • 2023/08, Alibaba Cloud предлагает 7B-параметровную версию крупной языковой серии моделей QWEN-7B (Abbr. Tongyi Qianwen), предварительно предварительно проведена на большом объеме данных, включая веб-тексты, книги, коды и т. Д. Получил две модели с QWEN-7B и QWEN-7B-Chat. 2023/09, Alibaba Cloud обновил QWEN-7B и QWEN-7B-чат и открытые источники QWEN-14B и QWEN-14B-чат. 2023.

• Baichuan 2 [Paper] [Code] [Модель]

  • 2023/09, Baichuan Intelligent Technology предлагает новому поколению крупных языковых моделей с открытым исходным кодом Baichuan 2, обученного высококачественному корпусу с токенами 2,6 трлн, который имеет базовые и чаты для 7b и 13b, и квантованная версия 4bits для версии для модель чата.

• Phi-1.5 [Paper] [Модель]

  • 2023/09, Microsoft Research предлагает модель PHI-1,5 с открытым исходным кодом, трансформатор с 1,3 млрд. Параметров, которая была обучена с использованием тех же источников данных, что и PHI-1, дополненный новым источником данных, который состоит из различных синтетических текстов NLP. При оценке против тестов, испытывающих здравый смысл, понимание языка и логические рассуждения, PHI-1,5 демонстрирует почти современную производительность среди моделей с менее чем 10 миллиардами параметров. 2023.

• MISTRAL-7B [Paper] [CODE] [Модель]

  • 2023/10 Компания Mistral-AI предлагает LLM с открытым исходным кодом LLM MiStral 7B, 7-биллионную модель языка, разработанную для превосходной производительности и эффективности. Mistral 7B превосходит лучшую модель Open 13b (Llama 2) по всем оцененным тестам, и лучшая выпущенная модель 34B (Llama 1) в рассуждениях, математике и генерации кода. Они также предоставляют модель, которая точно настроена, чтобы следовать инструкциям, Mistral 7B-инструктирование, которая превосходит модель Llama 2 13B-CHAT как по человеческим, так и по автоматическим критериям. 2023/12 ， Они предлагают с открытым исходным кодом LLM Mixtral-8x7b, предварительно предварительную генеративную разреженную смесь экспертов, которая превосходит Llama 2 70b на большинстве тестов.

• DeepSeek [Paper] [Code] [Модель]

  • 2023/11 компания Deepseek-AI предлагает открытый LLM LLM Deepseek, который был обучен с нуля на обширном наборе данных из 2 триллионов токенов как на английском, так и на китайском языке. Точно так же DeepSeek LLM в основном имеет две категории: базовый и чат, с двумя форматами параметров 7B и 67B соответственно. Данные из его статьи показывают, что DeepSeek LLM 67B превосходит Llama-2 70b по ряду контрольных показателей, особенно в доменах кода, математики и рассуждений. Кроме того, чат DeepSeek LLM 67B демонстрирует превосходную производительность по сравнению с GPT-3,5.

• Minicpm [Paper] [Code] [Модель]

  • 2024/02, Modelbest Inc. и Tsinghuanlp предлагают Minicpm с открытым исходным кодом, который представляет собой LLM с конечной стороной, с параметрами 2,4b, исключающих всаждения (всего 2,7 млрд). Стоит, чтобы Minicpm обладает очень близкой производительности по сравнению с Mistral-7B на общих тестах с открытым источником с лучшей способностью к китайской, математике и кодированию после SFT. Общая производительность превышает Llama2-13B, MPT-30B, Falcon-40B и т. Д.

• Mixtral-8x22b [Paper] [Code] [Модель]

  • 2024/04, Mistral AI предложил новейшую модель Open Mixtral 8x22b. Он устанавливает новый стандарт для производительности и эффективности в сообществе ИИ. Это редкая модель смеси экспертов (SMOE), которая использует только 39B активные параметры из 141B, предлагая непревзойденную экономическую эффективность для его размера.

• PHI-3 [Paper] [Модель]

  • 2024/04, Microsoft предложила модели PHI-3, которые являются наиболее способными и экономически эффективными для малых языковых моделей (SLMS), превосходя модели того же размера и следующий размер в различных языках, рассуждениях, кодировании и Математические тесты. Phi-3-Mini доступен в двух контекстных вариантах-токенах 4K и 128K. Это первая модель в своем классе, поддерживающая контекстное окно до 128 тысяч токенов, мало влияя на качество. Phi-3-Small (7b) и Phi-3-Medium (14b) будут доступны в каталоге моделей Azure AI и в других модельных садах.

• Llama 3 [Paper] [Код] [Модель]

  • 2024/04, Meta AI предложила серию Llama третьего поколения Llama Llama LlaMa Llame Lalk Llama 3. Модель имеет 2 спецификации параметров, 8B и 70B, с базовыми и инструкционными версиями соответственно. Увлекательно, модели Llama 3 являются серьезным скачком по Llama 2 и устанавливают новый современный для моделей LLM в этих масштабах.

• QWEN-1.5-110B [Paper] [CODE] [Модель]

  • 2024/04, Alibaba Cloud предложила первую модель 100B+ серии QWEN1.5, QWEN1.5-110B, которая достигает сопоставимой производительности с Meta-Llama3-70B в оценке базовой модели и выдающейся производительности в оценке чата, включая Mt Mt. -Бенч и альпакаэваль 2.0. QWEN1.5 является бета -версией QWEN2, которая имеет 9 размеров модели, в том числе 0,5B, 1,8B, 4B, 7B, 14B, 32B, 72B и 110B, плотные модели, и модель MOE 14B с активированной 2,7B.

• QWEN2 [Paper] [CODE] [Модель]

  • 2024/06, Alibaba Cloud предложила эволюцию от QWEN1.5 до QWEN2, который имеет 5 размеров модели, включая QWEN2-0,5B, QWEN2-1,5B, QWEN2-7B, QWEN2-57B-A14B и QWEN2-72B. QWEN2-72B демонстрирует превосходную производительность по сравнению с ведущими моделями, такими как Llama-3-70B. Примечательно, что он превосходит производительность своего предшественника, QWEN1.5-110B, несмотря на то, что имеет меньше параметров.

• Llama 3.1 [Paper] [Код] [Модель]

  • 2024/07, Meta AI предложила Llama 3.1 405b, которая является первой открыто доступной моделью, которая конкурирует с лучшими моделями ИИ, когда речь идет о самых современных возможностях в общих знаниях, управляемости, математике, использовании инструментов и многоязычной перевод. В рамках этого последнего выпуска они представляют обновленные версии моделей 8B и 70B. Они являются многоязычными и имеют значительно более длительную длину контекста 128 тыс., Современное использование инструмента и общие возможности рассуждения.

• QWEN2.5 [Paper] [CODE] [Модель]

  • 2024/09, Alibaba Cloud предложил последнее дополнение к семейству QWEN: QWEN2.5, а также специализированные модели для кодирования, QWEN2.5-Coder и Mathematics, QWEN2,5-Math. Все модели с открытым весом представляют собой плотные языковые модели только для декодеров, доступные в различных размерах, в том числе: QWEN2,5 (0,5B, 1,5B, 3B, 7B, 14B, 32B и 72B), QWEN2,5-кодер (1,5. B, 7b и 32b на пути) и QWEN2,5-Math (1,5b, 7b и 72b). Они оценивали свою крупнейшую модель с открытым исходным кодом, QWEN2.5-72B-инстакструктуру против ведущих моделей с открытым исходным кодом, таких как Llama-3.1-70B-Instrct и Mistral-Large-V2-объект, и достигли наилучших результатов в нескольких показателях.

• Llama 3.2 [Paper] [Код] [Модель]

  • 2024/09, Meta AI предложила Llama 3.2, которая включает в себя LLMS Smale и среднего звена (11b и 90b), а также легкие модели только для текста (1b и 3b), которые подходят на края и мобильные устройства, включая предварительно обученные и настраиваемые инструкции. Модели Llama 3.2 1B и 3B поддерживают длину контекста 128K токенов и являются современными в своем классе для вариантов использования на грани, таких как суммирование, инструкция и задачи переписывания локально на грани. Эти модели включены в первый день для Qualcomm и MediaTek Adware и оптимизированы для процессоров ARM.

Тонкая настройка

• P-Tuning [Paper] [Код]

  • 2021/03, Университет Цингхуа и другие предлагают P-Tuning, метод тонкой настройки для LLM, который использует обучение непрерывной оперативной встраивании слов для снижения стоимости тонкой настройки.

• Lora [Paper] [Код]

  • 2021/06, Microsoft предлагает метод адаптации с низким уровнем ранга для тонкой настройки LLM, замораживая веса до тренировок.

• P-Tuning v2 [Paper] [Код]

  • 2021/10, Университет Цингхуа предлагает P-Tuning V2, улучшенную версию P-Tuning с лучшей производительностью.

• Rlhf [Paper] [Код]

  • 2022.

• RRHF [Paper] [Код]

  • 2023/04, Alibaba предлагает новую парадигму обучения под названием RRHF (ранг ответов на выравнивание языковых моделей с отзывом человека без слез), которую можно легко настроить, так же, как и точная настройка, и достичь аналогичных результатов, как PPO в наборе HH.

• Qlora [Paper] [Код]

  • 2023/05, Вашингтонский университет предлагает метод Qlora, основанный на модели замороженной 4-битной квантования в сочетании с обучением методом LORA, что еще больше снижает стоимость точной настройки.

• RLTF [Paper] [Код]

  • 2023/07, Tencent предлагает RLTF (обучение подкреплению из обратной связи с модуль-тестированием), новой онлайн-платформы RL с обратной связью с модульной тестированием мульти-гранулярности для уточнения кода LLMS.

• Rrtf [бумага]

  • 2023/07, Huawei предлагает RRTF (ранг ответов на Align Test & обратную связь с учителями). По сравнению с RLHF, RRHF может эффективно выравнивать вероятности вывода языковой модели с человеческими предпочтениями, причем только 1-2 модели требуется в течение периода настройки, и это проще, чем PPO с точки зрения реализации, настройки гиперпараметров и обучения.

• Rlaif [бумага]

  • 2023/09, Google предлагает RLAIF (RL от обратной связи с ИИ), методику, в которой предпочтения помечены готовым LLM вместо людей. Они считают, что методы RLHF и RLAIF достигают аналогичных результатов по задаче суммирования.

? Набор данных

• Wikisql [Paper] [Code] [DataSet]

  • 2017/09, Salesforce предлагает большой набор данных Text-Sql Wikisql, данные поступают из Википедии, который принадлежит к одному домену, содержит 80 654 вопросов естественного языка и 77 840 кв. Форма операторов SQL относительно проста и не включает в себя сортировку, группировку и подразделы и другие сложные операции.

• Spider 1.0 [Paper] [Code] [Набор данных]

  • В 2018/09 году Йельский университет предлагает паук данных Text-SQL с несколькими базами данных, несколькими таблицами и одноустроенным запросом. Он также признан наиболее сложным крупномасштабным списком оценки междомена в отрасли. Он содержит 10 181 вопроса о естественном языке и 5693 заявления SQL. Включая более 200 баз данных в 138 различных областях, уровень сложности делится на: легкий, средний, трудный и чрезвычайно сложный. 2024/02, Yale University открыл тестовый сборник лидеров Spider 1.0, и в марте они откроют набор данных Spider 2.0.

• Sparc [paper] [code] [набор данных]

  • 2019/06, Йельский университет предлагает большой набор набора данных для сложного, междоменного и контексту-зависимого (многовороткового) семантического анализа и задачи текста-кв. С SQL -запросами, аннотированными 14 студентами YALE), полученными от пользовательских взаимодействий с 200 сложными базами данных более 138 доменов.

• Cspider [Paper] [Code] [DataSet]

  • 2019/09, Университет Университета Уэстлейка продуцирует большой китайский набор данных CSPIDER для сложного и междоменного семантического анализа и задачи текста в SQL, переведенный из паука 2 исследователями NLP и 1 студента по компьютерным наукам, который состоит из 10 181 вопроса и 5693 уникальных комплекса. SQL -запросы на 200 базах данных с несколькими таблицами, охватывающими 138 различных доменов.

• Cosql [paper] [code] [набор данных]

  • 2019/09, Йельские университеты и исследования Salesforce предлагают междоменную базу данных COSQL, которая состоит из 30-километровых оборотов плюс 10K+ аннотированных запросов SQL, полученных из коллекции Wizard-of-oz (WOZ) из 3K диалоговых запросов. Полем

• TableQA [Paper] [Набор данных]

  • 2020/06, Zhuiyi Technology предлагает крупномасштабный перекрестный естественный язык для наборов данных SQL на китайском языке, состоящем из 64 891 вопроса и 20 311 уникальных запросов SQL на более чем 6000 таблиц.

• Dusql [Paper] [Набор данных]

  • 2020/11, Baidu предлагает набор данных по масштабе и прагматичный китайский набор данных Dusql для задачи по перекрестному домену текста-тоскл, содержащей 200 баз данных, 813 таблиц и 23 797 пары вопросов/SQL.

• Kaggledbqa [Paper] [Code] [DataSet]

  • 2021/06, Университет Вашингтона и Microsoft Research предлагают Kaggledbqa, набор данных по междоменной оценке реальных веб-баз данных с типами данных, специфичными для домена, исходным форматированием и неограниченными вопросами. Он включает 272 примера в 8 базах данных, в среднем 2,25 таблиц на базу данных. Набор данных примечателен своими реальными источниками данных, средами для создания естественных вопросов и документацией базы данных с богатыми знаниями в области. Ключевая статистика: 8,7%, где положения, 73,5% Val, 24,6% выбирают и не выбирают 6,8%.

• Chase [Paper] [Code] [Набор данных]

  • 2021/08, Университет Xi'an Jiaotong и Microsoft предлагают первый китайский набор данных с несколькими раундами, который содержит список из 5459 многоуровневых вопросов и 17940 <Запрос, SQL> Бинарные группы.

• Bird-Sql [Paper] [Code] [DataSet]

  • 2023/05 Университет Гонконга и Алибаба предлагают крупномасштабную птицу набора данных междоменного набора данных, которая содержит более 12 751 уникальных пары вопросов, 95 больших баз данных с общим размером 33,4 ГБ. Он также охватывает более 37 профессиональных областей, таких как блокчейн, хоккей, здравоохранение и образование и т. Д.

• Bird-SQL Mini-Dev [Paper] [Code] [Набор данных]

  • 2024/06, сотрудничество между Университетом Гонконга и Alibaba продолжается с выпуском Mini-Dev Bird-SQL, версии их набора данных о разработке, предназначенной для эффективного и экономически эффективного тестирования модели SQL. Этот набор данных компилирует 500 высококачественных пар 2SQL из 11 различных баз данных и поддерживает форматы MySQL и PostgreSQL. Он показывает введение двух новых показателей оценки: достоверная оценка эффективности на основе вознаграждений (R-V-VES) и мягкий F1-показатель, как в настоящее время в бета-версии, так и специально разработанные для повышения точности и эффективности моделей Text-SQL в настройка разработки.

• Spider 2.0 [Paper] [Code] [Набор данных]

  • 2024/08, Spider 2.0, предложенный XLANG AI, служит расширенной структурой оценки для задач текста-кв. Он содержит 600 сложных задач текста до SQL, полученные из различных вариантов использования базы данных предприятий. Набор данных включает в себя базы данных, полученные из реальных приложений данных, часто содержащих более 1000 столбцов, и хранятся в облачных или локальных системах, таких как BigQuery, Snowflake или PostgreSQL. Проблемы в Spider 2.0 требуют понимания и поиска через метаданные базы данных, диалектную документацию и кодовые базы уровня проекта. Проблемы включают обработку длинных контекстов, выполнение сложных рассуждений и создание нескольких запросов SQL с различными операциями, часто превышающими 100 линий. Текущие современные модели, такие как GPT-4, решают только 6,0% вопросов, выделяя сложность набора данных и необходимость более продвинутых, автономных кодовых агентов на основе LLM.

? Индекс оценки

• Точность исполнения (Ex) [Paper]

  • Определение: Рассчитайте долю правильного количества результатов выполнения SQL в наборе данных, и результат может быть переоценен.

• Точное совпадение (EM) [бумага]

  • Определение: Рассчитайте степень сопоставления между SQL, сгенерированным моделью и отмеченным SQL, и результат может быть недооценен.

? Библиотеки

• Mindsql

  • MindSQL-это библиотека Python Rag (поиск-аугментированное поколение), предназначенная для оптимизации взаимодействия между пользователями и их базами данных, используя всего несколько строк кода. Благодаря бесшовной интеграции для известных баз данных, таких как PostgreSQL, MySQL и SQLite, MindSQL также расширяет свои возможности на основные базы данных, такие как Snowflake и BigQuery, расширяя основной класс. В библиотеке используются крупные языковые модели (LLM), такие как GPT-4, Llama 2, Google Gemini, и поддерживает базы знаний, такие как Chromadb и Fais

• PREMSQL

  • PREMSQL - это легкая библиотека, которая направлена ​​на предоставление модульных и расширяемых инструментов для естественного языка для приложений SQL. Это поможет разработчикам создать более управляемые растворы на основе различных баз данных. Он стремится предложить инструменты для оценки, тонкой настройки, разъемов и агентских рамок. PREMSQL также предлагает PREM-1B-SQL A 1B-текст для модели SQL с 51,54 % на частном тесте BirdBench. Это супер -легкий вес и работает для полностью локального текста для поколения SQL.

? Практический проект

• DB-GPT-Hub

  • Организация Eosphoros предлагает проект с открытым исходным кодом, ориентированный на точную настройку текста в SQL на основе LLM, включая крупномасштабную загрузку модели, предварительную обработку наборов данных, технологии тонкой настройки, такие как Lora и Qlora, прогноз модели, оценка модели и другие шаги Полем

• SQLCODER

  • Организация DeFog предлагает расширенный LLM Text-Sql, который обладает выдающейся производительностью и лучше, чем GPT3.5, WizardCoder и StarCoder и т. Д., Употечный только GPT4.

• MODAL_FINETUNE_SQL

  • Этот проект основан на модели Llama 2 7b для точной настройки текста в SQL, которая включает в себя полную подготовку, тонкую настройку и процесс оценки.

• Лама-эффективная настройка

  • Легко в использовании LLM Fine-Muning Framework (Llama-2, Bloom, Falcon, Baichuan, Qwen, CHAT

? Цитирование

Если вы найдете Text2SQL полезным для исследования или разработки, пожалуйста, укажите следующую статью:

 @misc { zhou2024dbgpthub ,
      title = { DB-GPT-Hub: Towards Open Benchmarking Text-to-SQL Empowered by Large Language Models } , 
      author = { Fan Zhou and Siqiao Xue and Danrui Qi and Wenhui Shi and Wang Zhao and Ganglin Wei and Hongyang Zhang and Caigai Jiang and Gangwei Jiang and Zhixuan Chu and Faqiang Chen } ,
      year = { 2024 } ,
      eprint = { 2406.11434 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { id='cs.DB' full_name='Databases' is_active=True alt_name=None in_archive='cs' is_general=False description='Covers database management, datamining, and data processing. Roughly includes material in ACM Subject Classes E.2, E.5, H.0, H.2, and J.1.' }
}

? Дружеские ссылки

• Эосфорос

  • Они являются командой энтузиастов технологий от интернет -компаний и аспирантов НЛП, которые увлечены проектами с открытым исходным кодом. Они сосредоточены на разработке решений, которые защищают конфиденциальность и безопасность баз данных и крупных языковых моделей. Их цель - обеспечить, чтобы способности этих моделей оставались абсолютно частными, безопасными и под контролем.

• Потрясающие точки зрения

  • Удивительные учебные пособия AIGC содержат кураторскую коллекцию учебных пособий и ресурсов, охватывающих большие языковые модели, живопись ИИ и связанные с ними поля. Откройте для себя углубленные идеи и знания, которые обслуживают как начинающих, так и для продвинутых энтузиастов ИИ.