Inicio>Relacionado con la programación>Otro código fuente
Descargar

Impresionante text2sql ???

Inglés |中文版| Papel

Tutoriales y recursos curados para modelos de idiomas grandes, Text2SQL, Text2DSL, Text2API, Text2Vis y más.

? Cómo contribuir

Agradecemos calurosamente las contribuciones de todos, ya sea que haya encontrado un error tipográfico, un error, tenga una sugerencia o deseamos compartir un recurso relacionado con LLM+Text2SQL. Para obtener pautas detalladas sobre cómo contribuir, consulte nuestro archivo contribuyente.md.

? Tabla de clasificación

Wikisql Araña
Partido exacto (EM)		 Araña
Ejecución exacta (ex)		 PÁJARO
Puntuación de eficiencia válida basada en recompensas (R-Ves)		 PÁJARO
Precisión de la ejecución (ex)
? 1 93.0
(2021/05-SEAD+decodificación guiada por ejecución)		 81.5
(2023/11-Miniseek)		 91.2
(2023/11-Miniseek)		 69.36
(2024/08-OpenSearch-SQL, V2 + GPT-4O)		 73.00
(2024/09-Chase-SQL + Géminis)
? 2 92.7
(2021/03-SDSQL+decodificación guiada por ejecución)		 74.0
(2022/09-Graphix-3b + Picard)		 86.6
(2023/08-DAIL-SQL + GPT-4 + autoconsistencia)		 68.79
(2024/08-Exsl + Granite-34b-código)		 72.39
(2024/09-Askdata + GPT-4O)
? 3 92.5
(2020/11-II-SQL+decodificación guiada por ejecución)		 73.9
(2022/09-CATSQL + GRAPPA)		 86.2
(2023/08-Dail-SQL + GPT-4)		 68.44
(2024/09-Chase-SQL + Géminis)		 72.28
(2024/08-OpenSearch-SQL, V2 + GPT-4O)
4 92.2
(2020/03-Hydranet+decodificación guiada por ejecución)		 73.1
(2022/09-Sport + Picard)		 85.6
(2023/10-DPG-SQL + GPT-4 + autocorrección)		 67.41
(2024/07-Distillería + GPT-4O)		 71.83
(2024/07-Distillería + GPT-4O)
5 91.9
(Decodificación guiada por ejecución 2020/12 puentes)		 72.9
(2022/05-g³r + lgesql + electra)		 85.3
(2023/04-Din-SQL + GPT-4)		 66.92
(2024/09-Askdata + GPT-4O)		 70.37
(2024/08-Exsl + Granite-34b-código)
6 91.8
(2019/08-x-sql+decodificación guiada por ejecución)		 72.4
(2022/08-ResDSQL+T5-1.1-LM100K-XL)		 83.9
(Cadena de pensamiento 2023/07 Hindsight con GPT-4)		 66.39
(2024/08-Insights AI)		 70.26
(2024/08-Insights AI)
7 91.4
(2021/03-SDSQL)		 72.4
(2022/05-T5-SR)		 82.3
(2023/06-c3 + chatgpt + shot cero)		 66.25
(2024/05-EXSL + Código de granito-20B)		 70.21
(2024/07-Purple + rojo + GPT-4O）
8 91.1
(2020/12 puente)		 72.2
(Lista 2022/12-N-mejor Rerankers + Picard)		 80.8
(Cadena de pensamiento 2023/07 Hindsight con GPT-4 e instrucciones)		 65.70
(2024/07-Recap + Géminis)		 69.03
(2024/07-Recap + Géminis)
9 91.0
(2021/04-text2sqlgen + eg)		 72.1
(2021/09-s²SQL + Electra)		 79.9
(2023/02-ResDSQL-3B + NATSQ)		 65.62
(2024/07-Purple + rojo + GPT-4O）		 68.87
(2024/07 bytebrain)
10 90.5
(2020/11-seqgensql+eg)		 72.0
(2023/02-ResDSQL-3B + NATSQL)		 78.5
(2022/11-SEAD + PQL)		 63.68
(2024/08-Arcwise + GPT-4O）		 67.86
(2024/05-EXSL + Código de granito-20B)

Contenido

  • Impresionante text2sql ???
    • ? Cómo contribuir
    • ? Tabla de clasificación
    • Contenido
    • Introducción
    • Encuesta
    • Modelo clásico
    • Modelo base
    • Sintonia FINA
    • ? Conjunto de datos
    • ? Índice de evaluación
    • ? Bibliotecas
    • ? Proyecto de práctica
    • ? Citación
    • ? Enlaces de amistad

Introducción

  • Text-to-SQL (o Text2SQL), como el nombre lo indica, es convertir el texto en SQL. Una definición más académica es convertir los problemas de lenguaje natural en el campo de la base de datos en lenguajes de consulta estructurados que se pueden ejecutar en bases de datos relacionales. Por lo tanto, el texto a SQL también se puede abreviar como NL2SQL.
    • Entrada: Preguntas del lenguaje natural, como " consulta la información relevante de la tabla T_user, y los resultados se ordenan en orden descendente por ID, y solo se mantienen los primeros 10 datos".
    • Salida: SQL, como " Seleccionar * del orden T_user por ID DESC Límite 10 "

Encuesta

  • (2024-ARXIV) De lenguaje natural al SQL: revisión de sistemas de texto a SQL basados ​​en LLM [documento]

  • (2024-ARXIV) Modelo de lenguaje grande Mejorado a la generación de texto a SQL: una encuesta [documento]

  • (2024-ARXIV) Una encuesta de NL2SQL con modelos de idiomas grandes: ¿Dónde estamos y a dónde vamos? [documento] [código]

  • (2024-ARXIV) Una encuesta sobre el empleo de modelos de idiomas grandes para tareas de texto a SQL [documento]

  • (2023-VLDB, CCF-A） Una encuesta sobre enfoques de aprendizaje profundo para texto a SQL [documento]

  • (2022-TKDE, CCF-A) Una encuesta sobre análisis de texto a SQL: conceptos, métodos e direcciones futuras [documento]

  • (2022-coloing, CCF-B) Avances recientes en texto a SQL: una encuesta de lo que tenemos y lo que esperamos [papel]

  • (2022-ARXIV) TEXTO DE IDIGLES NATURALES DE APRENDIZAJE DEL APRENDIZAJE A CONVERSIÓN DE CONSULTA DE SQL: Una encuesta [documento]

Modelo clásico

  • (2024-ARXIV, Ninguno) Chase-SQL : selección de candidatos optimizado de razonamiento y preferencia de múltiples rutas en texto a SQL [documento]

  • (2024-ARXIV, NINGUNO) E-SQL : enlace de esquema directo a través del enriquecimiento de preguntas en texto a SQL [documento] [código]

  • (2024-ARXIV, NINGUNO) Destilería : ¿la muerte del esquema vinculado? Texto a SQL en la era de los modelos de idiomas bien razonados [papel]

  • (2024-ARXIV, NINGUNO) DB-GPT-HUB : hacia Benchmarking Open Benchmarking a SQL Empoderado por modelos de idiomas grandes [documento] [Código]

  • (2024-ARXIV, NINGUNO) SuperSQL : El amanecer del lenguaje natural a SQL: ¿Estamos completamente listos? [documento] [código]

  • (2024-ARXIV, NINGUNO) Ajedrez : arnés contextual para una síntesis de SQL eficiente [documento] [código]

  • (2023-ARXIV, NINGUNO) MAC-SQL : un marco colaborativo de múltiples agentes para texto a SQL [documento] [código]

  • (2023-ARXIV, NINGUNO) DBCᴏᴘɪʟᴏᴛ : Escala de consulta de lenguaje natural a bases de datos masivas [documento] [código]

  • (2023-ARXIV, NINGUNO) TEXTO A SQL ENFORMADO POR MODELOS DE LENGUA GRANDE: una evaluación de referencia [documento] [código]

  • (2023-AAAI 2023, CCF-A) RessQL : enlace de esquema de desacoplamiento y análisis de esqueleto para texto a SQL [papel] [código]

  • (2023-ARXIV, ninguno) ¿LLM ya puede servir como interfaz de base de datos? Un gran banco para la base de datos a gran escala de texto a SQLS [documento] [Código]

  • (2023-ARXIV, NINGUNO) DIN-SQL : aprendizaje en contexto descompuesto de texto a SQL con autocorrección [documento] [código]

  • (2023-ARXIV, NINGUNO) Una evaluación integral de la capacidad de texto de texto cero de chatgpt [documento] [código]

  • (2023-ICLR, CCF-A) Modelos de lenguaje vinculante en lenguajes simbólicos [documento] [código]

  • (2023-SIGMOD, CCF-A) Traducción de texto a SQL de pocos disparos utilizando estructura y aprendizaje indicador de contenido [documento] [código]

  • (2023-ICASSP, CCF-B) T5-SR : una estrategia de decodificación SEQ-to-seq unificada para el análisis semántico [documento]

  • (2022-ACL, CCF-A) S 2 SQL : inyectando sintaxis al codificador de gráfico de interacción de preguntas de preguntas para analizadores de texto a SQL [papel]

  • (2022-NAACL, CCF-B) SEAD : Generación de texto a SQL de extremo a extremo con Denoising [documento] de extremo a SQL

  • (2022-EMNLP, CCF-B) Estrella : pre-entrenamiento guiado SQL para el análisis de texto a SQL dependiente del contexto [documento] [código]

  • (2022-EMNLP, CCF-B) RASAT : Integración de estructuras relacionales en el modelo SEQ2SEQ previamente pretrado para Text-to SQL [Paper] [Código]

  • (2022-EMNLP, CCF-B) CQR-SQL : reformulación de preguntas conversacionales mejoradas de texto a SQL dependiente del contexto [documento]

  • (2022-ACL, CCF-A) HIE-SQL : Información de la historia mejorada Network para el análisis semántico de texto a SQL dependiente del contexto [documento]

  • (2022-ARXIV, Ninguno) Importancia de sintetizar datos de alta calidad para el análisis de texto a SQL [documento]

  • (2021-ACL, CCF-A) Modelado de diálogo desacoplado y análisis semántico para texto múltiple a SQL [papel]

  • (2021-ARXIV, Ninguno) Preste más atención a la historia: una estrategia de modelado de contexto para texto de conversación a SQL [documento] [código]

  • (2021-ICLR, CCF-A) Puntuación : pretruento para la representación del contexto en el análisis semántico conversacional [documento]

  • (2021-DASFAA, CCF-B) Un enfoque interactivo NL2SQL con estrategia de reutilización [documento]

  • (2021-NAACL, CCF-B) Pretratenamiento fundamentado para la estructura para texto a SQL [papel]

  • (2021-EMMNLP, CCF-B) Picard : análisis de forma incremental para una decodificación automática restringida de los modelos de idioma [papel] [código]

  • (2021-ICLR, CCF-A) GRAPPA : pretruento de gramática-acoplada para el análisis semántico de tabla [documento] [código]

  • (2021-ACL, CCF-A) LGESQL : Modelo de texto a SQL mejorado de gráfico de línea con relaciones locales y no locales mixtas [documento] [código]

  • (2020-EMMNLP, CCF-B) Datos textuales y tabulares de puente para el análisis semántico de texto de dominio a SQL [documento] [código]

  • (2020-ACL, CCF-A) Tabert : Pretronamiento para la comprensión conjunta de datos textuales y tabulares [documento] [Código]

  • (2020-ACL, CCF-A) RAT-SQL : Codificación de esquema de relación y vinculación para analizadores de texto a SQL [documento] [código]

  • (2020-EMNLP, CCF-B) Mencione extracción y enlace para la generación de consultas SQL [documento]

  • (2020-EMNLP, CCF-B) IGSQL : Modelo neural basado en gráficos de interacción de esquema de base de datos para generación de texto a SQL dependiente del contexto [papel] [código]

  • (2020-ARXIV, Ninguno) Red de clasificación híbrida para texto a SQL [documento] [código]

  • (2019-ARXIV, NINGUNO) X-SQL : Reforzar la representación del esquema con contexto [documento]

  • (2019-EMNLP, CCF-B) Razonamiento global sobre estructuras de bases de datos para análisis de texto a SQL [documento] [código]

  • (2019-EMNLP, CCF-B) Generación de consultas SQL basada en la edición para preguntas dependientes del contexto del dominio entre dominios [documento] [Código]

  • (2019-ACL, CCF-A) que representa la estructura de esquema con redes neuronales gráficas para análisis de texto a SQL [papel] [código]

  • (2019-ACL, CCF-A) hacia el texto complejo a SQL en la base de datos de dominio cruzado con representación intermedia [documento] [código]

  • (2018-EMNLP, CCF-B) Syntaxsqlnet : Networks de árbol de sintaxis para tarea compleja y de intermedimiento cruzado a SQL [documento] [código]

  • (2018-NAACL, CCF-B) TIPOSQL : Generación de texto neuronal a SQL basado en el conocimiento [documento] [Código]

  • (2017-ARXIV, NINGUNO) SQLNET : Generación de consultas estructuradas del lenguaje natural sin aprendizaje de refuerzo [papel] [código]

Modelo base

  • Llama [documento] [código] [modelo]

    • 2023/02, Meta AI propone el LLM LLMA LLM, que tiene cuatro escalas: 7b, 13b, 33b y 65b.

  • Chatglm [papel] [código] [modelo]

    • 2023/03, la Universidad de Tsinghua propone el modelo de lenguaje bilingüe abierto Chatglm, basado en el marco del modelo de idioma general, con la especificación de 7B.

  • Alpaca [Paper] [Código] [Modelo]

    • 2023/03, la Universidad de Stanford propone Alpaca, un código abierto LLM ajustado basado en el modelo LLAMA 7B. Hay 1 especificación de 7b, y el entrenamiento es más simple y más barato.

  • Vicuna [documento] [código] [modelo]

    • 2023/03, Universidad de UC Berkeley, CMU y la Universidad de Stanford proponen Vicuna, un Souce LLM abierto basado en el modelo LLAMA, tiene dos especificaciones: 7b y 13b.

  • Wizardlm [documento] [código] [modelo]

    • 2023/04, la Universidad de Pekín y Microsoft propone Wizardlm, un LLM de instrucciones evolutivas, con tres especificaciones de 7b, 13b y 30b. 2023/06, proponen Wizardmath, un LLM en el campo de las matemáticas. 2023/08, proponen WizardCoder, un LLM en el campo del código.

  • Falcon [Paper] [Código] [Modelo]

    • 2023/06, los Emiratos Árabes Unidos proponen a Falcon, un LLM de código abierto entrenado únicamente en conjuntos de datos refinados, con cuatro especificaciones de parámetros de 1b, 7b, 40b y 180b. Vale la pena señalar que el rendimiento en el Modelo 40B excede el de 65B Llama.

  • Chatglm2 [papel] [código] [modelo]

    • 2023/06, la Universidad de Tsinghua propone la versión de segunda generación de ChatGLM, con la especificación de 7B, que tiene un rendimiento más fuerte, un contexto más largo, una inferencia más eficiente y una licencia más abierta.

  • Baichuan-7b [código] [modelo]

    • 2023/06, Baichuan Tecnología inteligente propone el Baichuan-7b, un modelo de lenguaje previamente capacitado a gran escala de código abierto basado en la arquitectura del transformador, que contiene 7 mil millones de parámetros y entrenado en aproximadamente 1.2 billones de tokens. Apoya los idiomas chinos e ingleses con una longitud de la ventana de contexto de 4096.

  • Baichuan-13b [código] [modelo]

    • 2023/07, la tecnología inteligente de Baichuan propone el Baichuan-13b, un modelo de lenguaje a gran escala de código abierto, disponible comercialmente, siguiendo a Baichuan-7B, que tiene dos versiones: pretracavamiento (Baichuan-13B-Base) y alineación (Baichuan -13b-chat).

  • Internlm [Paper] [Código] [Modelo]

    • 2023/07, Shanghai AI Laboratory and Sensretime propone el Internlm, que ha de código abierto un modelos base de parámetros y 20B y modelos de chat adaptados para escenarios prácticos y el sistema de entrenamiento.

  • Llama 2 [Paper] [Código] [Modelo]

    • 2023/07, Meta AI propone la serie LLAMA de segunda generación LLM LLAMA 2. En comparación con Llama 1, los datos de entrenamiento son 40% más, y la longitud de contexto se duplica. El modelo tiene cuatro especificaciones: 7b, 13b, 34b y 70b, pero 34B no es de código abierto.

  • Code Llama [Paper] [Código] [Modelo]

    • 2023/08, Meta AI propone Code Llama, basado en Llama 2. Code Llama alcanza el rendimiento de vanguardia entre los modelos abiertos en varios puntos de referencia de código. Hay modelos de base (Code Llama), especializaciones de Python (Code Llama - Python) y modelos de seguimiento de instrucciones, con parámetros 7B, 13B y 34B cada uno. 2024/01, Meta AI Open Codellama-70B, Codellama-70B-Python y Codellama-70B-Instructo.

  • Qwen [documento] [código] [modelo]

    • 2023/08, Alibaba Cloud propone la versión 7B-Parameter de la serie de modelos de lenguaje grande QWEN-7B (ABBR. Tongyi Qianwen), está previamente previamente practicante en un gran volumen de datos, incluidos textos web, libros, códigos, etc., que ha abierto obtuvo dos modelos con QWEN-7B y QWEN-7B-CHAT. 2023/09, Alibaba Cloud actualizó el QWEN-7B y QWEN-7B-CHAT y abierto QWEN-14B y QWEN-14B-CHAT. 2023/11, abren de origen QWEN-1.8B, QWEN-1.8B-CHAT, QWEN-72B y QWEN-72B-CHAT.

  • Baichuan 2 [Paper] [Código] [Modelo]

    • 2023/09, la tecnología inteligente de Baichuan propone la nueva generación de modelos de idiomas grandes de código abierto Baichuan 2, entrenado en un corpus de alta calidad con tokens de 2.6 billones de billones, que tiene versiones base y de chat para 7B y 13B, y una versión cuantificada de 4bits para el modelo de chat.

  • Phi-1.5 [Documento] [Modelo]

    • 2023/09, Microsoft Research propone el modelo de lenguaje de código abierto Phi-1.5, un transformador con 1.3 mil millones de parámetros, que se capacitó utilizando las mismas fuentes de datos que PHI-1, aumentada con una nueva fuente de datos que consiste en varios textos sintéticos de PNL. Cuando se evalúa contra puntos de referencia que prueban el sentido común, la comprensión del lenguaje y el razonamiento lógico, PHI-1.5 demuestra un rendimiento casi de última generación entre modelos con menos de 10 mil millones de parámetros. 2023/12, proponen PHI-2, un modelo de lenguaje de 2.7 mil millones de parámetros que demuestra capacidades sobresalientes de razonamiento y comprensión del lenguaje, que muestra el rendimiento de última generación entre modelos de lenguaje base con menos de 13 mil millones de parámetros.

  • Mistral-7B [Paper] [Código] [Modelo]

    • 2023/10, Mistral-AI Company propone el código abierto LLM Mistral 7b, un modelo de lenguaje de 7 billones de parámetros diseñados para un rendimiento y eficiencia superiores. Mistral 7B supera al mejor modelo 13B abierto (LLAMA 2) en todos los puntos de referencia evaluados, y el modelo 34B mejor lanzado (LLAMA 1) en razonamiento, matemáticas y generación de códigos. También proporcionan un modelo ajustado para seguir las instrucciones, Mistral 7b-Instruye, que supera el modelo de Llama 2 13B-Chat tanto en puntos de referencia humanos como automatizados. 2023/12, proponen el código abierto LLM Mixtral-8x7b, una mezcla de expertos generativa de expertos en la mayoría de los puntos de referencia.

  • Deepseek [documento] [código] [modelo]

    • 2023/11, Deepseek-AI Company propone el código abierto LLM Deepseek, que ha sido entrenado desde cero en un vasto conjunto de datos de 2 billones de tokens en inglés y chino. Del mismo modo, el Deepseek LLM tiene dos categorías: base y chat, con dos formatos de parámetros de 7b y 67b respectivamente. Los datos de su artículo muestran que Deepseek LLM 67B supera a Llama-2 70B en una gama de puntos de referencia, especialmente en los dominios del código, las matemáticas y el razonamiento. Además, Deepseek LLM 67B Chat exhibe un rendimiento superior en comparación con GPT-3.5.

  • Minicpm [documento] [código] [modelo]

    • 2024/02, ModelBest Inc. y TsinghuanLP proponen el MinicPM de código abierto, que es un LLM del lado final, con solo 2.4B parámetros excluyendo incrustaciones (2.7B en total). Vale la pena que MinicPM tenga un rendimiento muy cercano en comparación con Mistral-7B en puntos de referencia generales de código abierto con una mejor habilidad en chino, matemáticas y codificación después de SFT. El rendimiento general excede LLAMA2-13B, MPT-30B, FALCON-40B, etc.

  • Mixtral-8x22b [papel] [código] [modelo]

    • 2024/04, Mistral AI propuso el último modelo abierto Mixtral 8x22b. Establece un nuevo estándar para el rendimiento y la eficiencia dentro de la comunidad de IA. Es un modelo de mezcla escasa (SMOE) que usa solo 39B de parámetros activos de 141B, que ofrece una costumbre inparecida para su tamaño.

  • Phi-3 [documento] [modelo]

    • 2024/04, Microsoft propuso los modelos Phi-3, que son los modelos de lenguaje pequeño más capaces y rentables (SLM) disponibles, superan los modelos superiores del mismo tamaño y el siguiente tamaño en una variedad de lenguaje, razonamiento, codificación y codificación y codificación puntos de referencia de matemáticas. Phi-3-Mini está disponible en dos variantes de longitud de contexto: 4K y 128k tokens. Es el primer modelo en su clase que admite una ventana de contexto de hasta 128k tokens, con poco impacto en la calidad. Phi-3-Small (7b) y Phi-3-medio (14b) estarán disponibles en el catálogo de modelos Azure AI y otros jardines modelo en breve.

  • Llama 3 [documento] [código] [modelo]

    • 2024/04, Meta AI propuso la serie de LLAMA de tercera generación, código abierto Lig Model Llama 3. El modelo tiene 2 especificaciones de parámetros, 8B y 70B, con versiones base e instructores respectivamente. Emocionadamente, los modelos LLAMA 3 son un gran salto sobre Llama 2 y establecen un nuevo estado del arte para los modelos LLM a esas escalas.

  • Qwen-1.5-110b [documento] [código] [modelo]

    • 2024/04, Alibaba Cloud propuso el primer modelo 100b+ de la serie Qwen1.5, QWEN1.5-110b, que alcanza un rendimiento comparable con Meta-llama3-70b en la evaluación del modelo base y un rendimiento sobresaliente en la evaluación de chat, incluida Mt -Bench y Alpacaeval 2.0. QWEN1.5 es la versión beta de QWEN2, que tiene 9 tamaños de modelo, que incluyen modelos densos 0.5B, 1.8b, 4B, 7B, 14B, 32B, 72B y 110B, y un modelo MOE de 14B con 2.7B activado.

  • Qwen2 [Paper] [Código] [Modelo]

    • 2024/06, Alibaba Cloud propuso la evolución de Qwen1.5 a Qwen2, que tiene 5 tamaños de modelo, incluidos QWEN2-0.5B, QWEN2-1.5B, QWEN2-7B, QWEN2-57B-A14B y QWEN2-72B. QWEN2-72B exhibe un rendimiento superior en comparación con los modelos principales como Llama-3-70B. En particular, supera el rendimiento de su predecesor, Qwen1.5-110b, a pesar de tener menos parámetros.

  • Llama 3.1 [Paper] [Código] [Modelo]

    • 2024/07, Meta AI propuso el Llama 3.1 405b, que es el primer modelo abiertamente disponible que rivaliza con los principales modelos de IA cuando se trata de capacidades de vanguardia en conocimiento general, dominabilidad, matemáticas, uso de herramientas y multilingües traducción. Como parte de este último lanzamiento, introducen versiones mejoradas de los modelos 8B y 70B. Estos son multilingües y tienen una longitud de contexto significativamente más larga de 128k, uso de herramientas de última generación y capacidades de razonamiento en general más fuertes.

  • Qwen2.5 [Paper] [Código] [Modelo]

    • 2024/09, Alibaba Cloud propuso la última incorporación a la familia Qwen: Qwen2.5, junto con modelos especializados para la codificación, QWEN2.5-Coder y Mathematics, Qwen2.5-Math. Todos los modelos de lenguaje de peso abierto son densos, solo modelos de lenguaje de decodificadores, disponibles en varios tamaños, que incluyen: Qwen2.5 (0.5b, 1.5b, 3b, 7b, 14b, 32b y 72b), QWen2.5 (1.5 B, 7B y 32B en el camino) y Qwen2.5-Math (1.5b, 7b y 72b). Benchmararon su modelo de código abierto más grande, qwen2.5-72b-instructo contra modelos líderes de código abierto como LLAMA-3.1-70B-INSTstrCT e Mistral-Large-V2-Instructo y logró los mejores resultados en múltiples indicadores.

  • Llama 3.2 [Paper] [Código] [Modelo]

    • 2024/09, Meta AI propuso el LLAMA 3.2, que incluye LLM de visión pequeñas y medianas (11B y 90B), y modelos livianos solo de texto (1B y 3B) que se ajustan a dispositivos de borde y móviles, incluidos los dispositivos previos. y versiones ajustadas a instrucciones. Los modelos LLAMA 3.2 1B y 3B admiten una longitud de contexto de 128k tokens y son de vanguardia en su clase para casos de uso en el dispositivo como resumen, instrucción siguiente y reescrituras de tareas que se ejecutan localmente en el borde. Estos modelos están habilitados el primer día para el hardware Qualcomm y MediaTek y se optimizan para procesadores ARM.

Sintonia FINA

  • P-ajust [documento] [código]

    • 2021/03, la Universidad de Tsinghua y otros proponen el ajuste P, un método de ajuste fino para LLM, que utiliza incrustaciones de palabras rápidas continuas entrenables para reducir el costo de ajuste fino.

  • Lora [documento] [código]

    • 2021/06, Microsoft propone el método de adaptación de bajo rango para ajustar la LLM congelando los pesos previos al entrenamiento.

  • P-Tuning V2 [Paper] [Código]

    • 2021/10, la Universidad de Tsinghua propone P-Tuning V2, una versión mejorada del ajuste P con un mejor rendimiento.

  • RLHF [Paper] [Código]

    • 2022/12, OpenAI utiliza el método RLHF (refuerzo de aprendizaje de la retroalimentación humana) para capacitar a ChatGPT, y utiliza señales de retroalimentación humana para optimizar directamente el modelo de idioma, con un excelente rendimiento.

  • RRHF [Paper] [Código]

    • 2023/04, Alibaba propone un nuevo paradigma de aprendizaje llamado RRHF （Respuestas de rango para alinear los modelos de lenguaje con la retroalimentación humana sin lágrimas), que se puede ajustar tan fácilmente como un ajuste y lograr un rendimiento similar al PPO en el conjunto de datos HH.

  • Qlora [documento] [código]

    • 2023/05, la Universidad de Washington propone el método Qlora, basado en el modelo de cuantización de 4 bits congelado, combinado con el entrenamiento del método Lora, que reduce aún más el costo del ajuste fino.

  • Rltf [documento] [código]

    • 2023/07, Tencent propone RLTF （Aprendizaje de refuerzo de la retroalimentación de las pruebas unitarias), un nuevo marco RL en línea con comentarios de prueba unitaria de multi-granularidad para refinar el código LLMS.

  • Rrtf [papel]

    • 2023/07, Huawei propone RRTF （Respuestas de rango para alinear la prueba y la retroalimentación del maestro). En comparación con RLHF, RRHF puede alinear eficientemente las probabilidades de salida de un modelo de lenguaje con preferencias humanas, con solo 1-2 modelos requeridos durante el período de sintonización, y es más simple que PPO en términos de implementación, ajuste de hiperparameter y capacitación.

  • Rlaif [papel]

    • 2023/09, Google propone RLAIF (RL de la retroalimentación de IA), una técnica en la que las preferencias son etiquetadas por un LLM en lugar de humanos. Encuentran que los métodos RLHF y RLAIF logran los resultados similares en la tarea de resumen.

? Conjunto de datos

  • Wikisql [documento] [código] [conjunto de datos]

    • 2017/09, Salesforce propone un gran conjunto de datos de texto a SQL WikisQL, los datos provienen de Wikipedia, que pertenece a un solo dominio, contiene 80,654 preguntas de lenguaje natural y 77,840 declaraciones SQL. La forma de las declaraciones SQL es relativamente simple y no incluye la clasificación, la agrupación y las subconsules y otras operaciones complejas.

  • Spider 1.0 [Paper] [Código] [DataSet]

    • 2018/09, la Universidad de Yale propone la araña del conjunto de datos de texto a SQL con múltiples bases de datos, múltiples tablas y consulta de una sola ronda. También se reconoce como la lista de evaluación cruzada de dominio cruzado a gran escala más difícil de la industria. Contiene 10,181 preguntas de lenguaje natural y 5,693 declaraciones SQL. Involucrando más de 200 bases de datos en 138 campos diferentes, el nivel de dificultad se divide en: fácil, medio, difícil y extremadamente difícil. 2024/02, la Universidad de Yale ha abierto la recopilación de pruebas de la tabla de clasificación Spider 1.0, y abrirán el código de datos Spider 2.0 en marzo.

  • SPARC [Paper] [Código] [DataSet]

    • 2019/06, la Universidad de Yale propone un gran conjunto de datos SPARC para la tarea semántica compleja, cruzada y dependiente del contexto (múltiples giros) y las preguntas individuales únicas anotadas con consultas SQL anotadas por 14 estudiantes de Yale), obtenidas de las interacciones del usuario con 200 bases de datos complejas de más de 138 dominios.

  • Cspider [documento] [código] [DataSet]

    • 2019/09, la Universidad de Westlake propone un gran conjunto de datos chino Cspider para análisis semántico complejo y de dominio cruzado y tarea de texto a SQL, traducida de Spider por 2 investigadores de PNL y 1 estudiante de informática, que consta de 10,181 preguntas y 5,693 complejos únicos complejos únicos. SQL consultas en 200 bases de datos con múltiples tablas que cubren 138 dominios diferentes.

  • COSQL [Paper] [Código] [DataSet]

    • 2019/09, la investigación de la Universidad de Yale y Salesforce propone una base de datos de intermedio cruzado COSQL, que consta de 30k+ giros más 10K+ consultas SQL anotadas, obtenidas de una colección Wizard-of-Oz (WOZ) de diálogos 3K que consultan 200 DBS complejos que abarcan 138 Dominios. .

  • Tableqa [documento] [conjunto de datos]

    • 2020/06, la tecnología Zhuiyi propone un lenguaje natural cruzado a gran escala para el conjunto de datos SQL Tableqa en idioma chino que consiste en 64,891 preguntas y 20,311 consultas SQL únicas en más de 6,000 tablas.

  • Dusql [Paper] [DataSet]

    • 2020/11, Baidu propone un conjunto de datos chino a gran escala y pragmático DUSQL para la tarea de texto-ToSQL de intermedio cruzado, que contiene 200 bases de datos, 813 tablas y 23,797 pares de preguntas/SQL.

  • Kaggledbqa [documento] [código] [conjunto de datos]

    • 2021/06, la Universidad de Washington y Microsoft Research propone Kaggledbqa, un conjunto de datos de evaluación de dominio cruzado de bases de datos web reales con tipos de datos específicos de dominio, formato original y preguntas sin restricciones. Incluye 272 ejemplos en 8 bases de datos, con un promedio de 2.25 tablas por base de datos. El conjunto de datos es notable por sus fuentes de datos del mundo real, entornos de autoría de preguntas naturales y documentación de la base de datos con un rico conocimiento del dominio. Estadísticas clave: 8.7% donde las cláusulas, 73.5% Val, 24.6% seleccionados y 6.8% no selectos.

  • Chase [Paper] [Código] [DataSet]

    • 2021/08, Universidad Xi'an Jiaotong y Microsoft proponen el primer conjunto de datos chino de texto de múltiples dominios, múltiples rondas a SQL, que contiene una lista de 5459 preguntas multirondeo y 17940 <Query, SQL> Grupos binarios.

  • Bird-SQL [Paper] [Código] [DataSet]

    • 2023/05, la Universidad de Hong Kong y Alibaba proponen un ave de conjunto de datos de dominio cruzado a gran escala, que contiene más de 12,751 pares de preguntas de preguntas únicas, 95 bases de datos grandes con un tamaño total de 33.4 GB. También cubre más de 37 dominios profesionales, como blockchain, hockey, atención médica y educación, etc.

  • Bird-SQL mini-dev [Paper] [Código] [DataSet]

    • 2024/06, la colaboración entre la Universidad de Hong Kong y Alibaba continúa con el lanzamiento de Bird-SQL Mini-Dev, una versión lite de su conjunto de datos de desarrollo diseñado para pruebas de modelo SQL eficientes y rentables. Este conjunto de datos compila 500 pares Text2SQL de alta calidad de 11 bases de datos distintas y admite formatos MySQL y PostgreSQL. Cuenta con la introducción de dos nuevas métricas de evaluación: la puntuación de eficiencia válida basada en recompensas (R-VE) y el puntaje F1 suave, tanto actualmente en beta como específicamente desarrollado para mejorar la precisión y eficiencia de los modelos de texto a SQL en un entorno de desarrollo.

  • Spider 2.0 [Paper] [Código] [DataSet]

    • 2024/08, Spider 2.0, propuesto por XLang AI, sirve como un marco de evaluación avanzado para tareas de texto a SQL dentro de los flujos de trabajo de nivel empresarial del mundo real. Contiene 600 problemas complejos de flujo de trabajo de texto a SQL, derivados de varios casos de uso de la base de datos empresarial. El conjunto de datos incluye bases de datos procedentes de aplicaciones de datos reales, que a menudo contienen más de 1,000 columnas, y se almacenan en sistemas nubes o locales como BigQuery, Snowflake o PostgreSQL. Los problemas en Spider 2.0 requieren comprensión y búsqueda a través de metadatos de la base de datos, documentación del dialecto y bases de código a nivel de proyecto. Los desafíos incluyen procesar contextos largos, realizar un razonamiento intrincado y generar múltiples consultas SQL con diversas operaciones, a menudo superando las 100 líneas. Los modelos actuales de vanguardia, como GPT-4, resuelven solo el 6.0% de las preguntas, destacando la dificultad del conjunto de datos y la necesidad de agentes de código más avanzados y autónomos basados ​​en LLM.

? Índice de evaluación

  • Precisión de ejecución (ex) [documento]

    • Definición: Calcule la proporción del número correcto de resultados de ejecución SQL en el conjunto de datos, y el resultado puede sobreestimarse.

  • Match exacta (EM) [papel]

    • Definición: Calcule el grado de coincidencia entre el SQL generado por el modelo y el SQL marcado, y el resultado puede subestimarse.

? Bibliotecas

  • mentalsql

    • MindSQL es una biblioteca de Python Rag (generación de recuperación de recuperación) diseñada para optimizar la interacción entre los usuarios y sus bases de datos utilizando solo unas pocas líneas de código. Con una integración perfecta para bases de datos de renombre como PostgreSQL, MySQL y SQLite, MindSQL también extiende sus capacidades a las principales bases de datos como Snowflake y BigQuery al extender la clase central. La biblioteca utiliza grandes modelos de idiomas (LLM) como GPT-4, Llama 2, Google Gemini, y admite bases de conocimiento como ChromadB y FAIS

  • Premsql

    • PremSQL es una biblioteca liviana que tiene como objetivo proporcionar herramientas modulares y extensibles para el lenguaje natural a las aplicaciones SQL. Esto ayudaría a los desarrolladores a construir soluciones de RAG más controlables basadas en diferentes bases de datos. Busca ofrecer herramientas para evaluación, ajuste, conectores y marcos de agente. PremSQL también presenta un texto de parámetro 1B-SQL Prem-1b A 1B al modelo SQL con 51.54 % en el conjunto de pruebas privadas de BirdBench. Es súper liviano y funciona para texto completamente local para la generación SQL.

? Proyecto de práctica

  • DB-GPT-HUB

    • La Organización Eosphoros propone un proyecto de código abierto que se centra en el ajuste de texto a SQL basado en LLM, incluida la descarga de modelos a gran escala, el preprocesamiento del conjunto de datos, las tecnologías de ajuste fino como Lora y Qlora, predicción del modelo, evaluación del modelo y otros pasos .

  • sqlcoder

    • La organización Defog propone un LLM de texto a SQL avanzado, que tiene un rendimiento sobresaliente y es mejor que GPT3.5, WizardCoder y StarCoder, etc., solo solo para GPT4.

  • modal_finetune_sql

    • Este proyecto se basa en el modelo LLAMA 2 7B para el ajuste de texto a SQL, que incluye un proceso completo de capacitación, ajuste y evaluación.

  • Ajuste de eficiencia

    • Marco de ajuste de LLM fácil de usar (Llama-2, Bloom, Falcon, Baichuan, Qwen, Chat

? Citación

Si encuentra útil Text2SQL para su investigación o desarrollo, cite el siguiente documento: 

 @misc { zhou2024dbgpthub ,
      title = { DB-GPT-Hub: Towards Open Benchmarking Text-to-SQL Empowered by Large Language Models } , 
      author = { Fan Zhou and Siqiao Xue and Danrui Qi and Wenhui Shi and Wang Zhao and Ganglin Wei and Hongyang Zhang and Caigai Jiang and Gangwei Jiang and Zhixuan Chu and Faqiang Chen } ,
      year = { 2024 } ,
      eprint = { 2406.11434 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { id='cs.DB' full_name='Databases' is_active=True alt_name=None in_archive='cs' is_general=False description='Covers database management, datamining, and data processing. Roughly includes material in ACM Subject Classes E.2, E.5, H.0, H.2, and J.1.' }
}

? Enlaces de amistad

  • eosphoros

    • Son un equipo de entusiastas de la tecnología de compañías de Internet y estudiantes graduados de PNL que apasionan los proyectos de código abierto. Su enfoque está en desarrollar soluciones que protejan la privacidad y la seguridad de las bases de datos y los grandes modelos de idiomas. Su objetivo es garantizar que las habilidades de estos modelos sigan siendo absolutamente privadas, seguras y bajo control.

  • Impresionante-aigc-tutorials

    • Los impresionantes tutoriales de AIGC albergan una colección curada de tutoriales y recursos que abarcan modelos de idiomas grandes, pintura de IA y campos relacionados. Descubra información y conocimiento en profundidad atendidos tanto para principiantes como para los entusiastas avanzados de la IA.
Expandir
Información adicional
Aplicaciones relacionadas
Recomendado para ti
Información relacionada Todo