Awesome Text2SQL

Tolle Text2SQL ???

Englisch |中文版| Papier

Kuratierte Tutorials und Ressourcen für Großsprachenmodelle, Text2SQL, Text2DSL, Text2API, Text2vis und mehr.

? Wie man beiträgt

Wir begrüßen Beiträge aller, ob Sie einen Tippfehler gefunden haben, einen Fehler, haben einen Vorschlag oder möchten eine Ressource im Zusammenhang mit LLM+Text2SQL teilen. Detaillierte Richtlinien zum Beitrag zum Beitrag finden Sie in unserer Datei mit beitragen.md.

? Rangliste

	Wikisql	Spinne Genaue Übereinstimmung (EM)	Spinne Exakte Ausführung (Ex)	VOGEL Belohnungsbasierte gültige Effizienzbewertung (R-VEVE)	VOGEL Ausführungsgenauigkeit (Ex)
? 1	93.0 (2021/05-Sekunden+Ausführungsgeführte Dekodierung)	81,5 (2023/11-Minuten)	91.2 (2023/11-Minuten)	69.36 (2024/08-OpenSearch-SQL, V2 + GPT-4O)	73,00 (2024/09-Chase-SQL + Gemini)
? 2	92.7 (2021/03-SDSQL+Ausführungsgeführte Dekodierung)	74,0 (2022/09-Graphix-3b + Picard)	86.6 (2023/08-Dail-SQL + GPT-4 + Selbstkonsistenz)	68.79 (2024/08-EXSL + Granite-34B-Code)	72.39 (2024/09-askdata + gpt-4o)
? 3	92.5 (2020/11-ie-SQL+Ausführungsgeführte Dekodierung)	73,9 (2022/09-Catsql + Grappa)	86,2 (2023/08-Dail-SQL + GPT-4)	68.44 (2024/09-Chase-SQL + Gemini)	72.28 (2024/08-OpenSearch-SQL, V2 + GPT-4O)
4	92.2 (2020/03-Hydranet+Ausführungsgeführte Dekodierung)	73.1 (2022/09-SHIP + PICARD)	85.6 (2023/10-DPG-SQL + GPT-4 + Selbstkorrektur)	67.41 (2024/07-Distillerie + GPT-4O)	71.83 (2024/07-Distillerie + GPT-4O)
5	91.9 (2020/12-Bridge+Ausführungsgeführte Dekodierung)	72.9 (2022/05-G³R + LGESQL + Electra)	85.3 (2023/04-Din-SQL + GPT-4)	66,92 (2024/09-askdata + gpt-4o)	70,37 (2024/08-EXSL + Granite-34B-Code)
6	91.8 (2019/08-X-SQL+Ausführungsgeführte Dekodierung)	72.4 (2022/08-RESDSQL+T5-1.1-LM100K-XL)	83.9 (2023/07-Hindight-Denkkette mit GPT-4)	66.39 (2024/08-Insights AI))	70,26 (2024/08-Insights AI))
7	91.4 (2021/03-SDSQL)	72.4 (2022/05-T5-SR)	82.3 (2023/06-C3 + CHATGPT + Null-Shot)	66,25 (2024/05-EXSL + Granit-20b-Code)	70.21 (2024/07-Purpur + Rot + GPT-4O）
8	91.1 (2020/12-Brücke)	72.2 (2022/12-N-Best-Listen-Reranker + Picard)	80.8 (2023/07-Hindight-Denkkette mit GPT-4 und Anweisungen)	65.70 (2024/07-Rücknahme + Gemini)	69.03 (2024/07-Rücknahme + Gemini)
9	91.0 (2021/04-TEXT2SQLGEN + EG)	72.1 (2021/09-s²sql + Electra)	79,9 (2023/02-RESDSQL-3B + NATSQ)	65,62 (2024/07-Purpur + Rot + GPT-4O）	68,87 (2024/07-Bytebrain)
10	90,5 (2020/11-Seqgensql+EG)	72.0 (2023/02-rESDSQL-3B + NATSQL)	78,5 (2022/11-Sekunden + PQL)	63,68 (2024/08-Arcise + GPT-4O））	67,86 (2024/05-EXSL + Granit-20b-Code)

Inhalt

• Tolles Text2SQL ???
  • ? Wie man beiträgt
  • ? Rangliste
  • Inhalt
  • Einführung
  • Umfrage
  • Klassisches Modell
  • Basismodell
  • Feinabstimmung
  • ? Datensatz
  • ? Bewertungsindex
  • ? Bibliotheken
  • ? Praxisprojekt
  • ? Zitat
  • ? Freundschaftslinks

Einführung

• Text-to-SQL (oder Text2SQL), wie der Name schon sagt, besteht darin, Text in SQL umzuwandeln. Eine akademischere Definition besteht darin, Probleme mit der natürlichen Sprache im Feld Datenbank in strukturierte Abfragesprachen umzuwandeln, die in relationalen Datenbanken ausgeführt werden können. Daher kann Text zu SQL auch als NL2SQL abgekürzt werden.
  • Eingabe: Fragen zur natürlichen Sprache, wie " die relevanten Informationen der Tabelle T_USER abfragen, und die Ergebnisse werden nach ID in absteigender Reihenfolge sortiert, und nur die ersten 10 Daten werden aufbewahrt. "
  • Ausgabe: SQL, z. B. " Auswählen * aus T_User Order by ID Desc Limit 10 "

Umfrage

• (2024-Arxiv) von natürlicher Sprache zu SQL: Überprüfung von LLM-basierten Text-zu-SQL-Systemen [Papier]

• (2024-Arxiv) Großspracher Modell erweiterte Text-zu-SQL-Erzeugung: Eine Umfrage [Papier]

• (2024-Arxiv) Eine Umfrage unter NL2SQL mit großen Sprachmodellen: Wo sind wir und wohin gehen wir? [Papier] [Code]

• (2024-Arxiv) Eine Umfrage zum Einsatz großer Sprachmodelle für Text-zu-SQL-Aufgaben [Papier]

• (2023-VLDB, CCF-A） Eine Umfrage zu Deep-Lern-Ansätzen für Text-zu-SQL [Papier]

• (2022-tkde, CCF-A) Eine Umfrage zur Text-zu-SQL-Parsen: Konzepte, Methoden und zukünftige Richtungen [Papier]

• (2022-Coloing, CCF-B) Jüngste Fortschritte in Text-to-SQL: Eine Übersicht über das, was wir haben und was wir erwarten [Papier]

• (2022-Arxiv) Deep Learning Driven Natural Languages ​​Text to SQL Query Conversion: Eine Umfrage [Papier]

Klassisches Modell

• (2024-Arxiv, None) Chase-SQL : Multi-Pfad-Argumentation und Präferenzoptimierter Auswahl der Kandidaten in Text-zu-SQL [Papier]

• (2024-Arxiv, Keine) E-SQL : Direktes Schema, das über Frageanreicherung in Text-zu-SQL [Papier] [Code] verlinkt wird, [Code]

• (2024-Arxiv, keine) Brennerei : Der Tod des Schemasverbindens? Text-to-SQL im Alter der gut begründeten Sprachmodelle [Papier]

• .

• (2024-Arxiv, keine) Supersql : Der Morgendämmerung der natürlichen Sprache zu SQL: Sind wir voll bereit? [Papier] [Code]

• (2024-Arxiv, keines) Schach : Kontextbezogene Nutzung für eine effiziente SQL-Synthese [Papier] [Code]

• (2023-Arxiv, None) Mac-SQL : Ein kollaboratives Multi-Agent-Rahmen für Text-zu-SQL [Papier] [Code]

• (2023-Arxiv, keine) DBCᴏᴘɪʟᴏᴛ : Skalierung der natürlichen Sprachabfrage zu massiven Datenbanken [Papier] [Code]

• (2023-Arxiv, keine) Text-to-SQL-gestärkt durch Großsprachenmodelle: Eine Benchmark-Bewertung [Papier] [Code]

• (2023-AAAI 2023, CCF-A) RESDSQL : Entkopplungsschema Verknüpfung und Skelett an Text-to-SQL [Papier] [Code]

• (2023-Arxiv, keine) Kann LLM bereits als Datenbankschnittstelle dienen? Eine große Bank für groß angelegte Datenbank geerdet Text-to-SQLS [Papier] [Code]

• .

• (2023-Arxiv, keine) Eine umfassende Bewertung der Null-Shot-Text-zu-SQL-Fähigkeit von Chatgpt [Papier] [Code]

• (2023-ICLR, CCF-A) Bindungssprachmodelle in symbolischen Sprachen [Papier] [Code]

• (2023-Sigmod, CCF-A) Wege-Shot-Text-zu-SQL-Übersetzung unter Verwendung von Struktur und Inhaltsaufforderung zum Lernen [Papier] [Code]

• (2023-ICASSP, CCF-B) T5-SR : Eine einheitliche SEQ-to-Seq-Dekodierungsstrategie für semantische Parsen [Papier]

• (2022-ACL, CCF-A) S ² SQL : Injizieren von Syntax in Frage-Schema-Interaktionsgrapherde für Text-zu-SQL-Parser [Papier]

• (2022-naacl, CCF-B) SEAD : End-to-End-Text-zu-SQL-Erzeugung mit Schema-bewusstes Denoising [Papier]

• (2022-EMNLP, CCF-B) STAR : SQL Guided Pre-Training für kontextabhängige Text-zu-SQL-Parsen [Papier] [Code]

• (2022-EMNLP, CCF-B) RASAT : Integration von relationalen Strukturen in ein vorbereitetes SEQ2SEQ-Modell für Text-to-SQL [Papier] [Code]

• (2022-EMNLP, CCF-B) CQR-SQL : Konversationsfrageberichtungsumformulierung verbesserte kontextabhängige Text-zu-SQL-Parser [Papier]

• (2022-ACL, CCF-A) HIE-SQL : History Information Enhanced Network für kontextabhängige Text-zu-SQL-Semantik-Parsing [Papier]

• (2022-Arxiv, keine) Bedeutung der Synthese hochwertiger Daten für die Analyse von Text zu SQL [Papier]

• (2021-ACL, CCF-A) Entkoppelte Dialogmodellierung und semantisches Parsing für Multiturn-Text-zu-SQL-[Papier]

• (2021-Arxiv, keine) Achten Sie mehr auf die Geschichte: Eine Kontextmodellierungsstrategie für Konversations-Text-zu-SQL [Papier] [Code]

• (2021-ICLR, CCF-A) Score : Vorausbildung für die Kontextdarstellung bei der semantischen Parsing von Konversation [Papier]

• (2021-dasfaa, CCF-B) Ein interaktiver NL2SQL-Ansatz mit Wiederverwendungstrategie [Papier]

• (2021-naacl, CCF-B) Struktur-gegründete Vorbau für Text-zu-SQL [Papier]

• (2021-EMNLP, CCF-B) PICARD : Inkrementell an Parsen für eingeschränkte automatische Decodierung aus Sprachmodellen [Papier] [Code]

• (2021-ICLR, CCF-A) GRAPPA : Grammatik-ausgebildete Pre-Training für Tabellensemantische Parsen [Papier] [Code]

• (2021-ACL, CCF-A) LGGEQL : Zeilendiagramm erweitertes Text-zu-SQL-Modell mit gemischten lokalen und nicht lokalen Beziehungen [Papier] [Code]

• (2020-EMNLP, CCF-B) Überbrückung von Text- und Tabellendaten für Cross-Domain-Text-zu-SQL-Semantik-Parsen [Papier] [Code]

• (2020-ACL, CCF-A) Tabert : Vorbereitung für das gemeinsame Verständnis von Text- und tabellarischen Daten [Papier] [Code]

• (2020-ACL, CCF-A) RAT-SQL : Relation-Award-Schema-Codierung und Verknüpfung für Text-zu-SQL-Parsers [Papier] [Code]

• (2020-EMNLP, CCF-B) Erwähnungsextraktion und Verknüpfung für die SQL-Abfragegenerierung [Papier]

• (2020-EMNLP, CCF-B) IGSQL : Datenbankschema-Interaktionsgrafikbasierter Neuralmodell für kontextabhängige Text-zu-SQL-Generierung [Papier] [Code]

• (2020-Arxiv, keine) Hybrid-Ranking-Netzwerk für Text-zu-SQL [Papier] [Code]

• (2019-Arxiv, Keine) X-SQL : Verstärkung der Schema-Darstellung mit dem Kontext [Papier]

• (2019-EMNLP, CCF-B) Globale Argumentation über Datenbankstrukturen für Text-to-SQL-Parsen [Papier] [Code]

• (2019-EMNLP, CCF-B) Bearbeitungsbasiertes SQL-Abfragegenerierung für Cross-Domänen-Kontext-abhängige Fragen [Papier] [Code]

• (2019-ACL, CCF-A) Darstellung der Schemastruktur mit Grafiknetzwerken für Text-to-SQL-Parsen [Papier] [Code]

• (2019-ACL, CCF-A) in Richtung komplexer Text-zu-SQL in der Cross-Domain-Datenbank mit Zwischendarstellung [Papier] [Code]

• (2018-EMNLP, CCF-B) SyntaxSQLNet : Syntax-Baumnetzwerke für komplexe und Cross-Domaintext-to-SQL-Aufgaben [Papier] [Code]

• (2018-Naacl, CCF-B) TypesQL : Wissensbasierte Typ-zu-SQL-Generation vom Typ Neuraler Text zu SQL [Papier] [Code]

• (2017-Arxiv, Keine) SQLNET : Generierung strukturierter Abfragen aus natürlicher Sprache ohne Verstärkungslernen [Papier] [Code]

Basismodell

• Lama [Papier] [Code] [Modell]

  • 2023/02, Meta AI schlägt die Open Source LLM LLAMA, die vier Skalen hat: 7B, 13B, 33B und 65B.

• Chatglm [Papier] [Code] [Modell]

  • 2023/03, Tsinghua University schlägt das offene zweisprachige Sprachmodell Chatglm vor, der auf dem allgemeinen Sprachmodell -Framework basiert, mit der Spezifikation von 7b.

• Alpaka [Papier] [Code] [Modell]

  • 2023/03, Stanford University schlägt Alpaca vor, eine open Source LLM, die auf dem LLAMA 7B-Modell basiert. Es gibt 1 Spezifikation von 7b und das Training ist einfacher und billiger.

• Vicuna [Papier] [Code] [Modell]

  • 2023/03, UC Berkeley University, CMU und Stanford University schlagen Vicuna vor, eine offene Souce LLM, die auf dem Lama -Modell basiert, hat zwei Spezifikationen: 7B und 13B.

• WizardLM [Papier] [Code] [Modell]

  • 2023/04, Peking University und Microsoft schlagen Assistenten vor, eine LLM evolutionärer Anweisungen mit drei Spezifikationen von 7B, 13b und 30b. 2023/06 schlagen sie Wizardmath vor, ein LLM auf dem Gebiet der Mathematik. 2023/08 schlagen sie Assistentencoder vor, ein LLM im Codegebiet.

• Falcon [Papier] [Code] [Modell]

  • 2023/06 schlägt der Vereinigte Arabische Emirates Falcon vor, eine Open -Source -LLM, die ausschließlich auf Refinedweb -Datensätzen trainiert wird, mit vier Parameterspezifikationen von 1B, 7B, 40B und 180B. Es ist erwähnenswert, dass die Leistung auf Modell 40b die von 65B Lama übersteigt.

• Chatglm2 [Papier] [Code] [Modell]

  • 2023/06, die Tsinghua University schlägt die Version der zweiten Generation von Chatglm ， mit der Spezifikation von 7B vor, die eine stärkere Leistung, einen längeren Kontext, eine effizientere Inferenz und eine offenere Lizenz aufweist.

• Baichuan-7b [Code] [Modell]

  • 2023/06 schlägt die intelligente Technologie von Baichuan die Baichuan-7b vor, ein auf der Transformator Architektur basierendes, großflächiges, großflächiges Sprachmodell, das 7 Milliarden Parameter enthält und auf ungefähr 1,2 Billionen Token ausgebildet ist. Es unterstützt sowohl chinesische als auch englische Sprachen mit einer Kontextfensterlänge von 4096.

• Baichuan-13b [Code] [Modell]

  • 2023/07, Baichuan Intelligent Technology schlägt die Baichuan-13b vor, eine offene, im Handel erhältliche groß angelegte Sprachmodell, die nach Baichuan-7b mit zwei Versionen verfügt: Vorausbildung (Baichuan-13b-Base) und Ausrichtung (Baichuan -13b-chat).

• Internlm [Papier] [Code] [Modell]

  • 2023/07, Shanghai AI Laboratory und Sensetime schlagen das Internlm vor, das eine Open-Sour-Modelle mit 7B- und 20B-Parametern und Chat-Modellen für praktische Szenarien und das Trainingssystem aufweist.

• LAMA 2 [Papier] [Code] [Modell]

  • 2023/07 schlägt Meta AI die Open-Source-LLM-Serie der zweiten Generation vor. Im Vergleich zu Lama 1 sind die Trainingsdaten 40% mehr und die Kontextlänge wird verdoppelt. Das Modell verfügt über vier Spezifikationen: 7B, 13B, 34B und 70B, aber 34b ist nicht Open Source.

• Code Lama [Papier] [Code] [Modell]

  • 2023/08 schlägt Meta AI Code LLAMA, basierend auf LLAMA 2. Code Lama erreicht auf dem neuesten Stand der Technik unter den offenen Modellen mehrerer Code-Benchmarks. Es gibt Fundamentmodelle (Code Lama), Python -Spezialisierungen (Code Lama - Python) und Anweisungsverfolgungsmodelle mit jeweils 7B-, 13B- und 34B -Parametern. 2024/01, Meta AI Open Source Codellama-70b, Codellama-70b-Python und Codellama-70B-Instruct.

• QWEN [Papier] [Code] [Modell]

  • 2023/08, Alibaba Cloud schlägt die 7B-Parameter-Version der großsprachigen Modellreihe QWEN-7B (Abbr. Tongyi Qianwen) vor beschaffen zwei Modelle mit QWEN-7B und QWEN-7B-CHAT. 2023/09, Alibaba Cloud hat die QWEN-7B- und QWEN-7B-CHAT sowie die Open-Source-Qwen-14b und Qwen-14b-Chat aktualisiert. 2023/11, sie haben Qwen-1.8b, Qwen-1.8b-Chat, Qwen-72b und Qwen-72B-Chat geöffnet.

• Baichuan 2 [Papier] [Code] [Modell]

  • 2023/09, Baichuan Intelligent Technology schlägt die neue Generation von Open-Source-Modellen Baichuan 2 vor, die auf einem hochwertigen Korpus mit 2,6-Billionen Das Chat -Modell.

• PHI-1.5 [Papier] [Modell]

  • 2023/09 schlägt Microsoft Research das Open-Source-Sprachmodell PHI-1.5 vor, einen Transformator mit 1,3 Milliarden Parametern, der mit denselben Datenquellen wie PHI-1 trainiert wurde, die mit einer neuen Datenquelle verstärkt wurde, die aus verschiedenen Synthetiktexten von NLP besteht. Wenn er gegen Benchmarks bewertet wird, das den gesunden Menschenverstand, das Sprachverständnis und das logische Denken testen, zeigt PHI-1.5 eine nahezu hochmoderne Leistung bei Modellen mit weniger als 10 Milliarden Parametern. 2023/12 schlagen sie PHI-2 vor, ein Sprachmodell von 2,7 Milliarden Parametern, das herausragende Argumentations- und Sprachverständnisfunktionen zeigt und hochmoderne Leistung zwischen Basissprachmodellen mit weniger als 13 Milliarden Parametern zeigt.

• Mistral-7b [Papier] [Code] [Modell]

  • 2023/10, Mistral-AI Company schlägt das Open Source LLM Mistral 7B vor, ein Sprachmodell mit 7-Milliarden-Parameter, der für überlegene Leistung und Effizienz entwickelt wurde. Mistral 7B übertrifft das beste offene 13B -Modell (LLAMA 2) über alle ausgewerteten Benchmarks und das beste veröffentlichte 34B -Modell (Lama 1) in Argumentation, Mathematik und Codegenerierung. Sie bieten auch ein Modell, das fein abgestimmt ist, um die Anweisungen zu befolgen, Mistral 7B-Anweisungen, das das Lama 2 13b-Chat-Modell sowohl auf menschlichen als auch auf automatisierten Benchmarks übertrifft. 2023/12 ， Sie schlagen die Open Source LLM Mixtral-8x7b vor, eine vorgezogene generative spärliche Mischung aus Experten, die LLAMA 2 70B an den meisten Benchmarks übertrifft.

• Deepseek [Papier] [Code] [Modell]

  • 2023/11, Deepseek-AI Company schlägt die Open Source LLM Deepseek vor, die sowohl in englischer als auch in Chinesen von Grund auf an einem riesigen Datensatz von 2 Billionen Token ausgebildet wurde. In ähnlicher Weise hat der Deepseek LLM hauptsächlich zwei Kategorien: Basis und Chat mit zwei Parameterformaten von 7B bzw. 67B. Daten aus seiner Arbeit zeigen, dass Deepseek LLM 67b LLAMA-2 70B über eine Reihe von Benchmarks übertrifft, insbesondere in den Bereichen Code, Mathematik und Argumentation. Darüber hinaus weist Deepseek LLM 67B-Chat im Vergleich zu GPT-3,5 eine überlegene Leistung auf.

• Minicpm [Papier] [Code] [Modell]

  • 2024/02, ModelBest Inc. und TsinghuanLP schlägt die Open Source LLM Minicpm vor, die ein Endspiel-LLM mit nur 2,4B-Parametern ohne Einbettung (insgesamt 2,7B) ist. Es lohnt sich, dass Minicpm im Vergleich zu Mistral-7B bei Open-Sourced-Benchmarks mit einer besseren Fähigkeit von Chinesisch, Mathematik und Codierung nach SFT eine sehr enge Leistung erzielt. Die Gesamtleistung übersteigt LLAMA2-13B, MPT-30B, Falcon-40b usw.

• MIMTRAL-8X22B [Papier] [Code] [Modell]

  • 2024/04 schlug Mistral AI das neueste Open Model Mixtral 8x22b vor. Es setzt einen neuen Standard für Leistung und Effizienz innerhalb der KI -Community. Es handelt sich um ein spärliches Modell der Expertenmischung (Smoe), das nur 39B aktive Parameter von 141B verwendet und für seine Größe eine beispiellose Kosteneffizienz bietet.

• PHI-3 [Papier] [Modell]

  • 2024/04 schlug Microsoft die Phi-3 Mathematik -Benchmarks. PHI-3-Mini ist in zwei kontextlangen Varianten erhältlich-4K- und 128K-Token. Es ist das erste Modell in seiner Klasse, das ein Kontextfenster von bis zu 128.000 Token unterstützt und nur geringe Auswirkungen auf die Qualität hat. PHI-3-Small (7B) und PHI-3-Medium (14B) werden in Kürze im Azure AI-Modellkatalog und in anderen Modellgärten erhältlich sein.

• LAMA 3 [Papier] [Code] [Modell]

  • 2024/04 schlug Meta AI die Open -Source -Serie der dritten Generation vor Open Source Large Model Lama 3 vor. Das Modell verfügt über 2 Parameterspezifikationen, 8b und 70b, mit Basis- bzw. Unterricht Versionen. LLAMA 3-Modelle sind aufregend ein großer Sprung über Lama 2 und errichten auf diesen Skalen eine neue hochmoderne für LLM-Modelle.

• Qwen-1.5-110B [Papier] [Code] [Modell]

  • 2024/04, Alibaba Cloud schlug das erste 100B+ -Modell der QWEN1.5-Serie QWEN1.5-110B vor, das in der Basismodellbewertung eine vergleichbare Leistung mit meta-llama3-70b erzielt und in der Chat-Bewertung, einschließlich MT -Bench und Alpacaeval 2.0. QWEN1.5 ist die Beta -Version von QWEN2, die 9 Modellgrößen hat, einschließlich 0,5B-, 1,8B-, 4B-, 7B-, 14B-, 32B-, 72B- und 110B -Dichtmodelle sowie ein MOE -Modell von 14B mit 2,7B aktiviert.

• QWEN2 [Papier] [Code] [Modell]

  • 2024/06, Alibaba Cloud schlug die Entwicklung von QWEN1.5 bis QWEN2 vor, die über 5 Modellgrößen verfügt, einschließlich QWEN2-0.5B, QWEN2-1.5B, QWEN2-7B, QWEN2-57B-A14B und QWEN2-72. Qwen2-72b zeigt eine überlegene Leistung im Vergleich zu führenden Modellen wie Lama-3-70b. Insbesondere übertrifft es die Leistung seines Vorgängers QWEN1.5-110B, obwohl er weniger Parameter hat.

• LAMA 3.1 [Papier] [Code] [Modell]

  • 2024/07, Meta AI schlug das Lama 3.1 405b vor, das das erste offen verfügbare Modell ist, das mit den besten KI Übersetzung. Im Rahmen dieser neuesten Veröffentlichung führen sie verbesserte Versionen der 8B- und 70B -Modelle ein. Diese sind mehrsprachig und haben eine deutlich längere Kontextlänge von 128.000, hochmodernem Werkzeuggebrauch und insgesamt stärkere Argumentationsfunktionen.

• Qwen2.5 [Papier] [Code] [Modell]

  • 2024/09, Alibaba Cloud schlug die neueste Ergänzung der QWEN-Familie vor: Qwen2.5 sowie spezielle Modelle für Codierung, Qwen2.5-Codierer und Mathematik, Qwen2.5-Math. Alle Open-Gewicht-Modelle sind dicht, Decodierer-Sprachmodelle, die in verschiedenen Größen erhältlich sind, darunter: QWEN2.5 (0,5B, 1,5B, 3B, 7B, 14B, 32B und 72B), QWEN2.5-CODER (1,5) B, 7b und 32b unterwegs) und Qwen2.5-Math (1,5b, 7b und 72b). Sie haben ihr größtes Open-Source-Modell, Qwen2.5-72B-Instruktur gegen führende Open-Source-Modelle wie Lama-3.1-70b-Instrct und Mistral-Large-V2-Instruktur, bewertet und die besten Ergebnisse bei mehreren Indikatoren erzielt.

• Lama 3.2 [Papier] [Code] [Modell]

  • 2024/09, Meta AI schlug das Lama 3.2 vor, das kleine und mittelgroße Sehvermögen LLMs (11B und 90B) sowie leichte Modelle nur für Text (1B und 3B) umfasst und Anleitungsversionen. Die Modelle Lama 3.2 1B und 3B unterstützen die Kontextlänge von 128.000 Token und sind in ihrer Klasse auf dem neuesten Stand der Technik für Anwendungsfälle für On-Geräte wie Summarisierung, Anweisungen und Nachschreibung von Aufgaben, die lokal am Rande ausgeführt werden. Diese Modelle sind am ersten Tag für Qualcomm und MediaTek -Hardware aktiviert und für ARM -Prozessoren optimiert.

Feinabstimmung

• P-Tuning [Papier] [Code]

  • 2021/03, die Tsinghua University und andere schlagen P-Tuning vor, eine Feinabstimmung für LLM, bei der trainierbare kontinuierliche Einbettungspunkte verwendet werden, um die Kosten für die Feinabstimmung zu senken.

• Lora [Papier] [Code]

  • 2021/06 schlägt Microsoft die Anpassungsmethode mit niedrigem Anpassung vor, um LLM durch Einfrieren der Vor-Training-Gewichte einzufrieren.

• P-Tuning V2 [Papier] [Code]

  • 2021/10 schlägt die Tsinghua University P-Tuning V2 vor, eine verbesserte Version von P-Tuning mit besserer Leistung.

• RLHF [Papier] [Code]

  • In 2022/12 verwendet OpenAI die Methode RLHF (Verstärkungslernen aus menschlichem Feedback), um Chatgpt zu trainieren, und verwendet menschliches Feedback -Signale, um das Sprachmodell mit hervorragender Leistung direkt zu optimieren.

• RRHF [Papier] [Code]

  • 2023/04 schlägt Alibaba ein neuartiges Lernparadigma namens RRHF-Rangreaktionen auf die Ausrichtung von Sprachmodellen mit menschlichem Feedback ohne Tränen vor), die so leicht wie feinstimmend und eine ähnliche Leistung wie PPO im HH-Datensatz erzielen können.

• Qlora [Papier] [Code]

  • 2023/05, die Washington University schlägt die Qlora-Methode vor, die auf dem gefrorenen 4-Bit-Quantisierungsmodell basiert, kombiniert mit dem LORA-Methodentraining, das die Kosten für die Feinabstimmung weiter senkt.

• RLTF [Papier] [Code]

  • 2023/07 schlägt Tencent RLTF （Verstärkungslernen aus Unit-Test-Feedback vor), ein neuartiges Online-RL-Framework mit Feedback für Multi-Granularität in Unit-Test für die Refining-Code-LLMs.

• RRTF [Papier]

  • 2023/07 schlägt Huawei RRTF （Rangantworten auf Ausrichtung von Test- und Lehrer -Feedback vor). Im Vergleich zu RLHF kann RRHF die Ausgangswahrscheinlichkeiten eines Sprachmodells effizient mit menschlichen Präferenzen ausrichten, wobei nur 1-2 Modelle während des Stimmzeitraums erforderlich sind, und es ist einfacher als die PPO in Bezug auf die Implementierung, Hyperparameterabstimmung und Training.

• RLAIF [Papier]

  • 2023/09 schlägt Google RLAIF (RL aus AI-Feedback) vor, eine Technik, bei der Präferenzen von einem llm llm anstelle von Menschen gekennzeichnet sind. Sie stellen fest, dass die RLHF- und RLAIF -Methoden ähnliche Ergebnisse bei der Aufgabe der Zusammenfassung erzielen.

? Datensatz

• Wikisql [Papier] [Code] [Datensatz]

  • 2017/09 schlägt Salesforce einen großen Text-zu-SQL-Datensatz vor Wikisql vor. Die Form von SQL -Anweisungen ist relativ einfach und beinhaltet keine Sortierung, Gruppierung, Unterabfragen und andere komplexe Operationen.

• Spider 1.0 [Papier] [Code] [Datensatz]

  • Die Yale University 2018/09 schlägt die Text-to-SQL-Datensatzspinne mit mehreren Datenbanken, mehreren Tabellen und einer einzelnen Abfrage vor. Es wird auch als die schwierigste groß angelegte Cross-Domänen-Bewertung in der Branche anerkannt. Es enthält 10.181 Fragen der natürlichen Sprache und 5.693 SQL -Aussagen. Mit mehr als 200 Datenbanken in 138 verschiedenen Feldern ist der Schwierigkeitsgrad unterteilt in: einfach, mittel, schwierig und äußerst schwierig. 2024/02 hat die Yale University die Testsammlung von Spider 1.0 Opening Boardboard offen und im März den Spider 2.0 -Datensatz.

• SPARC [Papier] [Code] [Datensatz]

  • 2019/06, Yale University schlägt einen großen Datensatz-SPARC für komplexe, Cross-Domain- und Kontext-abhängige (Multi-Turn) semantische Parsing- und Text-to-SQL Mit SQL -Abfragen, die von 14 Yale -Studenten kommentiert wurden), die aus Benutzerinteraktionen mit 200 komplexen Datenbanken über 138 Domänen erhalten wurden.

• Cspider [Papier] [Code] [Datensatz]

  • 2019/09, Westlake University steigern einen großen chinesischen Datensatz-Cspider für komplexe und Cross-Domain-Semant-Parsing- und Text-to-SQL SQL Abfragen in 200 Datenbanken mit mehreren Tabellen, die 138 verschiedene Domänen abdecken.

• COSQL [Papier] [Code] [Datensatz]

  • 2019/09, Yale University und Salesforce Research schlugen eine Cross-Domain-Datenbank COSQL vor, die aus 30K+ -Wendungen plus 10K+ annotierte SQL .

• TableQA [Papier] [Datensatz]

  • 2020/06 schlägt die Zhuiyi-Technologie eine groß angelegte natürliche Sprache für die SQL-Datensatztabelle in chinesischer Sprache vor, die 64.891 Fragen und 20.311 einzigartige SQL-Abfragen auf über 6.000 Tabellen umfasst.

• Dusql [Papier] [Datensatz]

  • 2020/11 schlägt Baidu eine skalische und pragmatische chinesische Dataset-Dusql für die Cross-Domain-Text-TOSQL-Aufgabe vor, die 200 Datenbanken, 813 Tabellen und 23.797 Fragen/SQL-Paare enthält.

• Kagagledbqa [Papier] [Code] [Datensatz]

  • 2021/06, University of Washington und Microsoft Forschung schlagen Kagagledbqa vor, einen Cross-Domain-Bewertungsdatensatz realer Webdatenbanken mit domänenspezifischen Datentypen, ursprünglichen Formatierung und uneingeschränkten Fragen. Es enthält 272 Beispiele in 8 Datenbanken mit durchschnittlich 2,25 Tabellen pro Datenbank. Der Datensatz ist für seine realen Datenquellen, natürliche Fragenautorungsumgebungen und Datenbankdokumentation mit reichem Domänenwissen bekannt. Schlüsselstatistiken: 8,7%, wenn Klauseln, 73,5% Val, 24,6% und 6,8% Nicht-Auswahl.

• Chase [Papier] [Code] [Datensatz]

  • 2021/08, Xi'an Jiaotong University und Microsoft schlagen den ersten Cross-Domain-Multi-Runden-Text-zu-SQL-Datensatz vor, der eine Liste von 5459 Multi-Runden-Fragen und 17940 <Query, SQL> binäre Gruppen enthält.

• Bird-SQL [Papier] [Code] [Datensatz]

  • 2023/05 schlagen die Universität von Hongkong und Alibaba einen großflächigen Cross-Domain-Datensatzvogel vor, der über 12.751 eindeutige Fragen-SQL-Paare und 95 große Datenbanken mit einer Gesamtgröße von 33,4 GB enthält. Es deckt auch mehr als 37 professionelle Domänen wie Blockchain, Hockey, Gesundheitswesen und Bildung usw. ab.

• Bird-SQL Mini-Dev [Papier] [Code] [Datensatz]

  • 2024/06, Die Zusammenarbeit zwischen der Universität von Hongkong und Alibaba setzt die Veröffentlichung von Bird-SQL Mini-Dev fort, einer Lite-Version ihres Entwicklungsdatensatzes für effiziente und kostengünstige SQL-Modelltests. Dieser Datensatz erstellt 500 hochwertige Text2SQL-Paare aus 11 verschiedenen Datenbanken und unterstützt sowohl MySQL- als auch PostgreSQL-Formate. Es verfügt über die Einführung von zwei neuen Bewertungsmetriken: den belohnungsbasierten gültigen Effizienzwert (R-VEVE) und den Soft F1-Score, sowohl in Beta als auch speziell entwickelt, um die Genauigkeit und Effizienz von Text-zu-SQL-Modellen in zu verbessern eine Entwicklungseinstellung.

• Spider 2.0 [Papier] [Code] [Datensatz]

  • 2024/08, Spider 2.0, vorgeschlagen von Xlang AI, dient als erweitertes Bewertungsrahmen für Text-to-SQL-Aufgaben in Workflows auf Unternehmensebene. Es enthält 600 komplexe Text-zu-SQL-Workflow-Probleme, die aus verschiedenen Anwendungsfällen für Unternehmensdatenbank abgeleitet sind. Der Datensatz enthält Datenbanken aus tatsächlichen Datenanwendungen, die häufig über 1.000 Spalten enthalten und in Cloud- oder lokalen Systemen wie BigQuery, Snowflake oder PostgreSQL gespeichert sind. Probleme in Spider 2.0 erfordern das Verständnis und die Suche durch Datenbankmetadaten, Dialektdokumentation und Codebasen auf Projektebene. Zu den Herausforderungen gehören die Verarbeitung langer Kontexte, die Durchführung eines komplizierten Denkens und das Generieren mehrerer SQL -Abfragen mit verschiedenen Operationen, die häufig 100 Zeilen überschreiten. Aktuelle hochmoderne Modelle wie GPT-4 lösen nur 6,0% der Fragen, wobei die Schwierigkeit des Datensatzes und die Notwendigkeit fortschrittlicherer, autonomer LLM-basierter Code-Agenten hervorgehoben werden.

? Bewertungsindex

• Ausführungsgenauigkeit (Ex) [Papier]

  • Definition: Berechnen Sie den Anteil der korrekten Anzahl von SQL -Ausführungsergebnissen im Datensatz, und das Ergebnis kann überschätzt werden.

• Exakte Übereinstimmung (EM) [Papier]

  • Definition: Berechnen Sie den Übereinstimmungsgrad zwischen dem vom Modell erzeugten SQL und dem markierten SQL, und das Ergebnis kann unterschätzt werden.

? Bibliotheken

• Mindsql

  • MindSQL ist eine Bibliothek von Python Rag (Abruf-Augment-Augmented-Generation), die die Interaktion zwischen Benutzern und ihren Datenbanken mit nur wenigen Codezeilen optimieren soll. Mit nahtloser Integration für renommierte Datenbanken wie Postgresql, MySQL und SQLite erweitert MindSQL auch seine Funktionen auf wichtige Datenbanken wie Snowflake und BigQuery, indem sie die Kernklasse erweitert. Die Bibliothek verwendet große Sprachmodelle (LLM) wie GPT-4, Lama 2, Google Gemini und unterstützt Wissensbasis wie Chromadb und Fais

• Premsql

  • PREMSQL ist eine leichte Bibliothek, in der modulare und erweiterbare Instrumente für natürliche Sprache SQL -Anwendungen bereitgestellt werden sollen. Dies würde Entwicklern helfen, kontrollierbare Lag -Lösungen basierend auf verschiedenen Datenbanken zu erstellen. Es wird versucht, Toolings für Bewertungen, Feinabstimmungen, Anschlüsse und agentische Frameworks anzubieten. PREMSQL erstellt außerdem Prem-1B-SQL A 1B Parameter-Text zum SQL-Modell mit 51,54 % im privaten Testsatz von BirdBench. Es ist super leicht und eignet sich für einen vollständig lokalen Text zur SQL -Generation.

? Praxisprojekt

• DB-GPT-Hub

  • Die Organisation von Eosporos schlägt ein Open-Source-Projekt vor .

• SQLCODER

  • Die Defog-Organisation schlägt eine fortgeschrittene Text-zu-SQL-LLM vor, die eine hervorragende Leistung hat und besser als GPT3.5, WizardCoder und StarCoder usw. ist, an zweiter Stelle nur für GPT4.

• modal_finetune_sql

  • Dieses Projekt basiert auf dem LLAMA 2 7B-Modell für Text-to-SQL-Feinabstimmungen, das ein vollständiges Training, eine Feinabstimmung und ein Bewertungsprozess umfasst.

• Lama-effiziente Einstellung

  • Einfach zu bedienender LLM-Feinabstimmungsgerüst (Lama-2, Bloom, Falcon, Baichuan, Qwen, Chat

? Zitat

Wenn Sie Text2SQL für Ihre Forschung oder Entwicklung nützlich finden, geben Sie bitte das folgende Papier an:

 @misc { zhou2024dbgpthub ,
      title = { DB-GPT-Hub: Towards Open Benchmarking Text-to-SQL Empowered by Large Language Models } , 
      author = { Fan Zhou and Siqiao Xue and Danrui Qi and Wenhui Shi and Wang Zhao and Ganglin Wei and Hongyang Zhang and Caigai Jiang and Gangwei Jiang and Zhixuan Chu and Faqiang Chen } ,
      year = { 2024 } ,
      eprint = { 2406.11434 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { id='cs.DB' full_name='Databases' is_active=True alt_name=None in_archive='cs' is_general=False description='Covers database management, datamining, and data processing. Roughly includes material in ACM Subject Classes E.2, E.5, H.0, H.2, and J.1.' }
}

? Freundschaftslinks

• Eosphoros

  • Sie sind ein Team von Technologie -Enthusiasten aus Internetunternehmen und NLP -Doktoranden, die sich für Open -Source -Projekte leidenschaftlich interessieren. Ihr Fokus liegt auf der Entwicklung von Lösungen, die die Privatsphäre und Sicherheit von Datenbanken und Großsprachmodellen schützen. Ihr Ziel ist es, sicherzustellen, dass die Fähigkeiten dieser Modelle absolut privat, sicher und unter Kontrolle bleiben.

• Awesome-aigc-Tutorials

  • Fantastische AIGC -Tutorials beherbergen eine kuratierte Sammlung von Tutorials und Ressourcen, die sich über große Sprachmodelle, KI -Malerei und verwandte Felder erstrecken. Entdecken Sie eingehende Einsichten und Wissen, die sowohl für Anfänger als auch für fortgeschrittene KI-Enthusiasten gesorgt haben.