Beranda>Terkait pemrograman>Kode sumber lainnya
Unduh

TEXT2SQL LUAR BIASA ???

Bahasa Inggris |中文版| Kertas

Tutorial dan sumber daya yang dikuratori untuk model bahasa besar, text2sql, text2dsl, text2api, text2vis dan banyak lagi.

? Bagaimana berkontribusi

Kami sangat menyambut kontribusi dari semua orang, apakah Anda telah menemukan kesalahan ketik, bug, memiliki saran, atau ingin berbagi sumber daya yang terkait dengan LLM+Text2SQL. Untuk pedoman terperinci tentang cara berkontribusi, silakan lihat file contributing.md kami.

? Papan peringkat

Wikisql Laba -laba
Pertandingan persis (Em)		 Laba -laba
Eksekusi yang tepat (EX)		 BURUNG
Skor efisiensi valid berbasis hadiah (R-OVes)		 BURUNG
Akurasi Eksekusi (EX)
? 1 93.0
(2021/05-lead+decoding yang dipandu eksekusi)		 81.5
(2023/11-Miniseek)		 91.2
(2023/11-Miniseek)		 69.36
(2024/08-opensearch-sql, v2 + gpt-4o)		 73.00
(2024/09-chase-sql + gemini)
? 2 92.7
(2021/03-SDSQL+decoding yang dipandu eksekusi)		 74.0
(2022/09-graphix-3b + picard)		 86.6
(2023/08-Dail-sql + gpt-4 + konsistensi diri)		 68.79
(2024/08-exsl + granite-34b-code)		 72.39
(2024/09-askdata + gpt-4o)
? 3 92.5
(2020/11 -e-sql+decoding yang dipandu eksekusi)		 73.9
(2022/09-Catsql + Grappa)		 86.2
(2023/08-Dail-sql + GPT-4)		 68.44
(2024/09-chase-sql + gemini)		 72.28
(2024/08-opensearch-sql, v2 + gpt-4o)
4 92.2
(2020/03-hydranet+decoding yang dipandu eksekusi)		 73.1
(2022/09-kapal + picard)		 85.6
(2023/10-dpg-sql + gpt-4 + koreksi diri)		 67.41
(2024/07-Distillery + GPT-4O)		 71.83
(2024/07-Distillery + GPT-4O)
5 91.9
(2020/12-bridge+decoding yang dipandu eksekusi)		 72.9
(2022/05-g³r + lgesql + electra)		 85.3
(2023/04-din-SQL + GPT-4)		 66.92
(2024/09-askdata + gpt-4o)		 70.37
(2024/08-exsl + granite-34b-code)
6 91.8
(2019/08-x-sql+decoding yang dipandu eksekusi)		 72.4
(2022/08-RESDSQL+T5-1.1-LM100K-XL)		 83.9
(2023/07-Hindsight rantai pemikiran dengan GPT-4)		 66.39
(2024/08-Insights AI)		 70.26
(2024/08-Insights AI)
7 91.4
(2021/03-SDSQL)		 72.4
(2022/05-T5-SR)		 82.3
(2023/06-C3 + chatgpt + nol-shot)		 66.25
(2024/05-exsl + granite-20b-code)		 70.21
(2024/07-purple + merah + gpt-4o）
8 91.1
(2020/12-jembatan)		 72.2
(2022/12-N-Best List Rerankers + Picard)		 80.8
(2023/07-Hindsight rantai pemikiran dengan GPT-4 dan instruksi)		 65.70
(2024/07-Recap + Gemini)		 69.03
(2024/07-Recap + Gemini)
9 91.0
(2021/04-text2sqlgen + misalnya)		 72.1
(2021/09-s²sql + electra)		 79.9
(2023/02-RESDSQL-3B + NATSQ)		 65.62
(2024/07-purple + merah + gpt-4o）		 68.87
(2024/07-Bytebrain)
10 90.5
(2020/11-seqgensql+misalnya)		 72.0
(2023/02-RESDSQL-3B + NATSQL)		 78.5
(2022/11-lead + pql)		 63.68
(2024/08-Arcwise + GPT-4O）		 67.86
(2024/05-exsl + granite-20b-code)

Isi

  • TEXT2SQL LUAR BIASA ???
    • ? Bagaimana berkontribusi
    • ? Papan peringkat
    • Isi
    • Perkenalan
    • Survei
    • Model klasik
    • Model dasar
    • Fine-tuning
    • ? Dataset
    • ? Indeks evaluasi
    • ? Perpustakaan
    • ? Proyek Praktek
    • ? Kutipan
    • ? Tautan Persahabatan

Perkenalan

  • Text-to-SQL (atau Text2SQL), sesuai namanya, adalah untuk mengubah teks menjadi SQL. Definisi yang lebih akademis adalah untuk mengubah masalah bahasa alami di bidang database menjadi bahasa kueri terstruktur yang dapat dieksekusi dalam database relasional. Oleh karena itu, teks-ke-SQL juga dapat disingkat sebagai NL2SQL.
    • Input: Pertanyaan bahasa alami, seperti " permintaan informasi yang relevan dari tabel T_USER, dan hasilnya diurutkan dalam urutan menurun berdasarkan ID, dan hanya 10 data pertama yang disimpan. "
    • Output: SQL, seperti " SELECT * DARI PESAN T_USER oleh ID Desc Limit 10 "

Survei

  • (2024-arxiv) dari bahasa alami ke SQL: Tinjauan sistem teks-ke-SQL berbasis LLM [kertas]

  • (2024-arxiv) Model Bahasa Besar Ditingkatkan Generasi Teks-ke-SQL: Survei [Kertas]

  • (2024-Arxiv) Survei NL2SQL dengan model bahasa besar: kemana kita, dan kemana kita akan pergi? [kertas] [kode]

  • (2024-Arxiv) Survei tentang menggunakan model bahasa besar untuk tugas teks-ke-sql [kertas]

  • (2023-VLDB, CCF-A） Survei tentang pendekatan pembelajaran mendalam untuk teks-ke-sql [kertas]

  • (2022-tkde, CCF-A) Survei tentang penguraian teks-ke-sql: konsep, metode, dan arah masa depan [kertas]

  • (2022-Coloing, CCF-B) Kemajuan terbaru dalam teks-ke-SQL: Survei tentang apa yang kita miliki dan apa yang kita harapkan [kertas]

  • (2022-arxiv) Pembelajaran mendalam Bahasa Alami Teks ke Konversi Kueri SQL: Survei [Kertas]

Model klasik

  • (2024-Arxiv, tidak ada) Chase-SQL : Penalaran multi-jalur dan preferensi pemilihan kandidat yang dioptimalkan dalam teks-ke-sql [kertas]

  • (2024-arxiv, tidak ada) E-SQL : SKEMA Langsung Linking melalui pengayaan pertanyaan dalam teks-ke-sql [kertas] [kode]

  • (2024-Arxiv, tidak ada) Penyulingan : Kematian Skema yang Menghubungkan? Teks-ke-SQL di Zaman Model Bahasa yang Diaktifkan dengan Baik [Kertas]

  • (2024-arxiv, tidak ada) DB-GPT-HUB : Menuju Benchmarking Open Text-to-SQL yang diberdayakan oleh model bahasa besar [kertas] [kode]

  • (2024-Arxiv, tidak ada) SuperSQL : Dawn Bahasa Alami untuk SQL: Apakah kita sepenuhnya siap? [kertas] [kode]

  • (2024-arxiv, tidak ada) catur : memanfaatkan kontekstual untuk sintesis SQL yang efisien [kertas] [kode]

  • (2023-arxiv, tidak ada) Mac-SQL : Kerangka kerja kolaboratif multi-agen untuk teks-ke-sql [kertas] [kode]

  • (2023-arxiv, tidak ada) dbcᴏᴘɪʟᴏᴛ : menskalakan bahasa alami permintaan ke database besar [kertas] [kode]

  • (2023-arxiv, tidak ada) teks-ke-sql yang diberdayakan oleh model bahasa besar: evaluasi benchmark [kertas] [kode]

  • (2023-AAAI 2023, CCF-A) RESDSQL : Decoupling Schema Linking dan Skeleton Parsing untuk Text-to-SQL [kertas] [Kode]

  • (2023-arxiv, tidak ada) yang dapat berfungsi sebagai antarmuka basis data? Bangku besar untuk database skala besar, teks-ke-sqls [kertas] [kode]

  • (2023-arxiv, tidak ada) DIN-SQL : Pembelajaran dalam konteks yang didekomposisi teks-ke-SQL dengan koreksi diri [kertas] [kode]

  • (2023-arxiv, tidak ada) Evaluasi komprehensif dari kemampuan Text-to-SQL Zero-shot ChatGPT [kertas] [Kode]

  • (2023-ICLR, CCF-A) Model Bahasa yang Mengikat dalam Bahasa Simbolik [Kertas] [Kode]

  • ;

  • (2023-ICASSP, CCF-B) T5-SR : Strategi decoding SEQ-to-seq terpadu untuk parsing semantik [kertas]

  • (2022-ACL, CCF-A) S 2 SQL : Menyuntikkan sintaks ke encoder grafik interaksi schema pertanyaan untuk parser teks-ke-sql [kertas]

  • (2022-NAACL, CCF-B) SEAD : Generasi Teks-ke-Ujung-ke-SQL dengan Denoising [kertas] yang sadar skema [kertas]

  • (2022-emberlp, CCF-B) Bintang : SQL Dipandu Pra-Pelatihan untuk Teks-ke-SQL yang bergantung pada konteks [kertas] [Kode]

  • (2022-emberlp, CCF-B) RASAT : Mengintegrasikan struktur relasional ke dalam model Seq2seq pretrained untuk teks-ke-sql [kertas] [kode]

  • (2022-emberlp, CCF-B) CQR-SQL : Reformulasi pertanyaan percakapan ditingkatkan Parser teks-ke-sql yang bergantung pada konteks [kertas]

  • (2022-ACL, CCF-A) HIE-SQL : Jaringan Informasi Sejarah yang Ditingkatkan untuk Parsing Semantic Text-to-SQL yang bergantung pada konteks [Kertas]

  • (2022-arxiv, tidak ada) pentingnya mensintesis data berkualitas tinggi untuk penguraian teks-ke-sql [kertas]

  • (2021-ACL, CCF-A) Pemodelan dialog yang dipisahkan dan parsing semantik untuk multi-giliran teks-ke-sql [kertas]

  • (2021-Arxiv, tidak ada) lebih memperhatikan sejarah: strategi pemodelan konteks untuk teks-ke-sql percakapan [kertas] [kode]

  • (2021-ICLR, CCF-A) Skor : Pra-pelatihan untuk representasi konteks dalam parsing semantik percakapan [kertas]

  • (2021-DASFAA, CCF-B) Pendekatan NL2SQL interaktif dengan strategi penggunaan kembali [kertas]

  • (2021-NAACL, CCF-B) Pretraining yang didasarkan pada Text-to-SQL [kertas]

  • (2021-emberlp, CCF-B) PICARD : Parsing secara bertahap untuk decoding regregresif otomatis terbatas dari model bahasa [kertas] [kode]

  • (2021-ICLR, CCF-A) Grappa : Pra-pelatihan pra-pelatihan tata bahasa untuk penguraian semantik tabel [kertas] [kode]

  • (2021-ACL, CCF-A) LGESQL : Line Graph Enhanced Text-to-SQL Model dengan Hubungan Lokal dan Non-Local [kertas] [KODE] yang campuran [Kode]

  • (2020-empu, CCF-B) Mengembalikan data tekstual dan tabel untuk Text-to-SQL Parsing semantik [kertas] [Kode]

  • (2020-ACL, CCF-A) Tabert : Pretraining untuk pemahaman bersama data tekstual dan tabular [kertas] [kode]

  • (2020-ACL, CCF-A) Tikus-SQL : Pengkodean Skema Relationshare dan menghubungkan untuk parser teks-ke-sql [kertas] [kode]

  • (2020-empu, CCF-B) Sebutkan ekstraksi dan tautan untuk SQL Query Generation [kertas]

  • (2020-empu, CCF-B) IGSQL : Model saraf berbasis grafik interaksi skema database untuk teks-ke-SQL yang bergantung pada konteks [kertas] [kode]

  • (2020-arxiv, tidak ada) jaringan peringkat hibrida untuk teks-ke-sql [kertas] [kode]

  • (2019-Arxiv, None) X-SQL : memperkuat representasi skema dengan konteks [kertas]

  • (2019-IMM, CCF-B) Penalaran global atas struktur database untuk penguraian teks-ke-sql [kertas] [kode]

  • (2019-IMM, CCF-B) Generasi kueri SQL yang berbasis pengeditan untuk pertanyaan yang bergantung pada konteks silang [kertas] [Kode]

  • (2019-ACL, CCF-A) yang mewakili struktur skema dengan grafik jaringan saraf untuk penguraian teks-ke-sql [kertas] [kode]

  • (2019-ACL, CCF-A) Menuju teks-ke-SQL yang kompleks dalam database lintas domain dengan representasi menengah [kertas] [kode]

  • (2018-IMM, CCF-B) Syntaxsqlnet : Sintaks Tree Networks untuk Tugas Kompleks dan Domainteks-Untuk-SQL [Kertas] [Kode]

  • (2018-NAACL, CCF-B) TypeQL : Tipe-Aware Neural Text-to-SQL Generation [kertas] [Kode]

  • (2017-Arxiv, tidak ada) SQLNET : Menghasilkan kueri terstruktur dari bahasa alami tanpa pembelajaran penguatan [kertas] [kode]

Model dasar

  • Llama [kertas] [kode] [model]

    • 2023/02, Meta AI mengusulkan llama llm open source, yang memiliki empat skala: 7b, 13b, 33b, dan 65b.

  • Chatglm [kertas] [kode] [model]

    • 2023/03, Tsinghua University mengusulkan model bahasa bilingual terbuka chatglm, berdasarkan kerangka kerja model bahasa umum, dengan spesifikasi 7b.

  • Alpaca [kertas] [kode] [model]

    • 2023/03, Universitas Stanford mengusulkan Alpaca, llm open source disesuaikan berdasarkan model LLAMA 7B. Ada 1 spesifikasi 7b, dan pelatihannya lebih sederhana dan lebih murah.

  • Vicuna [kertas] [kode] [model]

    • 2023/03, UC Berkeley University, CMU dan Stanford University mengusulkan Vicuna, sebuah llm terbuka yang didasarkan pada model Llama, memiliki dua spesifikasi: 7b dan 13b.

  • Wizardlm [kertas] [kode] [model]

    • 2023/04, Universitas Peking dan Microsoft mengusulkan Wizardlm, LLM instruksi evolusi, dengan tiga spesifikasi 7b, 13b, dan 30b. 2023/06, mereka mengusulkan Wizardmath, sebuah llm di bidang matematika. 2023/08, mereka mengusulkan WizardCoder, sebuah llm di bidang kode.

  • Falcon [kertas] [kode] [model]

    • 2023/06, Uni Emirat Arab mengusulkan Falcon, sebuah sumber terbuka LLM yang dilatih semata -mata pada dataset RefinedWeb, dengan empat spesifikasi parameter 1B, 7B, 40B dan 180B. Perlu dicatat bahwa kinerja pada model 40b melebihi 65b llama.

  • Chatglm2 [kertas] [kode] [model]

    • 2023/06, Universitas Tsinghua mengusulkan versi generasi kedua dari ChatGLM, dengan spesifikasi 7B, yang memiliki kinerja yang lebih kuat, konteks yang lebih panjang, inferensi yang lebih efisien dan lisensi yang lebih terbuka.

  • Baichuan-7b [kode] [Model]

    • 2023/06, Baichuan Intelligent Technology mengusulkan Baichuan-7b, model open-source, model bahasa pra-terlatih berskala besar berdasarkan arsitektur transformator, yang berisi 7 miliar parameter dan dilatih pada sekitar 1,2 triliun token. Ini mendukung bahasa Cina dan Inggris dengan panjang jendela konteks 4096.

  • Baichuan-13b [kode] [Model]

    • 2023/07, Teknologi Cerdas Baichuan mengusulkan Baichuan-13b, model bahasa berskala besar open-source, yang tersedia secara komersial, mengikuti Baichuan-7b, yang memiliki dua versi: pra-pelatihan (Baichuan-13b-base) dan Alignment (Baichuan -13b-chat).

  • Internlm [kertas] [kode] [model]

    • 2023/07, Laboratorium Shanghai AI dan Sensetime mengusulkan internlm, yang telah bersumber open-source model dasar parameter 7B dan 20B dan model obrolan yang dirancang untuk skenario praktis dan sistem pelatihan.

  • Llama 2 [kertas] [kode] [model]

    • 2023/07, Meta AI mengusulkan seri LLAMA generasi kedua Llm Llama 2. Dibandingkan dengan Llama 1, data pelatihan adalah 40% lebih, dan panjang konteksnya dua kali lipat. Model ini memiliki empat spesifikasi: 7b, 13b, 34b, dan 70b, tetapi 34b bukan open source.

  • Kode llama [kertas] [kode] [model]

    • 2023/08, Meta AI mengusulkan Code Llama, berdasarkan Llama 2. Kode Llama mencapai kinerja canggih di antara model-model terbuka pada beberapa tolok ukur kode. Ada model yayasan (kode llama), spesialisasi python (kode llama - python), dan model mengikuti instruksi, dengan masing -masing parameter 7b, 13b dan 34b. 2024/01, Meta AI Open Open Sumber Codellama-70B, Codellama-70B-Python dan Codellama-70B-instruct.

  • Qwen [kertas] [kode] [model]

    • 2023/08, ALIBABA Cloud mengusulkan versi 7b-parameter dari seri model bahasa besar QWEN-7B (ABBR. Tongyi Qianwen), pretrained pada sejumlah besar data, termasuk teks web, buku, kode, dll, yang telah terbuka Sumber dua model dengan QWEN-7B dan QWEN-7B-CHAT. 2023/09, Alibaba Cloud memperbarui QWEN-7B dan QWEN-7B-CHAT dan Open Sumber QWEN-14B dan QWEN-14B-CHAT. 2023/11, mereka membuka Sumber Qwen --1.8b, Qwen-1..8b-Cat, Qwen-72b dan Qwen-72b-CHAT.

  • Baichuan 2 [kertas] [kode] [Model]

    • 2023/09, Baichuan Intelligent Technology mengusulkan generasi baru model bahasa besar open-source Baichuan 2, dilatih pada corpus berkualitas tinggi dengan 2,6 triliun token, yang memiliki versi basis dan obrolan untuk 7b dan 13b, dan versi kuantisasi 4bits untuk untuk untuk untuk untuk untuk versi 4bits untuk untuk untuk untuk 4bits untuk untuk untuk untuk versi kuantisasi 4bits untuk untuk untuk untuk untuk 4bits untuk untuk untuk untuk untuk versi kuantisasi 4bits untuk untuk untuk untuk untuk untuk 4bits untuk untuk untuk untuk versi kuantisasi untuk 4bits untuk untuk untuk untuk untuk untuk untuk versi kuantisasi 4bits untuk untuk untuk untuk 4bits untuk untuk untuk untuk untuk untuk untuk 4bits for for for 7bit model obrolan.

  • Phi-1.5 [kertas] [model]

    • 2023/09, Microsoft Research mengusulkan model bahasa open source PHI-1.5, transformator dengan 1,3 miliar parameter, yang dilatih menggunakan sumber data yang sama dengan PHI-1, ditambah dengan sumber data baru yang terdiri dari berbagai teks sintetis NLP. Ketika dinilai terhadap tolok ukur menguji akal sehat, pemahaman bahasa, dan penalaran logis, PHI-1.5 menunjukkan kinerja yang hampir canggih di antara model dengan kurang dari 10 miliar parameter. 2023/12, mereka mengusulkan pHI-2, model bahasa 2,7 miliar-parameter yang menunjukkan penalaran yang luar biasa dan kemampuan pemahaman bahasa, menampilkan kinerja canggih di antara model bahasa dasar dengan kurang dari 13 miliar parameter.

  • Mistral-7b [kertas] [kode] [Model]

    • 2023/10, Perusahaan Mistral-Ai mengusulkan LLM Open Source Mistral 7B, model bahasa 7-miliar-parameter yang direkayasa untuk kinerja dan efisiensi yang unggul. Mistral 7B mengungguli model 13b terbuka terbaik (LLAMA 2) di semua tolok ukur yang dievaluasi, dan model 34B terbaik yang dirilis (Llama 1) dalam penalaran, matematika, dan pembuatan kode. Mereka juga memberikan model yang disempurnakan untuk mengikuti instruksi, Mistral 7B-Instruksi, yang melampaui model Llama 2 13B-Chat baik pada tolok ukur manusia maupun otomatis. 2023/12, mereka mengusulkan llm open source LLM-8x7b, campuran jarang ahli pretrained dari para ahli, yang mengungguli Llama 2 70B pada sebagian besar tolok ukur.

  • Deepseek [kertas] [kode] [model]

    • 2023/11, perusahaan Deepseek-Ai mengusulkan Open Source LLM Deepseek, yang telah dilatih dari awal pada dataset luas 2 triliun token dalam bahasa Inggris dan Cina. Demikian pula, Deepseek LLM terutama memiliki dua kategori: basis dan obrolan, dengan dua format parameter masing -masing 7b dan 67b. Data dari makalahnya menunjukkan bahwa Deepseek LLM 67B melampaui LLAMA-2 70B di berbagai tolok ukur, terutama di domain kode, matematika, dan penalaran. Selain itu, Deepseek LLM 67B Chat menunjukkan kinerja yang unggul dibandingkan dengan GPT-3.5.

  • Minicpm [kertas] [kode] [model]

    • 2024/02, ModelBest Inc. dan Tsinghuanlp mengusulkan minicpm LLM open source, yang merupakan LLM sisi akhir, dengan hanya 2,4b parameter tidak termasuk embeddings (total 2.7b). Layak bahwa minicpm memiliki kinerja yang sangat dekat dibandingkan dengan Mistral-7b pada tolok ukur umum bersumber terbuka dengan kemampuan yang lebih baik pada Cina, matematika dan pengkodean setelah SFT. Kinerja keseluruhan melebihi LLAMA2-13B, MPT-30B, FALCON-40B, dll.

  • Mixtral-8x22b [kertas] [kode] [model]

    • 2024/04, Mistral AI mengusulkan Mixtral Mixtral Terbaru 8x22b. Ini menetapkan standar baru untuk kinerja dan efisiensi dalam komunitas AI. Ini adalah model campuran ekspert (SMOE) yang jarang yang hanya menggunakan parameter aktif 39B dari 141B, menawarkan efisiensi biaya yang tak tertandingi untuk ukurannya.

  • Phi-3 [kertas] [model]

    • 2024/04, Microsoft mengusulkan model Phi-3, yang merupakan model bahasa kecil yang paling mampu dan hemat biaya (SLM) yang tersedia, mengungguli model dengan ukuran yang sama dan ukuran berikutnya di berbagai bahasa, penalaran, pengkodean, dan tolok ukur matematika. Phi-3-mini tersedia dalam dua varian panjang konteks-token 4K dan 128K. Ini adalah model pertama di kelasnya untuk mendukung jendela konteks hingga 128k token, dengan sedikit dampak pada kualitas. PHI-3-Small (7b) dan phi-3-medium (14B) akan tersedia dalam katalog model AIure AI dan taman model lainnya segera.

  • Llama 3 [kertas] [kode] [model]

    • 2024/04, Meta AI mengusulkan seri LLAMA generasi ketiga Model Llama 3. Model ini memiliki 2 spesifikasi parameter, 8b dan 70b, dengan versi dasar dan instruksi masing -masing. Model yang menarik, Llama 3 adalah lompatan besar di atas Llama 2 dan membangun canggih baru untuk model LLM di skala tersebut.

  • Qwen-1.5-110b [kertas] [kode] [model]

    • 2024/04, Alibaba Cloud mengusulkan model 100b+ pertama dari seri QWEN1.5, QWEN1.5-110B, yang mencapai kinerja yang sebanding dengan meta-llama3-70b dalam evaluasi model dasar, dan kinerja yang luar biasa dalam evaluasi obrolan, termasuk MT -Bench dan Alpacaeval 2.0. QWEN1.5 adalah versi beta QWEN2, yang memiliki 9 ukuran model, termasuk 0,5b, 1,8b, 4b, 7b, 14b, 32b, 72b, dan 110b model padat, dan model MOE 14B dengan 2,7B diaktifkan.

  • Qwen2 [kertas] [kode] [model]

    • 2024/06, ALIBABA Cloud mengusulkan evolusi dari QWEN1.5 ke QWEN2, yang memiliki 5 ukuran model, termasuk QWEN2-0.5B, QWEN2-1.5B, QWEN2-7B, QWEN2-57B-A14B, dan QWEN2-72B. QWEN2-72B menunjukkan kinerja superior dibandingkan dengan model terkemuka seperti LLAMA-3-70B. Khususnya, ia melampaui kinerja pendahulunya, Qwen1.5-110b, meskipun memiliki lebih sedikit parameter.

  • Llama 3.1 [kertas] [kode] [model]

    • 2024/07, Meta AI mengusulkan LLAMA 3.1 405B, yang merupakan model pertama yang tersedia secara terbuka yang menyaingi model AI teratas dalam hal kemampuan canggih dalam pengetahuan umum, kemauan, matematika, penggunaan alat, dan multibahasa terjemahan. Sebagai bagian dari rilis terbaru ini, mereka memperkenalkan versi yang ditingkatkan dari model 8B dan 70B. Ini adalah multibahasa dan memiliki panjang konteks yang jauh lebih lama 128K, penggunaan alat canggih, dan kemampuan penalaran yang lebih kuat secara keseluruhan.

  • Qwen2.5 [kertas] [kode] [model]

    • 2024/09, Alibaba Cloud mengusulkan tambahan terbaru untuk keluarga Qwen: Qwen2.5, bersama dengan model khusus untuk pengkodean, Qwen2.5-Coder, dan Matematika, Qwen2.5-math. Semua model bobot terbuka adalah model bahasa yang padat, hanya decoder, tersedia dalam berbagai ukuran, termasuk: Qwen2.5 (0,5b, 1,5b, 3b, 7b, 14b, 32b, dan 72b), qwen2.5-coder (1.5 B, 7b, dan 32b dalam perjalanan) dan qwen2.5-math (1.5b, 7b, dan 72b). Mereka membandingkan model open-source terbesar mereka, QWEN2.5-72B-instruktur terhadap model open-source terkemuka seperti LLAMA-3.1-70B-INSTRCT dan Mistral-Large-V2-Instruksi dan mencapai hasil terbaik dalam berbagai indikator.

  • Llama 3.2 [kertas] [kode] [model]

    • 2024/09, Meta AI mengusulkan LLAMA 3.2, yang mencakup LLMS penglihatan kecil dan menengah (11b dan 90b), dan model yang ringan dan hanya teks (1b dan 3b) yang sesuai dengan perangkat tepi dan seluler, termasuk pra-pelatihan dan versi yang disesuaikan dengan instruksi. Model LLAMA 3.2 1B dan 3B mendukung panjang konteks 128K token dan merupakan canggih di kelas mereka untuk kasus penggunaan di perangkat seperti peringkasan, pengikut instruksi, dan tugas penulisan ulang yang berjalan secara lokal di tepi. Model -model ini diaktifkan pada hari pertama untuk perangkat keras Qualcomm dan Mediatek dan dioptimalkan untuk prosesor ARM.

Fine-tuning

  • P-tuning [kertas] [kode]

    • 2021/03, Universitas Tsinghua dan yang lainnya mengusulkan P-Tuning, metode penyempurnaan untuk LLM, yang menggunakan embeddings kata cepat yang dapat dilatih untuk mengurangi biaya penyempurnaan.

  • Lora [kertas] [kode]

    • 2021/06, Microsoft mengusulkan metode adaptasi peringkat rendah untuk menyempurnakan LLM dengan membekukan bobot pra-pelatihan.

  • P-tuning v2 [kertas] [kode]

    • 2021/10, Universitas Tsinghua mengusulkan P-Tuning V2, versi yang lebih baik dari P-tuning dengan kinerja yang lebih baik.

  • Rlhf [kertas] [kode]

    • 2022/12, OpenAI menggunakan metode RLHF (Penguatan Pembelajaran Dari Umpan Balik Manusia) untuk melatih chatgpt, dan menggunakan sinyal umpan balik manusia untuk secara langsung mengoptimalkan model bahasa, dengan kinerja yang sangat baik.

  • Rrhf [kertas] [kode]

    • 2023/04, Alibaba mengusulkan paradigma pembelajaran baru yang disebut RRHF （peringkat respons untuk menyelaraskan model bahasa dengan umpan balik manusia tanpa air mata), yang dapat disetel semudah penyempurnaan dan mencapai kinerja yang sama dengan PPO dalam dataset HH.

  • Qlora [kertas] [kode]

    • 2023/05, Universitas Washington mengusulkan metode qlora, berdasarkan model kuantisasi 4bit beku, dikombinasikan dengan pelatihan metode LORA, yang selanjutnya mengurangi biaya penyesuaian.

  • Rltf [kertas] [kode]

    • 2023/07, Tencent mengusulkan RLTF （Pembelajaran Penguatan dari Umpan Balik Uji Unit), kerangka kerja RL online baru dengan umpan balik uji unit multi-granularitas untuk pemurnian kode LLMS.

  • RRTF [kertas]

    • 2023/07, Huawei mengusulkan RRTF （Tanggapan peringkat untuk Align Test & Guru Umpan Balik). Dibandingkan dengan RLHF, RRHF dapat secara efisien menyelaraskan probabilitas output model bahasa dengan preferensi manusia, dengan hanya 1-2 model yang diperlukan selama periode tuning, dan lebih sederhana daripada PPO dalam hal implementasi, penyetelan hiperparameter, dan pelatihan.

  • Rlaif [kertas]

    • 2023/09, Google mengusulkan RLAIF (RL dari umpan balik AI), sebuah teknik di mana preferensi diberi label oleh LLM di luar rak sebagai pengganti manusia. Mereka menemukan bahwa metode RLHF dan RLAIF mencapai hasil yang serupa pada tugas peringkasan.

? Dataset

  • Wikisql [kertas] [kode] [dataset]

    • 2017/09, Salesforce mengusulkan Wikiset Text-to-SQL yang besar, data tersebut berasal dari Wikipedia, yang termasuk dalam satu domain, berisi 80.654 pertanyaan bahasa alami, dan 77.840 pernyataan sql. Bentuk pernyataan SQL relatif sederhana, dan tidak termasuk penyortiran, pengelompokan, dan subqueries dan operasi kompleks lainnya.

  • Spider 1.0 [kertas] [kode] [dataset]

    • 2018/09, Universitas Yale mengusulkan laba-laba data teks-ke-sql dengan beberapa database, beberapa tabel, dan kueri putaran tunggal. Ini juga diakui sebagai daftar evaluasi lintas domain skala besar yang paling sulit di industri. Ini berisi 10.181 pertanyaan bahasa alami dan 5.693 pernyataan sql. Melibatkan lebih dari 200 database di 138 bidang yang berbeda, tingkat kesulitan dibagi menjadi: mudah, sedang, sulit, dan sangat sulit. 2024/02, Universitas Yale telah membuka Sumber Koleksi Uji Papan Tinggi Spider 1.0, dan mereka akan membuka sumber data Spider 2.0 pada bulan Maret.

  • SPARC [kertas] [kode] [dataset]

    • 2019/06, Universitas Yale mengusulkan SPARC dataset besar untuk parsing semantik yang kompleks, lintas domain, dan konteks (multi-turn) dan tugas teks-ke-sql, yang terdiri dari 4.298 urutan pertanyaan yang koheren (12k+ pertanyaan individu unik beranotasi Dengan kueri SQL yang dianotasi oleh 14 siswa Yale), diperoleh dari interaksi pengguna dengan 200 database kompleks lebih dari 138 domain.

  • Cspider [kertas] [kode] [dataset]

    • 2019/09, Universitas Westlake mendorong cspider dataset Tiongkok besar untuk penguraian semantik kompleks dan lintas domain dan tugas teks-ke-SQL, diterjemahkan dari Spider oleh 2 peneliti NLP dan 1 mahasiswa ilmu komputer, yang terdiri dari 10.181 pertanyaan dan 5.693 kompleks unik kompleks unik, kompleks unik, yang terdiri dari 10.181 pertanyaan dan 5.693 kompleks unik yang unik Kueri SQL pada 200 database dengan beberapa tabel yang mencakup 138 domain yang berbeda.

  • Cosql [kertas] [kode] [dataset]

    • 2019/09, Yale University and Salesforce Research propose a cross-domain database CoSQL, which consists of 30k+ turns plus 10k+ annotated SQL queries, obtained from a Wizard-of-Oz (WOZ) collection of 3k dialogues querying 200 complex DBs spanning 138 domains .

  • Tableqa [kertas] [dataset]

    • 2020/06, Teknologi Zhuiyi mengusulkan bahasa alami lintas-domain skala besar ke SQL Dataset Tableqa dalam bahasa Cina yang terdiri dari 64.891 pertanyaan dan 20.311 kueri SQL unik pada lebih dari 6.000 tabel.

  • Dusql [kertas] [dataset]

    • 2020/11, Baidu mengusulkan DUSQL SCHES dan pragmatis DUSQL untuk tugas lintas-domain-TOSQL, berisi 200 database, 813 tabel, dan 23.797 pasangan pertanyaan/sql.

  • Kaggledbqa [kertas] [kode] [dataset]

    • 2021/06, University of Washington dan Microsoft Research mengusulkan KaggledBQA, dataset evaluasi lintas-domain dari database web nyata dengan tipe data khusus domain, pemformatan asli, dan pertanyaan yang tidak dibatasi. Ini mencakup 272 contoh di 8 database, dengan rata -rata 2,25 tabel per database. Dataset terkenal karena sumber data dunia nyata, lingkungan penulisan pertanyaan alami, dan dokumentasi basis data dengan pengetahuan domain yang kaya. Statistik utama: 8,7% di mana klausa, 73,5% val, 24,6% pilih, dan 6,8% tidak terpilih.

  • Chase [kertas] [kode] [dataset]

    • 2021/08, Universitas Xi'an Jiaotong dan Microsoft mengusulkan dataset Teks-ke-Teks-ke-SQL Multi-Domain, yang berisi daftar 5459 pertanyaan multi-putaran dan 17940 <kueri, SQL> Grup Biner.

  • Bird-sql [kertas] [kode] [dataset]

    • 2023/05, University of Hong Kong dan Alibaba mengusulkan burung dataset lintas-domain berskala besar, yang berisi lebih dari 12.751 pasangan sql tanya jawab yang unik, 95 database besar dengan ukuran total 33,4 GB. Ini juga mencakup lebih dari 37 domain profesional, seperti blockchain, hoki, perawatan kesehatan dan pendidikan, dll.

  • Bird-SQL mini-dev [kertas] [kode] [dataset]

    • 2024/06, kolaborasi antara University of Hong Kong dan Alibaba berlanjut dengan merilis mini-dev Bird-SQL, versi Lite dari dataset pengembangan mereka yang dirancang untuk pengujian model SQL yang efisien dan hemat biaya. Dataset ini mengkompilasi 500 pasangan Text2SQL berkualitas tinggi dari 11 database yang berbeda dan mendukung format MySQL dan PostgreSQL. Ini fitur pengenalan dua metrik evaluasi baru: skor efisiensi valid berbasis hadiah (R-OVes) dan soft-score soft, baik saat ini dalam beta dan secara khusus dikembangkan untuk meningkatkan akurasi dan efisiensi model teks-ke-SQL di pengaturan pengembangan.

  • Spider 2.0 [kertas] [kode] [dataset]

    • 2024/08, Spider 2.0, diusulkan oleh Xlang AI, berfungsi sebagai kerangka evaluasi lanjutan untuk tugas teks-ke-sql dalam alur kerja tingkat perusahaan dunia nyata. Ini berisi 600 masalah alur kerja teks-ke-sql yang kompleks, berasal dari berbagai kasus penggunaan database perusahaan. Dataset mencakup basis data yang bersumber dari aplikasi data aktual, sering berisi lebih dari 1.000 kolom, dan disimpan di cloud atau sistem lokal seperti BigQuery, Snowflake, atau PostgreSQL. Masalah di Spider 2.0 memerlukan pemahaman dan pencarian melalui metadata basis data, dokumentasi dialek, dan basis kode tingkat proyek. Tantangannya termasuk memproses konteks yang panjang, melakukan penalaran yang rumit, dan menghasilkan banyak kueri SQL dengan beragam operasi, seringkali melebihi 100 baris. Model canggih saat ini, seperti GPT-4, hanya menyelesaikan 6,0% dari pertanyaan, menyoroti kesulitan dataset dan kebutuhan akan agen kode berbasis LLM yang lebih maju dan otonom.

? Indeks evaluasi

  • Akurasi eksekusi (EX) [kertas]

    • Definisi: Hitung proporsi dari jumlah yang benar dari hasil eksekusi SQL dalam kumpulan data, dan hasilnya mungkin terlalu tinggi.

  • Pencocokan tepat (EM) [kertas]

    • Definisi: Hitung tingkat pencocokan antara SQL yang dihasilkan oleh model dan SQL yang ditandai, dan hasilnya mungkin diremehkan.

? Perpustakaan

  • mindsql

    • MindSQL adalah perpustakaan Rag Python (Retrieval-Augmmented Generation) yang dirancang untuk merampingkan interaksi antara pengguna dan database mereka hanya menggunakan beberapa baris kode. Dengan integrasi yang mulus untuk database terkenal seperti PostgreSQL, MySQL, dan SQLite, MindSQL juga memperluas kemampuannya ke basis data utama seperti Snowflake dan BigQuery dengan memperluas kelas inti. Perpustakaan menggunakan model bahasa besar (LLM) seperti GPT-4, Llama 2, Google Gemini, dan mendukung basis pengetahuan seperti Chromadb dan FAIS

  • Premsql

    • PremsQL adalah perpustakaan ringan yang bertujuan untuk menyediakan alat modular dan dapat diperpanjang untuk bahasa alami ke aplikasi SQL. Ini akan membantu pengembang membangun solusi kain yang lebih terkontrol berdasarkan database yang berbeda. Ini berupaya menawarkan alat untuk evaluasi, penyesuaian, konektor, dan kerangka kerja agen. PremsQL juga muncul dengan teks parameter 1b prem-1B-sql a untuk model SQL dengan 51,54 % pada set tes pribadi Birdbench. Ini sangat ringan dan berfungsi untuk teks lokal sepenuhnya untuk generasi SQL.

? Proyek Praktek

  • DB-GPT-HUB

    • Organisasi Eosphoros mengusulkan proyek open source yang berfokus pada penyempurnaan teks-ke-SQL berdasarkan LLM, termasuk unduhan model skala besar, pemrosesan dataset, teknologi penyempurnaan seperti Lora dan Qlora, prediksi model, evaluasi model dan langkah-langkah lainnya .

  • SQLCODER

    • Organisasi DEFOG mengusulkan LLM teks-ke-sql canggih, yang memiliki kinerja luar biasa dan lebih baik dari GPT3.5, WizardCoder dan Starcoder, dll., Kedua setelah GPT4.

  • modal_finetune_sql

    • Proyek ini didasarkan pada model LLAMA 2 7B untuk penyempurnaan teks-ke-SQL, yang mencakup pelatihan lengkap, penyesuaian, dan proses evaluasi.

  • Llama-efisien-tuning

    • Kerangka kerja penyempurnaan LLM yang mudah digunakan (LLAMA-2, Bloom, Falcon, Baichuan, Qwen, obrolan

? Kutipan

Jika Anda menemukan Text2SQL berguna untuk penelitian atau pengembangan Anda, silakan kutip makalah berikut: 

 @misc { zhou2024dbgpthub ,
      title = { DB-GPT-Hub: Towards Open Benchmarking Text-to-SQL Empowered by Large Language Models } , 
      author = { Fan Zhou and Siqiao Xue and Danrui Qi and Wenhui Shi and Wang Zhao and Ganglin Wei and Hongyang Zhang and Caigai Jiang and Gangwei Jiang and Zhixuan Chu and Faqiang Chen } ,
      year = { 2024 } ,
      eprint = { 2406.11434 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { id='cs.DB' full_name='Databases' is_active=True alt_name=None in_archive='cs' is_general=False description='Covers database management, datamining, and data processing. Roughly includes material in ACM Subject Classes E.2, E.5, H.0, H.2, and J.1.' }
}

? Tautan Persahabatan

  • Eosphoros

    • Mereka adalah tim penggemar teknologi dari perusahaan internet dan mahasiswa pascasarjana NLP yang bersemangat tentang proyek open source. Fokus mereka adalah mengembangkan solusi yang melindungi privasi dan keamanan basis data dan model bahasa besar. Tujuan mereka adalah untuk memastikan bahwa kemampuan model -model ini tetap benar -benar pribadi, aman, dan terkendali.

  • Tutorial-AIGC yang mengagumkan

    • Tutorial AIGC yang luar biasa menampung koleksi tutorial dan sumber daya yang dikuratori yang membentang di seluruh model bahasa besar, lukisan AI, dan bidang terkait. Temukan wawasan mendalam dan pengetahuan yang melayani pemula dan penggemar AI tingkat lanjut.
Memperluas
Informasi Tambahan
Aplikasi Terkait
Direkomendasikan untuk Anda
Informasi Terkait Semua