Awesome Text2SQL

Text2SQL สุดยอด ???

ภาษาอังกฤษ |中文版| กระดาษ

บทช่วยสอนและทรัพยากรสำหรับแบบจำลองภาษาขนาดใหญ่ Text2SQL, Text2DSL, Text2API, Text2VIS และอื่น ๆ

- วิธีการมีส่วนร่วม

เรายินดีต้อนรับการมีส่วนร่วมอย่างอบอุ่นจากทุกคนไม่ว่าคุณจะพบการพิมพ์ผิดบั๊กมีข้อเสนอแนะหรือต้องการแบ่งปันทรัพยากรที่เกี่ยวข้องกับ LLM+Text2SQL สำหรับแนวทางโดยละเอียดเกี่ยวกับวิธีการมีส่วนร่วมโปรดดูไฟล์ MD ที่มีส่วนร่วมของเรา

- ลีดเดอร์บอร์ด

	Wikisql	แมงมุม การจับคู่ที่แน่นอน (EM)	แมงมุม การดำเนินการที่แน่นอน (เช่น)	นก คะแนนประสิทธิภาพที่ถูกต้องตามรางวัล (R-VES)	นก ความแม่นยำในการดำเนินการ (EX)
1	93.0 (2021/05-SEAD+DECODING-GUADED-DECODING)	81.5 (2023/11 มินิส)	91.2 (2023/11 มินิส)	69.36 (2024/08-OpenSearch-SQL, V2 + GPT-4O)	73.00 (2024/09-Chase-SQL + GEMINI)
? 2	92.7 (2021/03-SDSQL+การถอดรหัสนำทางการดำเนินการ))	74.0 (2022/09-Graphix-3b + Picard)	86.6 (2023/08-Dail-SQL + GPT-4 + ความสม่ำเสมอ)	68.79 (2024/08-EXSL + GRANITE-34B-CODE)	72.39 (2024/09-askdata + GPT-4O)
? 3	92.5 (2020/11-IE-SQL+Decoding-Guided-Guided-Guided Decoding)	73.9 (2022/09-Catsql + Grappa)	86.2 (2023/08-dail-SQL + GPT-4)	68.44 (2024/09-Chase-SQL + GEMINI)	72.28 (2024/08-OpenSearch-SQL, V2 + GPT-4O)
4	92.2 (2020/03-Hydranet+Decoding-Guiding-Guided Decoding)	73.1 (2022/09-Ship + Picard)	85.6 (2023/10-DPG-SQL + GPT-4 + การแก้ไขตนเอง)	67.41 (2024/07-Distillery + GPT-4O)	71.83 (2024/07-Distillery + GPT-4O)
5	91.9 (2020/12-Bridge+Decoding-Guiding-Guided Decoding)	72.9 (2022/05-g³r + LGESQL + ELECTRA)	85.3 (2023/04-DIN-SQL + GPT-4)	66.92 (2024/09-askdata + GPT-4O)	70.37 (2024/08-EXSL + GRANITE-34B-CODE)
6	91.8 (2019/08-X-SQL+Decoding-Guiding-Guided Decoding)	72.4 (2022/08-RESDSQL+T5-1.1-LM100K-XL)	83.9 (2023/07-Hindsight Chain of Thought ด้วย GPT-4)	66.39 (2024/08-Insights AI)	70.26 (2024/08-Insights AI)
7	91.4 (2021/03-SDSQL)	72.4 (2022/05-T5-SR)	82.3 (2023/06-C3 + chatgpt + zero-shot)	66.25 (2024/05-EXSL + GRANITE-20B-CODE)	70.21 (2024/07-PURPLE + RED + GPT-4O)
8	91.1 (2020/12-bridge)	72.2 (2022/12-N-Best List Rerankers + Picard)	80.8 (2023/07-Hindsight Chain of Thought ด้วย GPT-4 และคำแนะนำ)	65.70 (2024/07-Recap + Gemini)	69.03 (2024/07-Recap + Gemini)
9	91.0 (2021/04-text2sqlgen + EG)	72.1 (2021/09-s²sql + Electra)	79.9 (2023/02-RESDSQL-3B + NATSQ)	65.62 (2024/07-PURPLE + RED + GPT-4O)	68.87 (2024/07-bytebrain)
10	90.5 (2020/11-seqgensql+eg)	72.0 (2023/02-RESDSQL-3B + NATSQL)	78.5 (2022/11-sead + PQL)	63.68 (2024/08-arcwise + GPT-4O)	67.86 (2024/05-EXSL + GRANITE-20B-CODE)

สารบัญ

• Text2SQL สุดยอด ???
  • - วิธีการมีส่วนร่วม
  • - ลีดเดอร์บอร์ด
  • สารบัญ
  • การแนะนำ
  • สำรวจ
  • โมเดลคลาสสิค
  • รุ่นฐาน
  • การปรับแต่ง
  • - ชุดข้อมูล
  • - ดัชนีการประเมินผล
  • - ห้องสมุด
  • - โครงการฝึกปฏิบัติ
  • - การอ้างอิง
  • - ลิงค์มิตรภาพ

การแนะนำ

• Text-to-SQL (หรือ text2SQL) ตามชื่อหมายถึงคือการแปลงข้อความเป็น SQL คำจำกัดความทางวิชาการที่มากขึ้นคือการแปลงปัญหาภาษาธรรมชาติในฟิลด์ฐานข้อมูลเป็นภาษาสืบค้นที่มีโครงสร้างซึ่งสามารถดำเนินการในฐานข้อมูลเชิงสัมพันธ์ ดังนั้นข้อความถึง SQL จึงสามารถย่อเป็น NL2SQL ได้
  • อินพุต: คำถามภาษาธรรมชาติเช่น " สอบถามข้อมูลที่เกี่ยวข้องของตาราง t_user และผลลัพธ์จะถูกจัดเรียงตามลำดับจากมากไปน้อยตาม ID และมีเพียง 10 ข้อมูลแรกเท่านั้นที่ถูกเก็บไว้ "
  • เอาต์พุต: SQL เช่น " เลือก * จากคำสั่ง t_user โดย ID DESC Limit 10 "

สำรวจ

• (2024-arxiv) จากภาษาธรรมชาติถึง SQL: การทบทวนระบบข้อความกับ SQL แบบ LLM [กระดาษ]

• (2024-arxiv) รูปแบบภาษาขนาดใหญ่ปรับปรุงการสร้างข้อความถึง SQL: การสำรวจ [กระดาษ]

• (2024-Arxiv) การสำรวจ NL2SQL ด้วยแบบจำลองภาษาขนาดใหญ่: เราอยู่ที่ไหนและเราจะไปที่ไหน? [กระดาษ] [รหัส]

• (2024-Arxiv) การสำรวจเกี่ยวกับการใช้แบบจำลองภาษาขนาดใหญ่สำหรับงานแบบข้อความถึง SQL [PAPER]

• (2023-VLDB, CCF-A) การสำรวจวิธีการเรียนรู้เชิงลึกสำหรับข้อความถึง SQL [กระดาษ]

• (2022-TKDE, CCF-A) การสำรวจการแยกวิเคราะห์แบบข้อความถึง SQL: แนวคิดวิธีการและทิศทางในอนาคต [กระดาษ]

• (2022-Coloing, CCF-B) ความก้าวหน้าล่าสุดในข้อความถึง SQL: การสำรวจสิ่งที่เรามีและสิ่งที่เราคาดหวัง [กระดาษ]

• (2022-Arxiv) ข้อความภาษาธรรมชาติที่ขับเคลื่อนด้วยการเรียนรู้อย่างลึก

โมเดลคลาสสิค

• (2024-arxiv, ไม่มี) Chase-SQL : การใช้เหตุผลหลายเส้นทางและการเลือกผู้สมัครที่ได้รับการปรับให้เหมาะสมที่สุดในข้อความถึง SQL [กระดาษ]

• (2024-arxiv, ไม่มี) e-SQL : การเชื่อมโยงสคีโดยตรงโดยตรงผ่านการเพิ่มคำถามในข้อความถึง SQL [กระดาษ] [รหัส]

• (2024-Arxiv, ไม่มี) โรงกลั่น : การตายของสคีมาเชื่อมโยง? Text-to-sql ในยุคของแบบจำลองภาษาที่มีเหตุผลอย่างดี [Paper]

• (2024-arxiv, ไม่มี) DB-GPT-Hub : ไปสู่การเปิดการเปรียบเทียบแบบเปิด text-to-SQL ได้รับพลังจากโมเดลภาษาขนาดใหญ่ [กระดาษ] [รหัส]

• (2024-Arxiv, ไม่มี) SuperSQL : รุ่งอรุณของภาษาธรรมชาติถึง SQL: เราพร้อมหรือยัง? [กระดาษ] [รหัส]

• (2024-Arxiv, ไม่มี) หมากรุก : การควบคุมบริบทสำหรับการสังเคราะห์ SQL ที่มีประสิทธิภาพ [กระดาษ] [รหัส]

• (2023-arxiv, ไม่มี) MAC-SQL : กรอบการทำงานร่วมกันแบบหลายตัวแทนสำหรับข้อความถึง SQL [กระดาษ] [รหัส]

• (2023-arxiv, ไม่มี) DBCᴏᴘɪʟᴏᴛ : การปรับขนาดภาษาธรรมชาติสืบค้นไปยังฐานข้อมูลขนาดใหญ่ [กระดาษ] [รหัส]

• (2023-arxiv, ไม่มี) ข้อความถึง SQL ได้รับพลังจากแบบจำลองภาษาขนาดใหญ่: การประเมินเกณฑ์มาตรฐาน [กระดาษ] [รหัส]

• (2023-AAAI 2023, CCF-A) ResdSQL : การเชื่อมโยงสคีมา Decoupling และการวิเคราะห์โครงกระดูกสำหรับข้อความถึง SQL [กระดาษ] [รหัส]

• (2023-arxiv, ไม่มี) LLM สามารถทำหน้าที่เป็นอินเทอร์เฟซฐานข้อมูลได้หรือไม่? ม้านั่งขนาดใหญ่สำหรับฐานข้อมูลขนาดใหญ่ที่มีสายข้อความถึง SQLS [Paper] [Code]

• (2023-arxiv, ไม่มี) DIN-SQL : ย่อยสลายการเรียนรู้ในบริบทของข้อความถึง SQL ด้วยการแก้ไขตนเอง [กระดาษ] [รหัส]

• (2023-arxiv, ไม่มี) การประเมินที่ครอบคลุมเกี่ยวกับความสามารถในการส่งข้อความแบบ searer-shot to-sql ของ Chatgpt [Paper] [Code]

• (2023-ICLR, CCF-A) แบบจำลองภาษาที่มีผลผูกพันในภาษาสัญลักษณ์ [กระดาษ] [รหัส]

• (2023-SIGMOD, CCF-A) การแปลแบบ text-sql แบบ sql ไม่กี่แบบโดยใช้โครงสร้างและการเรียนรู้ที่รวดเร็วของเนื้อหา [กระดาษ] [รหัส]

• (2023-ICASSP, CCF-B) T5-SR : กลยุทธ์การถอดรหัส SEQ-to-Seq แบบครบวงจรสำหรับการแยกวิเคราะห์ความหมาย [กระดาษ]

• (2022-ACL, CCF-A) S ² SQL : การฉีดไวยากรณ์ไปยังกราฟการโต้ตอบแบบอินเตอร์แอคทีฟคำถามสำหรับตัวแยกวิเคราะห์แบบข้อความถึง SQL [กระดาษ]

• (2022-NAACL, CCF-B) SEAD : การสร้างข้อความถึงแบบ end-to-end ด้วยการ denoising Schema-Aware [Paper]

• (2022-ENDENLP, CCF-B) Star : SQL Guided Pre-Training สำหรับการแยกวิเคราะห์แบบ text-to-SQL ที่ขึ้นกับบริบท [กระดาษ] [รหัส]

• (2022-ENDENLP, CCF-B) RASAT : การรวมโครงสร้างเชิงสัมพันธ์เข้ากับโมเดล SEQ2SEQ ที่ผ่านการฝึกฝนไว้สำหรับข้อความถึง SQL [PAPER] [CODE]

• (2022-ENDENLP, CCF-B) CQR-SQL : การปรับคำถามการสนทนาการปรับเปลี่ยนการปรับเปลี่ยนข้อความที่ขึ้นอยู่กับบริบทเป็นตัวแยกวิเคราะห์แบบ te-to-SQL [PAPER]

• (2022-ACL, CCF-A) HIE-SQL : ข้อมูลประวัติเครือข่ายที่ปรับปรุงแล้วสำหรับการแยกวิเคราะห์ความหมายแบบ text-to-SQL ที่ขึ้นกับบริบท [กระดาษ]

• (2022-arxiv, ไม่มี) ความสำคัญของการสังเคราะห์ข้อมูลคุณภาพสูงสำหรับการแยกวิเคราะห์ข้อความถึง SQL [กระดาษ]

• (2021-ACL, CCF-A) การสร้างแบบจำลองบทสนทนาและการแยกวิเคราะห์ความหมายสำหรับหลายครั้งที่ส่งข้อความถึง SQL [กระดาษ]

• (2021-arxiv, ไม่มี) ให้ความสนใจกับประวัติศาสตร์มากขึ้น: กลยุทธ์การสร้างแบบจำลองบริบทสำหรับการสนทนา text-to-sql [paper] [รหัส]

• (2021-ICLR, CCF-A) คะแนน : การฝึกอบรมล่วงหน้าสำหรับการเป็นตัวแทนบริบทในการแยกความหมายของการสนทนา [กระดาษ]

• (2021-DASFAA, CCF-B) วิธีการแบบโต้ตอบ NL2SQL ด้วยกลยุทธ์การใช้ซ้ำ [กระดาษ]

• (2021-NAACL, CCF-B) การเตรียมโครงสร้างแบบพื้นดินสำหรับข้อความถึง SQL [กระดาษ]

• (2021-ENDENLP, CCF-B) Picard : การแยกวิเคราะห์เพิ่มขึ้นสำหรับการถอดรหัสการรับรู้แบบอัตโนมัติแบบเร่งรัดจากแบบจำลองภาษา [กระดาษ] [รหัส]

• (2021-ICLR, CCF-A) Grappa : การฝึกอบรมก่อนการฝึกไวยากรณ์สำหรับการแยกความหมายของตาราง [กระดาษ] [รหัส]

• (2021-ACL, CCF-A) LGESQL : กราฟบรรทัดปรับปรุงโมเดลข้อความถึง SQL ที่มีความสัมพันธ์แบบผสมในท้องถิ่นและไม่ใช่ท้องถิ่น [กระดาษ] [รหัส]

• (2020-ENDENLP, CCF-B) เชื่อมโยงข้อมูลข้อความและตารางสำหรับการแยกวิเคราะห์ความหมายแบบข้อความข้ามโดเมนเป็น SQL [PAPER] [CODE]

• (2020-ACL, CCF-A) แท็บ : การเตรียมการเพื่อความเข้าใจร่วมกันของข้อมูลที่เป็นข้อความและตาราง [กระดาษ] [รหัส]

• (2020-ACL, CCF-A) Rat-SQL : การเข้ารหัสสคีมาที่รับรู้และการเชื่อมโยงสำหรับตัวแยกวิเคราะห์แบบข้อความกับ SQL [กระดาษ] [รหัส]

• (2020-ENMENLP, CCF-B) พูดถึงการสกัดและการเชื่อมโยงสำหรับการสร้างแบบสอบถาม SQL [กระดาษ]

• (2020-ENDENLP, CCF-B) IGSQL : รูปแบบการโต้ตอบแบบสคีมาของฐานข้อมูลกราฟตามรูปแบบระบบประสาทตามบริบทที่ขึ้นกับบริบทการสร้าง [PAPER] [CODE]

• (2020-arxiv, ไม่มี) เครือข่ายการจัดอันดับไฮบริดสำหรับข้อความถึง SQL [กระดาษ] [รหัส]

• (2019-arxiv, ไม่มี) X-SQL : เสริมการแสดงสคีมาด้วยบริบท [กระดาษ]

• (2019-ENDENLP, CCF-B) การใช้เหตุผลทั่วโลกผ่านโครงสร้างฐานข้อมูลสำหรับการแยกวิเคราะห์แบบข้อความถึง SQL [กระดาษ] [รหัส]

• (2019-ENDENLP, CCF-B) การสร้างแบบสอบถาม SQL ที่ใช้การแก้ไขสำหรับคำถามที่ขึ้นกับบริบทข้ามโดเมน [กระดาษ] [รหัส]

• (2019-ACL, CCF-A) เป็นตัวแทนของโครงสร้างสคีมาด้วยเครือข่ายประสาทกราฟสำหรับการแยกวิเคราะห์แบบข้อความถึง SQL [กระดาษ] [รหัส]

• (2019-ACL, CCF-A) ไปยังข้อความที่ซับซ้อน to-sql ในฐานข้อมูลข้ามโดเมนที่มีการเป็นตัวแทนระดับกลาง [กระดาษ] [รหัส]

• (2018-ENDENLP, CCF-B) SyntaxsqlNet : เครือข่ายแผนผังไวยากรณ์สำหรับงานที่ซับซ้อนและข้ามโดเมนเท็กซ์-to-SQL [กระดาษ] [รหัส]

• (2018-NaAcl, CCF-B) TypesQL : การสร้างข้อความที่เป็นแบบรับรู้ประเภทความรู้ที่รับรู้ถึง [กระดาษ] [รหัส] [รหัส]

• (2017-Arxiv, ไม่มี) SQLNET : การสร้างแบบสอบถามที่มีโครงสร้างจากภาษาธรรมชาติโดยไม่ต้องเรียนรู้การเสริมแรง [กระดาษ] [รหัส]

รุ่นฐาน

• llama [กระดาษ] [รหัส] [รุ่น]

  • 2023/02, Meta AI เสนอ Open Source LLM LLAMA ซึ่งมีสี่สเกล: 7B, 13B, 33B และ 65B

• chatglm [กระดาษ] [รหัส] [รุ่น]

  • 2023/03, มหาวิทยาลัย Tsinghua เสนอรูปแบบภาษาสองภาษาแบบเปิดตามกรอบรูปแบบภาษาทั่วไปโดยมีข้อมูลจำเพาะของ 7B

• Alpaca [Paper] [Code] [Model]

  • 2023/03 มหาวิทยาลัยสแตนฟอร์ดเสนอ Alpaca ซึ่งเป็นโอเพนซอร์ส LLM ปรับแต่งตามรุ่น LLAMA 7B มี 1 สเปคของ 7b และการฝึกอบรมนั้นง่ายกว่าและถูกกว่า

• Vicuna [Paper] [Code] [Model]

  • 2023/03, UC Berkeley University, CMU และ Stanford University เสนอ Vicuna, Souce LLM แบบเปิดตามรูปแบบ Llama มีสองข้อกำหนด: 7b และ 13b

• Wizardlm [Paper] [Code] [Model]

  • 2023/04, Peking University และ Microsoft เสนอ Wizardlm, LLM ของคำแนะนำวิวัฒนาการโดยมีข้อกำหนดสามประการของ 7B, 13B และ 30B 2023/06 พวกเขาเสนอ WizardMath ซึ่งเป็น LLM ในสาขาคณิตศาสตร์ 2023/08 พวกเขาเสนอ WizardCoder ซึ่งเป็น LLM ในสาขารหัส

• Falcon [Paper] [Code] [Model]

  • 2023/06, สหรัฐอาหรับเอมิเรตส์เสนอ Falcon ซึ่งเป็นโอเพนซอร์ส LLM ที่ผ่านการฝึกอบรมเพียงอย่างเดียวในชุดข้อมูล WelinedWeb โดยมีข้อกำหนดพารามิเตอร์สี่ตัวของ 1B, 7B, 40B และ 180B เป็นที่น่าสังเกตว่าประสิทธิภาพของโมเดล 40b นั้นสูงกว่า 65b Llama

• chatglm2 [กระดาษ] [รหัส] [รุ่น]

  • 2023/06, มหาวิทยาลัย Tsinghua เสนอรุ่นที่สองของ Chatglm， ด้วยข้อกำหนดของ 7B ซึ่งมีประสิทธิภาพที่แข็งแกร่งบริบทที่ยาวขึ้นการอนุมานที่มีประสิทธิภาพมากขึ้นและใบอนุญาตเปิดมากขึ้น

• Baichuan-7b [รหัส] [รุ่น]

  • 2023/06 เทคโนโลยีอัจฉริยะของ Baichuan เสนอ Baichuan-7b ซึ่งเป็นแบบจำลองภาษาโอเพนซอร์ซโอเพนซอร์ซขนาดใหญ่ที่ได้รับการฝึกฝนมาก่อนตามสถาปัตยกรรมหม้อแปลงซึ่งมีพารามิเตอร์ 7 พันล้านตัวและฝึกฝนบนโทเค็นประมาณ 1.2 ล้านล้าน รองรับทั้งภาษาจีนและภาษาอังกฤษที่มีความยาวหน้าต่างบริบท 4096

• Baichuan-13b [รหัส] [รุ่น]

  • 2023/07, เทคโนโลยีอัจฉริยะ Baichuan เสนอ Baichuan-13b, โอเพนซอร์ซ, แบบจำลองภาษาขนาดใหญ่ที่มีวางจำหน่ายทั่วไปตาม Baichuan-7b ซึ่งมีสองเวอร์ชัน: การฝึกอบรมก่อน (Baichuan-13b-base) และการจัดตำแหน่ง (Baichuan -13b-Chat)

• internlm [กระดาษ] [รหัส] [รุ่น]

  • 2023/07, ห้องปฏิบัติการเซี่ยงไฮ้ AI และ Sensetime เสนอ InternLM ซึ่งมีการเปิดตัวโมเดลฐานพารามิเตอร์ 7B และ 20B และโมเดลแชทที่เหมาะสำหรับสถานการณ์จริงและระบบการฝึกอบรม

• Llama 2 [Paper] [Code] [Model]

  • 2023/07, Meta AI เสนอ LLM LLM LLM Series รุ่นที่สอง Llama Llm Llama 2. เมื่อเทียบกับ Llama 1 ข้อมูลการฝึกอบรมเพิ่มขึ้น 40% และความยาวบริบทเพิ่มขึ้นเป็นสองเท่า โมเดลมีสี่ข้อกำหนด: 7b, 13b, 34b และ 70b แต่ 34b ไม่ใช่โอเพนซอร์ส

• รหัส LLAMA [กระดาษ] [รหัส] [รุ่น]

  • 2023/08, Meta AI เสนอ Code Llama ตาม llama 2. รหัส Llama มาถึงประสิทธิภาพที่ทันสมัยท่ามกลางโมเดลเปิดบนมาตรฐานรหัสหลายแบบ มีโมเดลพื้นฐาน (รหัส Llama), Python Specializations (Code Llama - Python) และโมเดลตามคำสั่งตามพารามิเตอร์ 7B, 13B และ 34B แต่ละพารามิเตอร์ 2024/01, Meta AI Open Sourced Codellama-70b, Codellama-70b-Python และ Codellama-70b-Instruct

• qwen [กระดาษ] [รหัส] [รุ่น]

  • 2023/08, Alibaba Cloud เสนอรุ่น 7B-Parameter ของซีรี่ส์รุ่นภาษาขนาดใหญ่ QWEN-7B (Abbr. Tongyi Qianwen) ได้รับการปรับแต่งจากข้อมูลจำนวนมากรวมถึงข้อความบนเว็บหนังสือรหัส ฯลฯ มาสองรุ่นที่มี QWEN-7B และ QWEN-7B-Chat 2023/09, Alibaba Cloud ได้อัพเดต QWEN-7B และ QWEN-7B-Chat และเปิด QWEN-14B และ QWEN-14B-Chat 2023/11 พวกเขาเปิดแหล่งที่มา Qwen-1.8b, Qwen-1.8b-Chat, Qwen-72b และ Qwen-72b-Chat

• Baichuan 2 [Paper] [Code] [Model]

  • 2023/09, เทคโนโลยีอัจฉริยะ Baichuan เสนอรุ่นใหม่ของโอเพนซอร์ซขนาดใหญ่รุ่นใหม่ Baichuan 2 ได้รับการฝึกฝนในคลังข้อมูลคุณภาพสูงที่มีโทเค็น 2.6 ล้านล้านซึ่งมีรุ่นฐานและแชทสำหรับ 7B และ 13B รูปแบบการแชท

• phi-1.5 [กระดาษ] [รุ่น]

  • 2023/09, Microsoft Research เสนอรูปแบบภาษาโอเพ่นซอร์ส PHI-1.5 ซึ่งเป็นหม้อแปลงที่มีพารามิเตอร์ 1.3 พันล้านพารามิเตอร์ซึ่งได้รับการฝึกฝนโดยใช้แหล่งข้อมูลเดียวกันกับ PHI-1 ซึ่งเสริมด้วยแหล่งข้อมูลใหม่ที่ประกอบด้วยตำราสังเคราะห์ NLP ต่างๆ เมื่อประเมินกับมาตรฐานการทดสอบสามัญสำนึกความเข้าใจภาษาและการใช้เหตุผลเชิงตรรกะ Phi-1.5 แสดงให้เห็นถึงประสิทธิภาพที่ล้ำสมัยในหมู่แบบจำลองที่มีพารามิเตอร์น้อยกว่า 10 พันล้าน 2023/12 พวกเขาเสนอ PHI-2 ซึ่งเป็นรูปแบบภาษาพารามิเตอร์ 2.7 พันล้านที่แสดงให้เห็นถึงความสามารถในการใช้เหตุผลและความเข้าใจภาษาที่โดดเด่นแสดงให้เห็นถึงประสิทธิภาพที่ทันสมัยในแบบจำลองภาษาพื้นฐานที่มีพารามิเตอร์น้อยกว่า 13 พันล้านพารามิเตอร์

• MISTRAL-7B [กระดาษ] [รหัส] [รุ่น]

  • 2023/10 บริษัท Mistral-AI เสนอโอเพ่นซอร์ส LLM Mistral 7B ซึ่งเป็นแบบจำลองภาษา 7 พันล้านพารามิเตอร์ที่ออกแบบมาเพื่อประสิทธิภาพและประสิทธิภาพที่เหนือกว่า Mistral 7B มีประสิทธิภาพสูงกว่ารุ่น 13B ที่เปิดกว้างที่สุด (LLAMA 2) ในเกณฑ์มาตรฐานที่ประเมินทั้งหมดและรุ่น 34B ที่เปิดตัวที่ดีที่สุด (LLAMA 1) ในการใช้เหตุผลคณิตศาสตร์และการสร้างรหัส พวกเขายังให้แบบจำลองที่ปรับแต่งเพื่อทำตามคำแนะนำ Mistral 7B-สั่งให้เหนือกว่า Llama 2 13b-Chat โมเดลทั้งในเกณฑ์มาตรฐานของมนุษย์และอัตโนมัติ 2023/12， พวกเขาเสนอโอเพ่นซอร์ส LLM MixTRAL-8X7B ซึ่งเป็นส่วนผสมที่กระจัดกระจายกำเนิดของผู้เชี่ยวชาญซึ่งมีประสิทธิภาพสูงกว่า Llama 2 70B บนเกณฑ์มาตรฐานส่วนใหญ่

• Deepseek [Paper] [Code] [Model]

  • 2023/11 บริษัท Deepseek-AI เสนอ Open Source LLM Deepseek ซึ่งได้รับการฝึกฝนมาตั้งแต่เริ่มต้นในชุดข้อมูลอันกว้างใหญ่ของ 2 ล้านล้านโทเค็นทั้งในภาษาอังกฤษและจีน ในทำนองเดียวกัน LLM Deepseek ส่วนใหญ่มีสองประเภท: ฐานและแชทโดยมีรูปแบบพารามิเตอร์สองรูปแบบของ 7B และ 67B ตามลำดับ ข้อมูลจากกระดาษแสดงให้เห็นว่า Deepseek LLM 67B เหนือกว่า LLAMA-2 70B ในช่วงของมาตรฐานโดยเฉพาะอย่างยิ่งในโดเมนของรหัสคณิตศาสตร์และการใช้เหตุผล นอกจากนี้การแชท Deepseek LLM 67B ยังมีประสิทธิภาพที่เหนือกว่าเมื่อเทียบกับ GPT-3.5

• MINICPM [กระดาษ] [รหัส] [รุ่น]

  • 2024/02, ModelBest Inc. และ Tsinghuanlp เสนอ LLM MINICPM โอเพ่นซอร์สซึ่งเป็น LLM ด้านปลายโดยมีพารามิเตอร์เพียง 2.4B ที่ไม่รวม EMBEDDINGS (ทั้งหมด 2.7B) มันคุ้มค่าที่ MinICPM มีประสิทธิภาพอย่างใกล้ชิดเมื่อเทียบกับ MISTRAL-7B ในเกณฑ์มาตรฐานทั่วไปที่เปิดกว้างที่มีความสามารถที่ดีขึ้นในภาษาจีนคณิตศาสตร์และการเข้ารหัสหลังจาก SFT ประสิทธิภาพโดยรวมเกินกว่า LLAMA2-13B, MPT-30B, FALCON-40B ฯลฯ

• Mixtral-8x22b [กระดาษ] [รหัส] [รุ่น]

  • 2024/04, Mistral AI เสนอรุ่นเปิดล่าสุด Mixtral 8x22b มันกำหนดมาตรฐานใหม่สำหรับประสิทธิภาพและประสิทธิภาพภายในชุมชน AI มันเป็นโมเดลผสมผสานของ Experts (SMOE) ที่ใช้พารามิเตอร์ที่ใช้งานเพียง 39B จาก 141B ซึ่งให้ประสิทธิภาพด้านต้นทุนที่ไม่มีใครเทียบได้สำหรับขนาดของมัน

• phi-3 [กระดาษ] [รุ่น]

  • 2024/04, Microsoft เสนอรุ่น PHI-3 ซึ่งเป็นรุ่นภาษาขนาดเล็กที่มีความสามารถและประหยัดค่าใช้จ่ายมากที่สุด (SLMS) ที่มีประสิทธิภาพสูงกว่าขนาดเท่ากันและขนาดถัดไปในภาษาที่หลากหลายการใช้เหตุผลการเข้ารหัสและ เกณฑ์มาตรฐานทางคณิตศาสตร์ Phi-3-Mini มีให้เลือกสองแบบความยาวบริบท-โทเค็น 4K และ 128K มันเป็นรุ่นแรกในชั้นเรียนที่รองรับหน้าต่างบริบทของโทเค็นสูงสุด 128K โดยมีผลกระทบต่อคุณภาพเพียงเล็กน้อย Phi-3-small (7b) และ Phi-3-medium (14b) จะวางจำหน่ายในแคตตาล็อก AICURE AI Model และสวนรุ่นอื่น ๆ ในไม่ช้า

• Llama 3 [Paper] [Code] [Model]

  • 2024/04, Meta AI เสนอรุ่นที่สาม Llama Open Open Model Llama ขนาดใหญ่ 3. โมเดลมีข้อกำหนดพารามิเตอร์ 2 ตัว 8B และ 70B พร้อมฐานและแนะนำเวอร์ชันตามลำดับ อย่างน่าตื่นเต้น Llama 3 รุ่นเป็นก้าวกระโดดครั้งใหญ่เหนือ Llama 2 และสร้างรูปแบบใหม่ที่ทันสมัยสำหรับรุ่น LLM ในระดับเหล่านั้น

• QWEN-1.5-110B [กระดาษ] [รหัส] [รุ่น]

  • 2024/04, Alibaba Cloud เสนอรุ่น 100B+ แรกของซีรีย์ QWEN1.5, QWEN1.5-110B ซึ่งได้รับประสิทธิภาพเทียบเท่ากับ Meta-LLAMA3-70B ในการประเมินแบบจำลองพื้นฐานและประสิทธิภาพที่โดดเด่นในการประเมินการแชทรวมถึง MT -Bench และ Alpacaeval 2.0 QWEN1.5 เป็นรุ่นเบต้าของ QWEN2 ซึ่งมีขนาด 9 รุ่นรวมถึง 0.5B, 1.8B, 4B, 7B, 14B, 32B, 72B และ 110B รุ่นหนาแน่นและโมเดล MOE ของ 14B พร้อมเปิดใช้งาน 2.7B

• qwen2 [กระดาษ] [รหัส] [รุ่น]

  • 2024/06, Alibaba Cloud เสนอวิวัฒนาการจาก QWEN1.5 ถึง QWEN2 ซึ่งมีขนาด 5 รุ่นรวมถึง QWEN2-0.5B, QWEN2-1.5B, QWEN2-7B, QWEN2-57B-A14B และ QWEN2-72B QWEN2-72B แสดงประสิทธิภาพที่เหนือกว่าเมื่อเทียบกับรุ่นชั้นนำเช่น LLAMA-3-70B โดยเฉพาะอย่างยิ่งมันเกินกว่าประสิทธิภาพของรุ่นก่อน qwen1.5-110b แม้จะมีพารามิเตอร์น้อยลง

• llama 3.1 [กระดาษ] [รหัส] [รุ่น]

  • 2024/07, Meta AI เสนอ LLAMA 3.1 405B ซึ่งเป็นรุ่นแรกที่เปิดเผยอย่างเปิดเผยซึ่งเป็นคู่แข่งของโมเดล AI อันดับต้น การแปล เป็นส่วนหนึ่งของรุ่นล่าสุดนี้พวกเขากำลังแนะนำรุ่น 8B และ 70B ที่อัปเกรด สิ่งเหล่านี้มีหลายภาษาและมีความยาวบริบทที่ยาวขึ้นอย่างมีนัยสำคัญของ 128K การใช้เครื่องมือที่ทันสมัยและความสามารถในการใช้เหตุผลโดยรวมที่แข็งแกร่งขึ้น

• qwen2.5 [กระดาษ] [รหัส] [รุ่น]

  • 2024/09, Alibaba Cloud เสนอการเพิ่มล่าสุดของตระกูล Qwen: QWEN2.5 พร้อมกับรุ่นพิเศษสำหรับการเข้ารหัส, QWEN2.5-CODER และคณิตศาสตร์ QWEN2.5-Math โมเดลที่มีน้ำหนักเปิดทั้งหมดนั้นมีความหนาแน่นสูงแบบจำลองภาษาแบบถอดรหัสเท่านั้นมีให้เลือกหลายขนาดรวมถึง: QWEN2.5 (0.5B, 1.5B, 3B, 7B, 14B, 32B และ 72B), QWEN2.5-CODER (1.5 B, 7B และ 32B ระหว่างทาง) และ QWEN2.5-MATH (1.5B, 7B และ 72B) พวกเขาเปรียบเทียบโมเดลโอเพ่นซอร์สที่ใหญ่ที่สุดของพวกเขา QWEN2.5-72B-Instruct กับโมเดลโอเพ่นซอร์สชั้นนำเช่น LLAMA-3.1-70B-Instrct และ Mistral-Large-V2-Instruct และได้ผลลัพธ์ที่ดีที่สุดในตัวชี้วัดหลายตัว

• llama 3.2 [กระดาษ] [รหัส] [รุ่น]

  • 2024/09, Meta AI เสนอ LLAMA 3.2 ซึ่งรวมถึง LLMS วิสัยทัศน์ขนาดเล็กและขนาดกลาง (11B และ 90B) และรุ่นที่มีน้ำหนักเบาข้อความเดียว (1B และ 3B) ที่พอดีกับอุปกรณ์มือถือและอุปกรณ์เคลื่อนที่รวมถึงการฝึกอบรมล่วงหน้าล่วงหน้า และเวอร์ชันที่ปรับแต่งคำสั่ง รุ่น LLAMA 3.2 1B และ 3B รองรับความยาวบริบทของโทเค็น 128K และเป็นล้ำสมัยในชั้นเรียนของพวกเขาสำหรับกรณีการใช้งานในอุปกรณ์เช่นการสรุปการเรียนการสอนต่อไปนี้และงานเขียนใหม่ที่ทำงานอยู่ที่ขอบ รุ่นเหล่านี้เปิดใช้งานในวันแรกสำหรับฮาร์ดแวร์ Qualcomm และ MediaTek และปรับให้เหมาะสมสำหรับตัวประมวลผล ARM

การปรับแต่ง

• p-tuning [กระดาษ] [รหัส]

  • 2021/03, มหาวิทยาลัย Tsinghua และคนอื่น ๆ เสนอ P-tuning ซึ่งเป็นวิธีการปรับแต่งสำหรับ LLM ซึ่งใช้การฝังคำต่อเนื่องแบบต่อเนื่องเพื่อลดค่าใช้จ่ายในการปรับแต่ง

• Lora [กระดาษ] [รหัส]

  • 2021/06, Microsoft เสนอวิธีการปรับตัวระดับต่ำสำหรับการปรับแต่ง LLM โดยการแช่แข็งน้ำหนักก่อนการฝึกอบรม

• P-tuning v2 [กระดาษ] [รหัส]

  • 2021/10 มหาวิทยาลัย Tsinghua เสนอ P-tuning V2 ซึ่งเป็นรุ่นที่ได้รับการปรับปรุงให้ดีขึ้นพร้อมประสิทธิภาพที่ดีขึ้น

• RLHF [กระดาษ] [รหัส]

  • 2022/12, OpenAI ใช้วิธี RLHF (การเรียนรู้การเสริมแรงจากข้อเสนอแนะของมนุษย์) เพื่อฝึกอบรม CHATGPT และใช้สัญญาณความคิดเห็นของมนุษย์เพื่อเพิ่มประสิทธิภาพแบบจำลองภาษาโดยตรงด้วยประสิทธิภาพที่ยอดเยี่ยม

• rrhf [กระดาษ] [รหัส]

  • 2023/04, อาลีบาบาเสนอกระบวนทัศน์การเรียนรู้ใหม่ที่เรียกว่า RRHF （การตอบสนองอันดับของแบบจำลองภาษากับความคิดเห็นของมนุษย์โดยไม่ต้องน้ำตา) ซึ่งสามารถปรับได้อย่างง่ายดายเช่นเดียวกับการปรับแต่งและบรรลุประสิทธิภาพที่คล้ายกันกับ PPO ในชุดข้อมูล HH

• Qlora [กระดาษ] [รหัส]

  • 2023/05, มหาวิทยาลัยวอชิงตันเสนอวิธี Qlora โดยใช้แบบจำลองปริมาณ 4 บิตแช่แข็งรวมกับการฝึกอบรมวิธี LORA ซึ่งจะช่วยลดค่าใช้จ่ายในการปรับจูน

• RLTF [กระดาษ] [รหัส]

  • 2023/07, Tencent เสนอ RLTF （การเรียนรู้การเสริมแรงจากข้อเสนอแนะการทดสอบหน่วย), กรอบ RL ออนไลน์ใหม่ที่มีข้อเสนอแนะการทดสอบหน่วยของหลายระดับสำหรับการกลั่นรหัส LLMS

• rrtf [กระดาษ]

  • 2023/07, Huawei เสนอ RRTF （การตอบสนองอันดับเพื่อจัดตำแหน่งการทดสอบและคำติชมของครู) เมื่อเปรียบเทียบกับ RLHF RRHF สามารถจัดตำแหน่งความน่าจะเป็นเอาท์พุทของแบบจำลองภาษาได้อย่างมีประสิทธิภาพกับการตั้งค่าของมนุษย์โดยมีเพียง 1-2 รุ่นที่ต้องการในช่วงระยะเวลาการปรับแต่งและง่ายกว่า PPO ในแง่ของการใช้งานการปรับพารามิเตอร์และการฝึกอบรม

• rlaif [กระดาษ]

  • 2023/09, Google เสนอ RLAIF (RL จาก AI คำติชม) ซึ่งเป็นเทคนิคที่การตั้งค่าถูกระบุโดย LLM นอกชั้นวางแทนมนุษย์ พวกเขาพบว่าวิธี RLHF และ RLAIF บรรลุผลลัพธ์ที่คล้ายกันในงานสรุป

- ชุดข้อมูล

• wikisql [กระดาษ] [รหัส] [ชุดข้อมูล]

  • 2017/09, Salesforce เสนอชุดข้อมูล text-to-SQL ขนาดใหญ่ WikisQL ข้อมูลมาจาก Wikipedia ซึ่งเป็นของโดเมนเดียวมีคำถามภาษาธรรมชาติ 80,654 คำถามและคำสั่ง 77,840 SQL รูปแบบของคำสั่ง SQL นั้นค่อนข้างง่ายและไม่รวมการเรียงลำดับการจัดกลุ่มและการคาดการณ์ย่อยและการดำเนินการที่ซับซ้อนอื่น ๆ

• แมงมุม 1.0 [กระดาษ] [รหัส] [ชุดข้อมูล]

  • 2018/09, มหาวิทยาลัยเยลเสนอแมงมุมชุดข้อมูล te text-to-SQL พร้อมฐานข้อมูลหลายฐานข้อมูลหลายตารางและการสืบค้นรอบเดียว นอกจากนี้ยังได้รับการยอมรับว่าเป็นรายการประเมินผลข้ามโดเมนขนาดใหญ่ที่ยากที่สุดในอุตสาหกรรม มันมีคำถามภาษาธรรมชาติ 10,181 คำถามและ 5,693 คำสั่ง SQL เกี่ยวข้องกับฐานข้อมูลมากกว่า 200 ฐานใน 138 สาขาที่แตกต่างกันระดับความยากแบ่งออกเป็น: ง่ายปานกลางยากและยากมาก 2024/02 มหาวิทยาลัยเยลได้เปิดตัวทดสอบคอลเลกชันของ Spider 1.0 Leadyboard และพวกเขาจะเปิดแหล่งข้อมูล Spider 2.0 ในเดือนมีนาคม

• sparc [paper] [รหัส] [ชุดข้อมูล]

  • 2019/06, มหาวิทยาลัยเยลเสนอชุดข้อมูลขนาดใหญ่ sparc สำหรับคอมเพล็กซ์, ข้ามโดเมน, และบริบทที่ขึ้นอยู่กับ (หลายเทิร์น) การแยกวิเคราะห์ความหมายและงาน text-to-sql ซึ่งประกอบด้วยลำดับคำถามที่เชื่อมโยงกัน 4,298 ด้วยการสืบค้น SQL มีคำอธิบายประกอบโดยนักเรียน Yale 14 คน) ที่ได้รับจากการโต้ตอบของผู้ใช้กับ 200 ฐานข้อมูลที่ซับซ้อนมากกว่า 138 โดเมน

• cspider [กระดาษ] [รหัส] [ชุดข้อมูล]

  • 2019/09, Westlake University นำเสนอชุดข้อมูลจีนขนาดใหญ่สำหรับการแยกวิเคราะห์ความหมายแบบซับซ้อนและข้ามโดเมนและงาน text-to-SQL แปลจากแมงมุมโดยนักวิจัย NLP 2 คนและนักศึกษาวิทยาศาสตร์คอมพิวเตอร์ 1 คนซึ่งประกอบด้วยคำถาม 10,181 คำถามและ 5,693 SQL แบบสอบถามบนฐานข้อมูล 200 ฐานข้อมูลที่มีหลายตารางครอบคลุม 138 โดเมนที่แตกต่างกัน

• cosql [กระดาษ] [รหัส] [ชุดข้อมูล]

  • 2019/09, มหาวิทยาลัยเยลและการวิจัย Salesforce เสนอฐานข้อมูลข้ามโดเมน COSQL ซึ่งประกอบด้วย 30K+ เทิร์นบวก 10K+ คำค้นหา SQL ที่มีคำอธิบายประกอบที่ได้รับจากการรวบรวม Wizard-Oz (WOZ) ของบทสนทนา 3K ที่ซับซ้อน .

• tableqa [กระดาษ] [ชุดข้อมูล]

  • 2020/06, เทคโนโลยี Zhuiyi เสนอภาษาธรรมชาติข้ามโดเมนขนาดใหญ่ให้กับชุดข้อมูล SQL Tableqa ในภาษาจีนประกอบด้วยคำถาม 64,891 คำถามและ 20,311 SQL แบบสอบถามที่ไม่ซ้ำกันบนตารางมากกว่า 6,000 ตาราง

• dusql [กระดาษ] [ชุดข้อมูล]

  • 2020/11, Baidu เสนอชุดข้อมูล DUSQL ของจีนขนาดใหญ่และในทางปฏิบัติสำหรับงาน Cross-Domain Text-TOSQL ที่มีฐานข้อมูล 200 ฐานข้อมูล 813 ตารางและ 23,797 คำถาม/SQL คู่

• Kaggledbqa [กระดาษ] [รหัส] [ชุดข้อมูล]

  • 2021/06, มหาวิทยาลัยวอชิงตันและ Microsoft Research เสนอ Kaggledbqa, ชุดข้อมูลการประเมินข้ามโดเมนของฐานข้อมูลเว็บจริงที่มีประเภทข้อมูลเฉพาะโดเมนการจัดรูปแบบดั้งเดิมและคำถามที่ไม่ จำกัด มันมี 272 ตัวอย่างใน 8 ฐานข้อมูลโดยมีค่าเฉลี่ย 2.25 ตารางต่อฐานข้อมูล ชุดข้อมูลมีความโดดเด่นสำหรับแหล่งข้อมูลในโลกแห่งความเป็นจริงสภาพแวดล้อมการเขียนคำถามธรรมชาติและเอกสารฐานข้อมูลที่มีความรู้โดเมนที่หลากหลาย สถิติที่สำคัญ: 8.7% โดยที่ประโยค, 73.5% VAL, 24.6% เลือกและ 6.8% ไม่ใช่การเลือก

• Chase [Paper] [Code] [ชุดข้อมูล]

  • 2021/08, Xi'an Jiaotong University และ Microsoft เสนอชุดข้อมูลภาษาจีนข้ามแบบหลายรอบตัวครั้งแรกซึ่งมีรายการคำถามหลายรอบ 5459 และ 17940 <Query, SQL> กลุ่มไบนารี

• Bird-SQL [กระดาษ] [รหัส] [ชุดข้อมูล]

  • 2023/05 มหาวิทยาลัยฮ่องกงและอาลีบาบาเสนอชุดข้อมูลข้ามโดเมนขนาดใหญ่ซึ่งมีมากกว่า 12,751 คู่คำถามที่ไม่ซ้ำกัน, 95 ฐานข้อมูลขนาดใหญ่ที่มีขนาดทั้งหมด 33.4 GB นอกจากนี้ยังครอบคลุมมากกว่า 37 โดเมนมืออาชีพเช่น blockchain, ฮอกกี้, การดูแลสุขภาพและการศึกษา ฯลฯ

• Bird-SQL Mini-Dev [Paper] [Code] [ชุดข้อมูล]

  • 2024/06 การทำงานร่วมกันระหว่างมหาวิทยาลัยฮ่องกงและอาลีบาบาดำเนินการต่อไปด้วยการเปิดตัว Mini-Dev Bird-SQL ซึ่งเป็นชุดข้อมูลการพัฒนา Lite ที่ออกแบบมาสำหรับการทดสอบแบบจำลอง SQL ที่มีประสิทธิภาพและคุ้มค่า ชุดข้อมูลนี้รวบรวมคู่ Text2SQL คุณภาพสูง 500 คู่จากฐานข้อมูลที่แตกต่างกัน 11 ฐานและรองรับทั้งรูปแบบ MySQL และ PostgreSQL มันมีการแนะนำตัวชี้วัดการประเมินใหม่สองตัว: คะแนนประสิทธิภาพที่ถูกต้องตามรางวัล (R-VES) และคะแนน Soft F1 ทั้งในปัจจุบันอยู่ในเบต้าและพัฒนาโดยเฉพาะเพื่อเพิ่มความแม่นยำและประสิทธิภาพของโมเดลข้อความถึง SQL ใน การตั้งค่าการพัฒนา

• Spider 2.0 [Paper] [Code] [ชุดข้อมูล]

  • 2024/08, แมงมุม 2.0 เสนอโดย Xlang AI ทำหน้าที่เป็นกรอบการประเมินขั้นสูงสำหรับงาน text-to-SQL ภายในเวิร์กโฟลว์ระดับองค์กรในโลกแห่งความเป็นจริง มันมีปัญหาเวิร์กโฟลว์แบบข้อความถึง SQL ที่ซับซ้อน 600 ปัญหาซึ่งได้มาจากกรณีการใช้ฐานข้อมูลองค์กรต่างๆ ชุดข้อมูลประกอบด้วยฐานข้อมูลที่มาจากแอปพลิเคชันข้อมูลจริงมักมีคอลัมน์มากกว่า 1,000 คอลัมน์และเก็บไว้ในระบบคลาวด์หรือระบบท้องถิ่นเช่น BigQuery, Snowflake หรือ PostgreSQL ปัญหาใน Spider 2.0 ต้องการความเข้าใจและการค้นหาผ่านข้อมูลเมตาฐานข้อมูลเอกสารภาษาถิ่นและรหัสฐานระดับโครงการ ความท้าทายรวมถึงการประมวลผลบริบทที่ยาวนานการดำเนินการให้เหตุผลที่ซับซ้อนและการสร้างแบบสอบถาม SQL หลายรายการด้วยการดำเนินงานที่หลากหลายมักจะเกิน 100 บรรทัด โมเดลที่ทันสมัยในปัจจุบันเช่น GPT-4 แก้ปัญหาได้เพียง 6.0% ของคำถามที่เน้นความยากลำบากของชุดข้อมูลและความจำเป็นในการพัฒนารหัสรหัส LLM แบบอิสระขั้นสูง

- ดัชนีการประเมินผล

• ความแม่นยำในการดำเนินการ (EX) [กระดาษ]

  • คำจำกัดความ: คำนวณสัดส่วนของจำนวนการดำเนินการ SQL ที่ถูกต้องในชุดข้อมูลและผลลัพธ์อาจประเมินค่าสูงเกินไป

• การจับคู่ที่แน่นอน (EM) [กระดาษ]

  • คำจำกัดความ: คำนวณระดับการจับคู่ระหว่าง SQL ที่สร้างโดยโมเดลและ SQL ที่ทำเครื่องหมายไว้และผลลัพธ์อาจถูกประเมินต่ำกว่า

- ห้องสมุด

• Mindsql

  • MindSQL เป็นไลบรารี Python Rag (Retrieval-Augmented Generation) ที่ออกแบบมาเพื่อปรับปรุงการโต้ตอบระหว่างผู้ใช้และฐานข้อมูลของพวกเขาโดยใช้รหัสเพียงไม่กี่บรรทัด ด้วยการรวมที่ไร้รอยต่อสำหรับฐานข้อมูลที่มีชื่อเสียงเช่น PostgreSQL, MySQL และ SQLITE ทำให้ MINDSQL ขยายความสามารถไปยังฐานข้อมูลสำคัญเช่นเกล็ดหิมะและ BigQuery โดยขยายคลาสหลัก ห้องสมุดใช้โมเดลภาษาขนาดใหญ่ (LLM) เช่น GPT-4, Llama 2, Google Gemini และสนับสนุนฐานความรู้เช่น Chromadb และ Fais

• premsql

  • PremSQL เป็นห้องสมุดที่มีน้ำหนักเบาซึ่งมีจุดมุ่งหมายเพื่อให้เครื่องมือแบบแยกส่วนและขยายได้สำหรับภาษาธรรมชาติไปยังแอปพลิเคชัน SQL สิ่งนี้จะช่วยให้นักพัฒนาสร้างโซลูชัน RAG ที่ควบคุมได้มากขึ้นตามฐานข้อมูลที่แตกต่างกัน มันพยายามที่จะนำเสนอเครื่องมือสำหรับการประเมินการปรับแต่งการเชื่อมต่อและเฟรมเวิร์กตัวแทน PremSQL ยังมาพร้อมกับ PREM-1B-SQL ข้อความพารามิเตอร์ 1B ไปยังรุ่น SQL ด้วย 51.54 % สำหรับชุดทดสอบส่วนตัวของ Birdbench มันมีน้ำหนักเบาสุด ๆ และใช้งานได้สำหรับข้อความท้องถิ่นอย่างสมบูรณ์เพื่อสร้าง SQL

- โครงการฝึกปฏิบัติ

• DB-GPT-HUB

  • องค์กร Eosphoros เสนอโครงการโอเพ่นซอร์สโดยมุ่งเน้นไปที่การปรับแต่งแบบ text-to-SQL โดยใช้ LLM รวมถึงการดาวน์โหลดแบบจำลองขนาดใหญ่ชุดข้อมูลการประมวลผลล่วงหน้าเทคโนโลยีการปรับแต่งอย่างละเอียดเช่น LORA และ Qlora การทำนายแบบจำลองการประเมินแบบจำลองและขั้นตอนอื่น ๆ .

• sqlcoder

  • องค์กร defog เสนอ LLM แบบ text-to-SQL ขั้นสูงซึ่งมีประสิทธิภาพที่โดดเด่นและดีกว่า GPT3.5, WizardCoder และ StarCoder ฯลฯ รองจาก GPT4 เท่านั้น

• modal_finetune_sql

  • โครงการนี้ใช้โมเดล LLAMA 2 7B สำหรับการปรับแต่งแบบ text-to-SQL ซึ่งรวมถึงการฝึกอบรมที่สมบูรณ์การปรับแต่งและกระบวนการประเมินผล

• การปรับแต่งลาม่า

  • กรอบการปรับแต่ง LLM ที่ใช้งานง่าย (LLAMA-2, Bloom, Falcon, Baichuan, Qwen, แชท

- การอ้างอิง

หากคุณพบว่า Text2SQL มีประโยชน์สำหรับการวิจัยหรือพัฒนาของคุณโปรดอ้างอิงบทความต่อไปนี้:

 @misc { zhou2024dbgpthub ,
      title = { DB-GPT-Hub: Towards Open Benchmarking Text-to-SQL Empowered by Large Language Models } , 
      author = { Fan Zhou and Siqiao Xue and Danrui Qi and Wenhui Shi and Wang Zhao and Ganglin Wei and Hongyang Zhang and Caigai Jiang and Gangwei Jiang and Zhixuan Chu and Faqiang Chen } ,
      year = { 2024 } ,
      eprint = { 2406.11434 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { id='cs.DB' full_name='Databases' is_active=True alt_name=None in_archive='cs' is_general=False description='Covers database management, datamining, and data processing. Roughly includes material in ACM Subject Classes E.2, E.5, H.0, H.2, and J.1.' }
}

- ลิงค์มิตรภาพ

• ไอสฟอรี่

  • พวกเขาเป็นทีมผู้ที่ชื่นชอบเทคโนโลยีจาก บริษัท อินเทอร์เน็ตและนักศึกษาระดับบัณฑิตศึกษาของ NLP ที่หลงใหลในโครงการโอเพ่นซอร์ส พวกเขามุ่งเน้นไปที่การพัฒนาโซลูชันที่ปกป้องความเป็นส่วนตัวและความปลอดภัยของฐานข้อมูลและแบบจำลองภาษาขนาดใหญ่ เป้าหมายของพวกเขาคือเพื่อให้แน่ใจว่าความสามารถของโมเดลเหล่านี้ยังคงเป็นส่วนตัวปลอดภัยและอยู่ภายใต้การควบคุม

• Awesome-aigc-tutorials

  • บทช่วยสอน AIGC ที่ยอดเยี่ยมมีคอลเล็กชั่นการสอนและทรัพยากรที่ครอบคลุมในรูปแบบภาษาขนาดใหญ่ภาพวาด AI และสาขาที่เกี่ยวข้อง ค้นพบข้อมูลเชิงลึกเชิงลึกและความรู้ที่จัดทำขึ้นสำหรับทั้งผู้เริ่มต้นและผู้ที่ชื่นชอบ AI ขั้นสูง