Generative AI Tutorial

แผนงาน AI แบบกำเนิด

คู่มือการเรียนรู้แบบอัตนัยสำหรับการวิจัย AI แบบกำเนิดรวมถึงรายการบทความและโครงการที่รวบรวมไว้

Generative AI เป็นหัวข้อร้อนแรงในวันนี้และแผนงานนี้ได้รับการออกแบบมาเพื่อช่วยให้ผู้เริ่มต้นได้รับความรู้พื้นฐานอย่างรวดเร็วและค้นหาทรัพยากรที่เป็นประโยชน์ของ AI Generative แม้แต่ผู้เชี่ยวชาญก็ยินดีที่จะอ้างถึงแผนงานนี้เพื่อระลึกถึงความรู้เก่า ๆ และพัฒนาความคิดใหม่ ๆ

หนังสือพิมพ์

• ความรู้พื้นฐาน
  • การอนุมานและการฝึกอบรมเครือข่ายประสาท
  • สถาปัตยกรรมหม้อแปลง
  • โมเดลที่ใช้หม้อแปลงทั่วไป
  • เบ็ดเตล็ด
• โมเดลภาษาขนาดใหญ่ (LLMS)
  • ก่อนการปรับแต่งและปรับแต่ง
  • การแจ้งเตือน
  • การประเมิน
  • การจัดการกับบริบทที่ยาวนาน
  • การปรับจูนที่มีประสิทธิภาพ
  • การรวมแบบจำลอง
  • รุ่นที่มีประสิทธิภาพ
  • การแก้ไขความรู้
  • ตัวแทนที่ขับเคลื่อนด้วย LLM
  • ผลการวิจัย
  • เปิดความท้าทาย
• แบบจำลองการแพร่กระจาย
  • การสร้างภาพ
  • การสร้างวิดีโอ
  • การสร้างเสียง
  • ก่อนการปรับแต่งและปรับแต่ง
  • การประเมิน
  • รุ่นที่มีประสิทธิภาพ
  • การแก้ไขความรู้
  • เปิดความท้าทาย
• โมเดลหลายรูปแบบขนาดใหญ่ (LMMs)
  • สถาปัตยกรรมแบบจำลอง
  • ไปสู่ตัวแทนที่เป็นตัวเป็นตน
  • เปิดความท้าทาย
• นอกเหนือจาก Transformers
  • พารามิเตอร์ที่มีโครงสร้างโดยปริยาย
  • สถาปัตยกรรมรุ่นใหม่

ความรู้พื้นฐาน

ส่วนนี้จะช่วยให้คุณเรียนรู้หรือฟื้นความรู้พื้นฐานของเครือข่ายประสาท (เช่น backpropagation) ช่วยให้คุณคุ้นเคยกับสถาปัตยกรรมหม้อแปลงและอธิบายโมเดลที่ใช้หม้อแปลงทั่วไป

การอนุมานและการฝึกอบรมเครือข่ายประสาท

คุณคุ้นเคยกับโครงสร้างเครือข่ายประสาทคลาสสิกต่อไปนี้หรือไม่?

• Multi-Layer Perceptron (MLP)
• เครือข่ายประสาท Convolutional (CNN)
• เครือข่ายประสาทกำเริบ (RNN)

ถ้าเป็นเช่นนั้นคุณควรตอบคำถามเหล่านี้:

• เหตุใด CNNS จึงทำงานได้ดีกว่า MLPs บนภาพ?
• เหตุใด RNNS จึงทำงานได้ดีกว่า MLPs ตามข้อมูลอนุกรมเวลา?
• อะไรคือความแตกต่างระหว่าง GRU และ LSTM?

Backpropagation (BP) เป็นฐานของการฝึกอบรม NN คุณจะไม่เป็นผู้เชี่ยวชาญ AI หากคุณไม่เข้าใจ BP มีตำราหลายเล่มและแบบฝึกหัดออนไลน์ที่สอน BP แต่น่าเสียดายที่ส่วนใหญ่ไม่ได้นำเสนอสูตรในรูปแบบ vectorized/tensorized สูตร BP ของเลเยอร์ NN นั้นเรียบร้อยเหมือนสูตรการส่งผ่านไปข้างหน้า นี่คือวิธีที่ BP ถูกนำไปใช้และควรนำไปใช้ เพื่อทำความเข้าใจ BP โปรดอ่านเนื้อหาต่อไปนี้:

• เครือข่ายประสาทและการเรียนรู้อย่างลึกซึ้ง [บทที่ 3.2 โดยเฉพาะ 3.2.6]
• Meprop: การแพร่กระจายกลับด้านหลังสำหรับการเรียนรู้อย่างลึกซึ้งด้วยการลดการเกิน (ICML 2017)
• resprop: นำกลับมาใช้ใหม่ backpropagation (CVPR 2020) [ส่วน 3.1]

หากคุณเข้าใจ BP คุณควรตอบคำถามเหล่านี้:

• คุณจะอธิบาย BP ของเลเยอร์ convolutional ได้อย่างไร?
• อัตราส่วนของค่าใช้จ่ายในการคำนวณ (เช่นจำนวนการดำเนินการจุดลอยตัว) ระหว่างการส่งผ่านไปข้างหน้าและผ่านไปข้างหลังของชั้นหนาแน่น?
• คุณจะอธิบาย BP ของ MLP ที่มีสองชั้นหนาแน่นสองชั้นที่ใช้เมทริกซ์น้ำหนักเดียวกันได้อย่างไร

สถาปัตยกรรมหม้อแปลง

Transformer เป็นสถาปัตยกรรมพื้นฐานของรุ่น Generative ขนาดใหญ่ที่มีอยู่ จำเป็นต้องเข้าใจทุกองค์ประกอบในหม้อแปลง โปรดอ่านวัสดุต่อไปนี้:

• ความสนใจคือสิ่งที่คุณต้องการ (Neurips 2017) [กระดาษต้นฉบับ]
• Transformer Explainer: การเรียนรู้แบบโต้ตอบของแบบจำลองการสร้างข้อความ [การสอนแบบโต้ตอบ]
• ภาพมีค่า 16x16 คำ: หม้อแปลงสำหรับการจดจำภาพในระดับ (ICLR 2021) [Vision Transformer]
• การแปลเครื่องประสาทด้วยหม้อแปลงและ keras [คำอธิบายที่ดีสำหรับความสนใจหลายเฮด (MHA)]
• Flops of a Transformer Block [ลองใช้การคำนวณ Flops]
• การถอดรหัส Transformer Fast: หนึ่งหัวเขียนคือทั้งหมดที่คุณต้องการ [ความสนใจหลายครั้ง (MQA)]
• GQA: การฝึกอบรมแบบจำลองหม้อแปลงหลายแบบทั่วไปจากจุดตรวจหลายหัว [ความสนใจแบบแยกกลุ่ม (GQA)]]
• หม้อแปลงที่ปรับปรุงด้วยการฝังตำแหน่งโรตารี่ [เข้าใจการฝังตำแหน่ง]
• Rotary Embeddings: การปฏิวัติสัมพัทธ์ [เข้าใจการฝังตำแหน่ง]
• ครูบังคับให้ Sampling กำหนดเวลาเทียบกับโหมดปกติ [ครูบังคับในการฝึกอบรมหม้อแปลง]
• FlexGen: การอนุมานการเกิดความเร็วสูงของโมเดลภาษาขนาดใหญ่ที่มี GPU เดียว [ดูส่วนที่ 3 - การอนุมานทั่วไปเพื่อเรียนรู้วิธีการสร้าง LLMS PEFORM บนพื้นฐานของแคช KV]
• การเข้ารหัสตำแหน่งตามบริบท: การเรียนรู้ที่จะนับสิ่งที่สำคัญ [การเข้ารหัสตำแหน่งตามบริบท]

หากคุณเข้าใจหม้อแปลงคุณควรตอบคำถามเหล่านี้:

• ข้อดีและข้อเสียของ tranformers คืออะไรเมื่อเทียบกับ RNNS？ (เข้าร่วมพร้อมกันการฝึกอบรมความเท่าเทียมความซับซ้อน)
• คุณสามารถ caculate flops ของ gqa ได้หรือไม่? เห็นว่ามันจะลดลงไปที่ MHA และ MQA เมื่อใด
• แรงจูงใจของ MQA และ GQA คืออะไร?
• หน้ากากความสนใจเชิงสาเหตุมีลักษณะอย่างไรและทำไม?
• คุณจะอธิบายการฝึกอบรมของ Transformers แบบถอดรหัสอย่างเดียวได้อย่างไร
• ทำไมเชือกถึงดีกว่าการเข้ารหัสตำแหน่งไซน์

โมเดลที่ใช้หม้อแปลงทั่วไป

• การเรียนรู้แบบจำลองภาพที่ถ่ายโอนได้จากการกำกับดูแลภาษาธรรมชาติ [Clip]
• คุณสมบัติที่เกิดขึ้นใหม่ในหม้อแปลงวิสัยทัศน์ที่ดูแลตนเอง (ICCV 2021) [Dino]
• Masked Autoencoders เป็นผู้เรียนที่มีวิสัยทัศน์ที่ปรับขนาดได้ (CVPR 2022) [แม่]
• การมองเห็นการปรับขนาดด้วยส่วนผสมของผู้เชี่ยวชาญ (Neurips 2021) [Moe]
• ส่วนผสมของความลึก: การจัดสรรการคำนวณแบบไดนามิกในโมเดลภาษาที่ใช้หม้อแปลง [mod]

เบ็ดเตล็ด

• Einsum นั้นง่ายและมีประโยชน์ [บทช่วยสอนที่ยอดเยี่ยมสำหรับการใช้ Einsum/Einops]

• ความเปิดกว้างเป็นสิ่งจำเป็นสำหรับหน่วยสืบราชการลับของมนุษย์เทียม (ICML 2024) [ความคิดเกี่ยวกับการบรรลุ AI Superhuman AI]

• ระดับของ AGI สำหรับการดำเนินงานความคืบหน้าบนเส้นทางสู่ AGI

โมเดลภาษาขนาดใหญ่ (LLMS)

LLMS เป็นหม้อแปลง พวกเขาสามารถแบ่งออกเป็น encoder-only, encoder-decoder และสถาปัตยกรรมถอดรหัสเท่านั้นดังที่แสดงในต้นไม้วิวัฒนาการ LLM ด้านล่าง [แหล่งที่มาของภาพ] ตรวจสอบเอกสารสำคัญของ LLMS

รุ่นเข้ารหัสอย่างเดียวสามารถใช้ในการแยกคุณสมบัติประโยค แต่ขาดพลังกำเนิด รุ่นเข้ารหัสและตัวถอดรหัสเท่านั้นใช้สำหรับการสร้างข้อความ โดยเฉพาะอย่างยิ่ง LLM ที่มีอยู่ส่วนใหญ่ชอบโครงสร้างตัวถอดรหัสเท่านั้นเนื่องจากพลังที่แข็งแกร่งขึ้น แบบจำลองการเข้ารหัสเครื่องประดับสามารถพิจารณาได้ว่าเป็นรุ่นถอดรหัสแบบเบาบางเท่านั้นและข้อมูลจะสลายตัวมากขึ้นจากตัวเข้ารหัสไปยังตัวถอดรหัส ตรวจสอบบทความนี้สำหรับรายละเอียดเพิ่มเติม

การผ่าตัดและ finetuning

โดยทั่วไปแล้ว LLMs จะได้รับการปรับแต่งจากโทเค็นข้อความหลายล้านล้านโดยผู้เผยแพร่แบบจำลองเพื่อกำหนดโครงสร้างภาษาธรรมชาติภายใน นักพัฒนาโมเดลในปัจจุบันยังดำเนินการปรับแต่งการเรียนการสอนและการเรียนรู้การเสริมแรงจากข้อเสนอแนะของมนุษย์ (RLHF) เพื่อสอนแบบจำลองเพื่อทำตามคำแนะนำของมนุษย์และสร้างคำตอบที่สอดคล้องกับความชอบของมนุษย์ จากนั้นผู้ใช้สามารถดาวน์โหลดโมเดลที่เผยแพร่และ finetune บนชุดข้อมูลส่วนบุคคลขนาดเล็ก (เช่นกล่องโต้ตอบภาพยนตร์) เนื่องจากข้อมูลจำนวนมากการเตรียมการต้องใช้ทรัพยากรการคำนวณขนาดใหญ่ (เช่น GPU มากกว่าพัน) ซึ่งบุคคลไม่สามารถสั่งซื้อได้ ในทางกลับกันการปรับจูนเป็นทรัพยากรที่หิวน้อยลงและสามารถทำได้ด้วย GPU สองสามตัว

วัสดุต่อไปนี้สามารถช่วยให้คุณเข้าใจกระบวนการปรับแต่งและปรับแต่ง:

• เบิร์ต: การฝึกอบรมหม้อแปลงสองทิศทางลึกเพื่อความเข้าใจภาษา
• การปรับขนาดแบบจำลองภาษาที่ใช้คำแนะนำ [การฝึกอบรมและการสอนการเรียนการสอน]
• ภาพประกอบการเรียนรู้การเสริมแรงจากข้อเสนอแนะของมนุษย์ (RLHF)
• แบบจำลองภาษาเป็นผู้เรียนไม่กี่คน [Decoder-only LLMS] [中文导读โดย李沐]

บทเรียนเพิ่มเติมสามารถพบได้ที่นี่

การแจ้งเตือน

เทคนิคการแจ้งเตือนสำหรับ LLMs เกี่ยวข้องกับการสร้างข้อความอินพุตในลักษณะที่เป็นแนวทางในการสร้างแบบจำลองเพื่อสร้างการตอบสนองหรือเอาต์พุตที่ต้องการ นี่คือแหล่งข้อมูลที่มีประโยชน์ที่จะช่วยให้คุณเขียนพรอมต์ได้ดีขึ้น:

• [dair.ai] คู่มือวิศวกรรมที่รวดเร็ว
• พรอมต์ chatgpt ที่ยอดเยี่ยม - คอลเลกชันของตัวอย่างที่พร้อมใช้งานที่จะใช้กับโมเดล chatgpt
• การแจ้งเตือนการไตร่ตรองที่ยอดเยี่ยม - วิธีขอให้ LLMs สร้างเหตุผลที่เชื่อถือได้และทำการตัดสินใจที่ตอบสนองต่อเหตุผล
• AutoPrompt - วิธีการอัตโนมัติตามการค้นหาที่มีการไล่ระดับสีเพื่อสร้างพรอมต์สำหรับงาน NLP ที่หลากหลาย

การประเมิน

เครื่องมือประเมินผลสำหรับแบบจำลองภาษาขนาดใหญ่ช่วยประเมินประสิทธิภาพความสามารถและข้อ จำกัด ของงานและชุดข้อมูลที่แตกต่างกัน นี่คือกลยุทธ์การประเมินทั่วไป:

• ตัวชี้วัดการประเมินอัตโนมัติ : ตัวชี้วัดเหล่านี้ประเมินประสิทธิภาพของแบบจำลองโดยอัตโนมัติโดยไม่ต้องแทรกแซงมนุษย์ ตัวชี้วัดทั่วไป ได้แก่ :

  • Bleu: วัดความคล้ายคลึงกันระหว่างข้อความที่สร้างขึ้นและข้อความอ้างอิงตาม N-Gram Overlap
  • Rouge: ประเมินการสรุปข้อความโดยการเปรียบเทียบ N-GRAM ที่ทับซ้อนกันระหว่างการสร้างและการอ้างอิง
  • ความงุนงง: วัดว่าแบบจำลองภาษาทำนายตัวอย่างข้อความได้ดีเพียงใด ความงุนงงที่ต่ำกว่าบ่งบอกถึงประสิทธิภาพที่ดีขึ้น มันเทียบเท่ากับการชดเชยของการข้ามข้ามระหว่างข้อมูลและการทำนายแบบจำลอง
  • คะแนน F1: วัดความสมดุลระหว่างความแม่นยำและการเรียกคืนในงานเช่นการจำแนกประเภทข้อความหรือการจดจำเอนทิตีที่มีชื่อ

• การประเมินผลของมนุษย์ : การตัดสินของมนุษย์เป็นสิ่งจำเป็นสำหรับการประเมินคุณภาพของข้อความที่สร้างขึ้นอย่างครอบคลุม วิธีการประเมินผลของมนุษย์ทั่วไป ได้แก่ :

  • การให้คะแนนของมนุษย์ : ผู้อธิบายความคิดเห็นของมนุษย์สร้างข้อความตามเกณฑ์เช่นความคล่องแคล่วการเชื่อมโยงกันความเกี่ยวข้องและไวยากรณ์
  • แพลตฟอร์ม Crowdsourcing : แพลตฟอร์มเช่น Amazon Mechanical Turk หรือรูปที่แปดอำนวยความสะดวกในการประเมินผลของมนุษย์ขนาดใหญ่โดยคำอธิบายประกอบการระดมทุน
  • การประเมินผลจากผู้เชี่ยวชาญ : ผู้เชี่ยวชาญด้านโดเมนประเมินผลลัพธ์แบบจำลองเพื่อวัดความเหมาะสมสำหรับการใช้งานหรืองานเฉพาะ

• ชุดข้อมูลมาตรฐาน : ชุดข้อมูลมาตรฐานเปิดใช้งานการเปรียบเทียบแบบจำลองที่เป็นธรรมในงานและโดเมนที่แตกต่างกัน ตัวอย่าง ได้แก่ :

  • Triviaqa: ชุดข้อมูลความท้าทายขนาดใหญ่ที่มีการดูแลอย่างห่างไกลสำหรับการอ่านความเข้าใจ
  • HELLASWAG: เครื่องสามารถจบประโยคของคุณได้จริงหรือ?
  • GSM8K: ตัวตรวจสอบการฝึกอบรมเพื่อแก้ปัญหาคำคณิตศาสตร์
  • รายการที่สมบูรณ์สามารถพบได้ที่นี่

• เครื่องมือวิเคราะห์แบบจำลอง: เครื่องมือสำหรับการวิเคราะห์พฤติกรรมและประสิทธิภาพของแบบจำลองรวมถึง:

  • ความสามารถในการตีความอัตโนมัติ - รหัสสำหรับการสร้างการจำลองและการให้คะแนนคำอธิบายของพฤติกรรมของเซลล์ประสาทโดยอัตโนมัติ
  • การสร้างภาพ LLM - การแสดงภาพ LLMs ในระดับต่ำ
  • การวิเคราะห์ความสนใจ - การวิเคราะห์แผนที่ความสนใจจาก Bert Transformer
  • Viewer Neuron - เครื่องมือสำหรับการดูการเปิดใช้งานและคำอธิบายของเซลล์ประสาท

รายการที่สมบูรณ์สามารถพบได้ที่นี่

กรอบการประเมินมาตรฐานสำหรับ LLM ที่มีอยู่รวมถึง:

• LM-Evaluation-Harness-กรอบสำหรับการประเมินแบบจำลองภาษาไม่กี่แบบ
• Lighteval - ชุดประเมิน LLM ที่มีน้ำหนักเบาที่กอดใบหน้าได้ใช้งานภายใน
• Olmo -Eval - ที่เก็บสำหรับการประเมินแบบจำลองภาษาแบบเปิด
• Instruct-Eval-ที่เก็บนี้มีรหัสเพื่อประเมินแบบจำลองการเรียนการสอนเชิงปริมาณเช่น Alpaca และ Flan-T5 ในงานที่จัดขึ้น

การจัดการกับบริบทที่ยาวนาน

การจัดการกับบริบทที่ยาวนานทำให้เกิดความท้าทายสำหรับแบบจำลองภาษาขนาดใหญ่เนื่องจากข้อ จำกัด ในหน่วยความจำและความสามารถในการประมวลผล เทคนิคที่มีอยู่รวมถึง:

• หม้อแปลงที่มีประสิทธิภาพ
  • Longformer: หม้อแปลงเอกสารยาว
  • นักปฏิรูป: หม้อแปลงที่มีประสิทธิภาพ (ICLR 2020)
• แบบจำลองพื้นที่ของรัฐ
  • Transformers เป็น RNNS: หม้อแปลงอัตโนมัติที่รวดเร็วด้วยความสนใจเชิงเส้น (ICML 2020)
  • ทบทวนความสนใจกับนักแสดง
• การคาดการณ์ความยาว
  • MAMBA: การสร้างแบบจำลองลำดับเวลาเชิงเส้นด้วยช่องว่างสถานะแบบเลือก
  • Roformer: หม้อแปลงที่ปรับปรุงด้วยการฝังตำแหน่งแบบหมุน
  • เส้นด้าย: การขยายหน้าต่างบริบทที่มีประสิทธิภาพของแบบจำลองภาษาขนาดใหญ่
• หน่วยความจำระยะยาว
  • MemoryBank: การเพิ่มโมเดลภาษาขนาดใหญ่ด้วยหน่วยความจำระยะยาว
  • ปลดปล่อยความสามารถในการป้อนข้อมูลความยาวไม่สิ้นสุดสำหรับรุ่นภาษาขนาดใหญ่ที่มีระบบหน่วยความจำที่ควบคุมตนเอง

รายการที่สมบูรณ์สามารถพบได้ที่นี่

finetuning ที่มีประสิทธิภาพ

วิธีการปรับแต่งพารามิเตอร์-ประสิทธิภาพ (PEFT) ช่วยให้การปรับตัวอย่างมีประสิทธิภาพของโมเดลที่ผ่านการฝึกอบรมขนาดใหญ่เข้ากับแอพพลิเคชั่นดาวน์สตรีมที่หลากหลายโดยการปรับค่าพารามิเตอร์รุ่น (พิเศษ) จำนวนเล็กน้อยแทนพารามิเตอร์ของโมเดลทั้งหมด:

• การปรับจูนการปรับแต่ง: พลังของมาตราส่วนสำหรับการปรับแต่งพารามิเตอร์ที่มีประสิทธิภาพ
• คำนำหน้าการปรับแต่ง: คำนำหน้าการปรับแต่ง: การเพิ่มประสิทธิภาพการแจ้งเตือนต่อเนื่องสำหรับการสร้าง
• Lora: Lora: การปรับระดับต่ำของแบบจำลองภาษาขนาดใหญ่
• สู่มุมมองแบบครบวงจรของการเรียนรู้การถ่ายโอนพารามิเตอร์ที่มีประสิทธิภาพ
• Lora เรียนรู้น้อยลงและลืมน้อยลง

สามารถพบงานได้มากขึ้นในคอลเล็กชั่นกระดาษ Peft ของ Huggingface และขอแนะนำให้ฝึกฝนกับ Huggingface Peft API

การรวมแบบจำลอง

การรวมแบบจำลองหมายถึงการรวม LLM สองตัวขึ้นไปที่ได้รับการฝึกฝนเกี่ยวกับงานที่แตกต่างกันใน LLM เดียว เทคนิคนี้มีจุดมุ่งหมายเพื่อใช้ประโยชน์จากจุดแข็งและความรู้ของโมเดลที่แตกต่างกันเพื่อสร้างแบบจำลองที่แข็งแกร่งและมีความสามารถมากขึ้น ตัวอย่างเช่น LLM สำหรับการสร้างรหัสและ LLM อื่นสำหรับการแก้ปัญหาทางคณิตศาสตร์สามารถรวมเข้าด้วยกันเพื่อให้โมเดลที่ผสานมีความสามารถในการสร้างทั้งการสร้างรหัสและการแก้ปัญหาทางคณิตศาสตร์

การรวมแบบจำลองนั้นน่าสนใจเพราะสามารถทำได้อย่างมีประสิทธิภาพด้วยอัลกอริทึมที่ง่ายและราคาถูก (เช่นการรวมกันเชิงเส้นของน้ำหนักแบบจำลอง) นี่คือเอกสารตัวแทนและสื่อการอ่าน:

• โมเดลซุป: น้ำหนักเฉลี่ยของรุ่นปรับแต่งหลายแบบช่วยเพิ่มความแม่นยำโดยไม่เพิ่มเวลาการอนุมาน
• แบบจำลองการแก้ไขด้วยเลขคณิตงาน
• รวมโมเดลภาษาขนาดใหญ่เข้ากับ Mergekit

เอกสารเพิ่มเติมเกี่ยวกับการรวมแบบจำลองสามารถพบได้ที่นี่

รุ่นที่มีประสิทธิภาพ

การเร่งการถอดรหัส LLM เป็นสิ่งสำคัญสำหรับการปรับปรุงความเร็วและประสิทธิภาพการอนุมานโดยเฉพาะอย่างยิ่งในการใช้งานแบบเรียลไทม์หรือเวลาแฝง นี่คืองานตัวแทนบางอย่างในการเร่งกระบวนการถอดรหัส LLMS:

• deja vu: บริบท sparsity สำหรับ LLM ที่มีประสิทธิภาพในเวลาอนุมาน (ICML 2023 ORAL)
• LLMLINGUA: การบีบอัดพร้อมท์สำหรับการอนุมานแบบจำลองภาษาขนาดใหญ่ (EMNLP 2023)
• โมเดลภาษาสตรีมมิ่งที่มีประสิทธิภาพพร้อมอ่างล้างมือ
• Specinfer: เร่งความเร็ว LLM ที่ให้บริการด้วยการอนุมานการเก็งกำไรและการตรวจสอบต้นไม้โทเค็น
• Medusa: เฟรมเวิร์กการเร่งความเร็ว LLM แบบง่าย ๆ พร้อมหัวถอดรหัสหลายหัว
• โมเดลภาษาขนาดใหญ่ที่ดีกว่าและเร็วขึ้นผ่านการทำนายแบบหลายท็อก
• การข้ามเลเยอร์: เปิดใช้งานการอนุมานก่อนและการถอดรหัสด้วยตนเอง

งานเพิ่มเติมเกี่ยวกับการเร่งการถอดรหัส LLM สามารถพบได้ผ่าน Link 1 และ Link 2

การแก้ไขความรู้

การแก้ไขความรู้มีวัตถุประสงค์เพื่อปรับเปลี่ยนพฤติกรรม LLMS อย่างมีประสิทธิภาพเช่นการลดอคติและแก้ไขความสัมพันธ์ที่เรียนรู้ มันมีหัวข้อมากมายเช่นการแปลความรู้และการไม่ได้รับ งานตัวแทนรวมถึง:

• การแก้ไขโมเดลหน่วยความจำที่สเกล (ICML 2022)
• Transformer-Patcher: ข้อผิดพลาดหนึ่งครั้งที่มีค่าหนึ่งเซลล์ประสาท (ICLR 2023)
• การแก้ไขขนาดใหญ่สำหรับรูปแบบภาษาขนาดใหญ่ผ่านการเรียนรู้เมตา (ICLR 2024)
• เฟรมเวิร์กแบบครบวงจรสำหรับการแก้ไขแบบจำลอง
• เลเยอร์ฟีดไปข้างหน้าหม้อแปลงเป็นความทรงจำสำคัญ (EMNLP 2021)
• หน่วยความจำการแก้ไขจำนวนมากในหม้อแปลง

เอกสารเพิ่มเติมสามารถพบได้ที่นี่

ตัวแทนที่ขับเคลื่อนด้วย LLM

ด้วยการได้รับการฝึกอบรมขนาดใหญ่ LLMS จะย่อยความรู้ระดับโลกและสามารถทำตามคำแนะนำการป้อนข้อมูลได้อย่างแม่นยำ ด้วยความสามารถที่น่าทึ่งเหล่านี้ LLM สามารถเล่นเป็นตัวแทนที่เป็นไปได้ที่จะแก้ปัญหาที่ซับซ้อน (และร่วมมือกัน) อย่างอิสระหรือจำลองการปฏิสัมพันธ์ของมนุษย์ นี่คือเอกสารตัวแทนของตัวแทน LLM:

• ตัวแทนกำเนิด: simulacra แบบโต้ตอบของพฤติกรรมมนุษย์ (UIST 2023) [LLMS จำลองสังคมมนุษย์ในวิดีโอเกม]
• Sotopia: การประเมินผลแบบโต้ตอบสำหรับความฉลาดทางสังคมในตัวแทนภาษา (ICLR 2024) [LLMS จำลองปฏิสัมพันธ์ทางสังคม]
• Voyager: ตัวแทนที่เป็นตัวเป็นตนปลายเปิดที่มีรูปแบบภาษาขนาดใหญ่ [LLMs อาศัยอยู่ใน Minecraft World]
• แบบจำลองภาษาขนาดใหญ่ในฐานะผู้ผลิตเครื่องมือ (ICLR 2024) [LLMS สร้างเครื่องมือที่นำกลับมาใช้ใหม่ได้ (เช่นในฟังก์ชั่น Python) สำหรับการแก้ปัญหา]
• MetAgpt: การเขียนโปรแกรม Meta สำหรับกรอบการทำงานร่วมกันหลายตัวแทน [LLMS เป็นทีมสำหรับการพัฒนาซอฟต์แวร์อัตโนมัติ]
• WebArena: สภาพแวดล้อมเว็บที่สมจริงสำหรับการสร้างตัวแทนอิสระ (ICLR 2024) [LLMS ใช้เว็บแอปพลิเคชัน]
• Mobile-ENV: แพลตฟอร์มการประเมินผลและเกณฑ์มาตรฐานสำหรับการโต้ตอบ LLM-GUI [LLMS ใช้แอปพลิเคชันมือถือ]
• HUGGGEDGPT: การแก้ปัญหา AI กับ CHATGPT และเพื่อน ๆ ในการกอดใบหน้า (Neurips 2023) [LLMS ค้นหานางแบบในการกอดสำหรับการแก้ปัญหา]
• AgentGym: การพัฒนาตัวแทนแบบจำลองภาษาขนาดใหญ่ในสภาพแวดล้อมที่หลากหลาย [สภาพแวดล้อมแบบโต้ตอบที่หลากหลายและงานสำหรับตัวแทนที่ใช้ LLM]

สามารถดูรายการเอกสารแพลตฟอร์มและเครื่องมือประเมินผลได้ที่นี่

ผลการวิจัย

• หม้อแปลงของคุณเป็นเส้นตรงแอบ
• คุณสมบัติแบบจำลองภาษาไม่เป็นเชิงเส้นทั้งหมด
• Kan หรือ MLP: การเปรียบเทียบที่ยุติธรรมกว่า
• ชั้นหม้อแปลงเป็นจิตรกร
• แบบจำลองภาษาวิสัยทัศน์ตาบอด

เปิดความท้าทาย

LLMS เผชิญกับความท้าทายที่เปิดกว้างหลายประการที่นักวิจัยและนักพัฒนากำลังทำงานอย่างแข็งขัน ความท้าทายเหล่านี้รวมถึง:

• ภาพหลอน
  • การสำรวจที่ครอบคลุมเกี่ยวกับเทคนิคการลดภาพหลอนในรูปแบบภาษาขนาดใหญ่
• การบีบอัดแบบจำลอง
  • การสำรวจอัลกอริทึมการบีบอัดสำหรับแบบจำลองภาษาที่ครอบคลุม
• การประเมิน
  • การประเมินแบบจำลองภาษาขนาดใหญ่: การสำรวจที่ครอบคลุม
• การให้เหตุผล
  • การสำรวจการให้เหตุผลกับแบบจำลองพื้นฐาน
• ความสามารถในการอธิบายได้
  • จากการทำความเข้าใจไปจนถึงการใช้ประโยชน์: การสำรวจความสามารถในการอธิบายแบบจำลองภาษาขนาดใหญ่
• ความยุติธรรม
  • การสำรวจความเป็นธรรมในรูปแบบภาษาขนาดใหญ่
• ข้อเท็จจริง
  • การสำรวจความเป็นจริงในรูปแบบภาษาขนาดใหญ่: ความรู้การดึงและเฉพาะโดเมน
• การบูรณาการความรู้
  • แนวโน้มในการบูรณาการความรู้และแบบจำลองภาษาขนาดใหญ่: การสำรวจและอนุกรมวิธานของวิธีการมาตรฐานและแอปพลิเคชัน

รายการที่สมบูรณ์สามารถพบได้ที่นี่

แบบจำลองการแพร่กระจาย

แบบจำลองการแพร่กระจายมีจุดมุ่งหมายเพื่อประมาณการกระจายความน่าจะเป็นของโดเมนข้อมูลที่กำหนดและให้วิธีการสร้างตัวอย่างจากการแจกแจงโดยประมาณ เป้าหมายของพวกเขาคล้ายกับรุ่นที่ได้รับความนิยมอื่น ๆ เช่น vae, gans และการไหลเป็นมาตรฐาน

การทำงานของแบบจำลองการแพร่กระจายนั้นมีสองกระบวนการ:

1. กระบวนการส่งต่อ (กระบวนการแพร่กระจาย): มันใช้เสียงรบกวนกับข้อมูลอินพุตดั้งเดิมทีละขั้นตอนจนกว่าข้อมูลจะกลายเป็นเสียงรบกวนอย่างสมบูรณ์
2. กระบวนการย้อนกลับ (กระบวนการ denoising): โมเดล NN (เช่น CNN หรือ Tranformer) ได้รับการฝึกฝนเพื่อประเมินเสียงรบกวนที่ใช้ในแต่ละขั้นตอนในระหว่างกระบวนการส่งต่อ รุ่น NN ที่ผ่านการฝึกอบรมนี้สามารถใช้เพื่อสร้างข้อมูลจากอินพุตเสียงรบกวน รูปแบบการแพร่กระจายที่มีอยู่ยังสามารถยอมรับสัญญาณอื่น ๆ (เช่นข้อความแจ้งจากผู้ใช้) เพื่อกำหนดเงื่อนไขการสร้างข้อมูล

ตรวจสอบบล็อกที่ยอดเยี่ยมนี้และบทเรียนเบื้องต้นเพิ่มเติมสามารถพบได้ที่นี่ โมเดลการแพร่สามารถใช้ในการสร้างภาพเสียงวิดีโอและอื่น ๆ และมีฟิลด์ย่อยมากมายที่เกี่ยวข้องกับโมเดลการแพร่กระจายดังที่แสดงด้านล่าง [แหล่งที่มาของภาพ]:

การสร้างภาพ

นี่คือเอกสารตัวแทนของแบบจำลองการแพร่กระจายสำหรับการสร้างภาพ:

• การสังเคราะห์ภาพความละเอียดสูงด้วยแบบจำลองการแพร่กระจายแฝง (CVPR 2022)
• Palette: รูปแบบการแพร่ภาพต่อภาพ (SIGGRAPH 2022)
• ภาพความละเอียดสูงผ่านการปรับแต่งซ้ำ ๆ
• การทาสีโดยใช้แบบจำลองความน่าจะเป็นแบบกระจาย denoising (CVPR 2022)
• การเพิ่มการควบคุมแบบมีเงื่อนไขให้กับโมเดลการแพร่กระจายข้อความไปยังภาพ (ICCV 2023)

เอกสารเพิ่มเติมสามารถพบได้ที่นี่

การสร้างวิดีโอ

นี่คือเอกสารตัวแทนของแบบจำลองการแพร่กระจายสำหรับการสร้างวิดีโอ:

• โมเดลการแพร่วิดีโอ
• การสร้างแบบจำลองการแพร่กระจายที่ยืดหยุ่นของวิดีโอยาว (Neurips 2022)
• ปรับขนาดโมเดลการแพร่กระจายวิดีโอแฝงไปยังชุดข้อมูลขนาดใหญ่
• I2VGEN-XL: การสังเคราะห์ภาพที่มีคุณภาพสูงผ่านวิดีโอผ่านแบบจำลองการแพร่กระจายแบบเรียงซ้อน

เอกสารเพิ่มเติมสามารถพบได้ที่นี่

การสร้างเสียง

นี่คือเอกสารตัวแทนของแบบจำลองการแพร่กระจายสำหรับการสร้างเสียง:

• Grad-TTS: โมเดลความน่าจะเป็นในการแพร่กระจายสำหรับข้อความถึงการพูด
• การสร้างข้อความถึงอดิเรกโดยใช้ LLM ที่ปรับแต่งและโมเดลการแพร่กระจายแฝง
• การปรับอากาศแบบไม่มีการยิงสำหรับการกระจายแบบจำลอง TTS
• EDITTS: การแก้ไขตามคะแนนสำหรับการพูดแบบข้อความที่ควบคุมได้
• Prodiff: Progressive Fast Diffusion Model สำหรับข้อความที่มีคุณภาพสูงเป็นคำพูด

เอกสารเพิ่มเติมสามารถพบได้ที่นี่

การผ่าตัดและ finetuning

เช่นเดียวกับรุ่นที่มีขนาดใหญ่อื่น ๆ แบบจำลองการแพร่กระจายยังได้รับการปรับแต่งเกี่ยวกับข้อมูลเว็บจำนวนมาก (เช่นชุดข้อมูล LAION-5B) และใช้ทรัพยากรการคำนวณจำนวนมาก ผู้ใช้สามารถดาวน์โหลดน้ำหนักที่ปล่อยออกมาสามารถปรับแต่งโมเดลบนชุดข้อมูลส่วนบุคคลได้อีก

นี่คือเอกสารตัวแทนบางส่วนของการปรับแต่งแบบจำลองการแพร่กระจายอย่างมีประสิทธิภาพ:

• Dreambooth: การปรับแต่งแบบจำลองการแพร่กระจายแบบข้อความไปยังภาพสำหรับรุ่นที่ขับเคลื่อนด้วยหัวเรื่อง (CVPR 2023)
• ภาพมีค่าหนึ่งคำ: การปรับเปลี่ยนการสร้างข้อความเป็นภาพโดยใช้การผกผันข้อความ (ICLR 2023)
• การแพร่กระจายที่กำหนดเอง: การปรับแต่งหลายแนวคิดของการแพร่กระจายข้อความกับภาพ (CVPR 2023)
• การควบคุมการแพร่กระจายข้อความไปยังภาพโดย finetuning orthogonal (Neurips 2023)

เอกสารเพิ่มเติมสามารถพบได้ที่นี่

ขอแนะนำอย่างยิ่งให้ฝึกซ้อมกับ Huggingface diffusers API

การประเมิน

ที่นี่เราพูดถึงการประเมินแบบจำลองการแพร่กระจายสำหรับการสร้างภาพ ตัวชี้วัดคุณภาพของภาพที่มีอยู่จำนวนมากสามารถใช้งานได้

• คะแนนคลิป: คะแนนคลิปวัดความเข้ากันได้ของคู่ภาพ คะแนนคลิปที่สูงขึ้นหมายถึงความเข้ากันได้ที่สูงขึ้น คะแนนคลิปพบว่ามีความสัมพันธ์สูงกับการตัดสินของมนุษย์
• Fréchet Inception ระยะทาง (FID): FID มีจุดมุ่งหมายเพื่อวัดว่าชุดข้อมูลสองชุดมีความคล้ายคลึงกันอย่างไร มันถูกคำนวณโดยการคำนวณระยะห่างจากFréchetระหว่างสองเกาส์เซียนที่ติดตั้งเพื่อแสดงคุณสมบัติของเครือข่ายการลงทะเบียนเรียน
• ความคล้ายคลึงกันในทิศทางของคลิป: วัดความสอดคล้องของการเปลี่ยนแปลงระหว่างภาพทั้งสอง (ในพื้นที่คลิป) กับการเปลี่ยนแปลงระหว่างคำอธิบายภาพทั้งสอง

ตัวชี้วัดคุณภาพและเครื่องมือการคำนวณคุณภาพเพิ่มเติมสามารถพบได้ที่นี่

รุ่นที่มีประสิทธิภาพ

แบบจำลองการแพร่กระจายต้องใช้หลายขั้นตอนไปข้างหน้าเพื่อสร้างข้อมูลซึ่งมีราคาแพง นี่คือเอกสารตัวแทนของแบบจำลองการแพร่กระจายสำหรับการสร้างที่มีประสิทธิภาพ:

• ต้องไปอย่างรวดเร็วเมื่อสร้างข้อมูลด้วยโมเดลที่มีคะแนน
• การสุ่มตัวอย่างอย่างรวดเร็วของแบบจำลองการแพร่กระจายด้วยตัวรวมเลขแบบเอ็กซ์โปเนนเชียล
• การเรียนรู้ตัวอย่างที่รวดเร็วสำหรับแบบจำลองการแพร่กระจายโดยการแยกความแตกต่างผ่านคุณภาพตัวอย่าง
• การเร่งแบบจำลองการแพร่กระจายผ่านการหยุดก่อนของกระบวนการแพร่กระจาย

เอกสารเพิ่มเติมสามารถพบได้ที่นี่

การแก้ไขความรู้

นี่คือเอกสารตัวแทนของการแก้ไขความรู้สำหรับแบบจำลองการแพร่กระจาย:

• การลบแนวคิดจากแบบจำลองการแพร่กระจาย (ICCV 2023)
• การแก้ไขแนวคิดขนาดใหญ่ในรูปแบบการแพร่กระจายข้อความไปยังภาพ
• Forget-Me-Not: การเรียนรู้ที่จะลืมในรูปแบบการแพร่กระจายแบบข้อความกับภาพ

เอกสารเพิ่มเติมสามารถพบได้ที่นี่

เปิดความท้าทาย

นี่คือเอกสารสำรวจบางส่วนที่พูดถึงความท้าทายที่ต้องเผชิญกับรูปแบบการแพร่กระจาย

• การสำรวจโมเดลการสร้างภาพที่ใช้การแพร่กระจาย
• การสำรวจโมเดลการแพร่วิดีโอ
• สถานะของศิลปะในรูปแบบการแพร่กระจายสำหรับการคำนวณด้วยภาพ
• แบบจำลองการแพร่กระจายใน NLP: การสำรวจ

โมเดลหลายรูปแบบขนาดใหญ่ (LMMs)

LMM ทั่วไปถูกสร้างขึ้นโดยการเชื่อมต่อและปรับแต่งแบบจำลอง Unimodal ที่มีอยู่ก่อนหน้านี้ บางคนยังได้รับการปรับสภาพตั้งแต่เริ่มต้น ตรวจสอบว่า LMMs พัฒนาอย่างไรในภาพด้านล่าง [แหล่งที่มาของภาพ]

สถาปัตยกรรมแบบจำลอง

มีวิธีการที่แตกต่างกันในการสื่อสาร LMMs สถาปัตยกรรมตัวแทน ได้แก่ :

• แบบจำลองภาษาเป็นอินเทอร์เฟซอเนกประสงค์ทั่วไป
• Flamingo: รูปแบบภาษาภาพสำหรับการเรียนรู้ไม่กี่ครั้ง (Neurips 2022)
• Blip: Bootstrapping ภาษา-ภาพการฝึกอบรมสำหรับการทำความเข้าใจและสร้างภาษาแบบรวม (ICML 2022)
• BLIP-2: Bootstrapping Pre-Image การฝึกอบรมด้วยการเข้ารหัสภาพแช่แข็งและโมเดลภาษาขนาดใหญ่ (ICML 2023)
• MPLUG-OWL2: การปฏิวัติรูปแบบภาษาขนาดใหญ่หลายรูปแบบด้วยการทำงานร่วมกันแบบ Modality
• Florence-2: การเป็นตัวแทนแบบครบวงจรสำหรับงานวิสัยทัศน์ที่หลากหลาย
• ตัวเชื่อมต่อหนาแน่นสำหรับ MLLMS

เอกสารเพิ่มเติมสามารถพบได้ผ่าน Link 1 และ Link 2

ไปสู่ตัวแทนที่เป็นตัวเป็นตน

โดยการรวม LMMs เข้ากับหุ่นยนต์นักวิจัยมุ่งมั่นที่จะพัฒนาระบบ AI ที่สามารถรับรู้เหตุผลเกี่ยวกับและดำเนินการกับโลกในวิธีที่เป็นธรรมชาติและใช้งานง่ายมากขึ้นด้วยการใช้งานที่มีศักยภาพซึ่งครอบคลุมหุ่นยนต์ผู้ช่วยเสมือนยานพาหนะอิสระและอื่น ๆ นี่คืองานตัวแทนบางส่วนของการตระหนักถึง AI embodied ด้วย LMMs:

• RT-1: หม้อแปลงหุ่นยนต์สำหรับการควบคุมในโลกแห่งความเป็นจริงในระดับ
• RT-2: โมเดลแอ็คชั่น Vision-Language ถ่ายโอนความรู้เว็บไปยังการควบคุมหุ่นยนต์
• RT-H: ลำดับชั้นการกระทำโดยใช้ภาษา
• Palm-E: โมเดลภาษาหลายรูปแบบที่เป็นตัวเป็นตน
• Transic: การโอนนโยบาย Sim-to-real โดยการเรียนรู้จากการแก้ไขออนไลน์

เอกสารเพิ่มเติมสามารถพบได้ผ่าน Link 1 และ Link 2

นี่คือเครื่องจำลองและชุดข้อมูลยอดนิยมเพื่อประเมินประสิทธิภาพ LMMS สำหรับ AI embodied:

• ที่อยู่อาศัย 3.0: แพลตฟอร์มการจำลอง AI ที่เป็นตัวเป็นตนสำหรับการศึกษางานปฏิสัมพันธ์ระหว่างมนุษย์หุ่นยนต์ร่วมกันในสภาพแวดล้อมที่บ้าน
• Procthor-10k: สภาพแวดล้อมในครัวเรือนแบบอินเทอร์แอคทีฟ 10k สำหรับ AI embodied AI
• อาร์โนลด์: เกณฑ์มาตรฐานสำหรับการเรียนรู้งานเชิงภาษากับรัฐต่อเนื่องในฉาก 3 มิติที่สมจริง
• Legent: เปิดแพลตฟอร์มสำหรับตัวแทนที่เป็นตัวเป็นตน
• Robocasa: การจำลองงานขนาดใหญ่ในชีวิตประจำวันสำหรับหุ่นยนต์ทั่วไป

แหล่งข้อมูลเพิ่มเติมสามารถพบได้ที่นี่

เปิดความท้าทาย

นี่คือเอกสารสำรวจบางส่วนที่พูดถึงความท้าทายแบบเปิดสำหรับ AI embodied AI ที่เปิดใช้งาน LMM:

• การเพิ่มขึ้นและศักยภาพของเอเจนต์แบบจำลองภาษาขนาดใหญ่: การสำรวจ
• การนำทางภาษาวิสัยทัศน์ด้วยความฉลาดที่เป็นตัวเป็นตน: การสำรวจ
• การสำรวจ AI embodied: จากเครื่องจำลองไปจนถึงงานวิจัย
• การสำรวจตัวแทนอิสระที่ใช้ LLM
• Mindstorms ในสังคมที่ใช้ภาษาธรรมชาติของจิตใจ

นอกเหนือจาก Transformers

นักวิจัยกำลังพยายามสำรวจรุ่นใหม่นอกเหนือจากหม้อแปลง ความพยายามรวมถึงพารามิเตอร์แบบจำลองการจัดโครงสร้างโดยปริยายและกำหนดสถาปัตยกรรมโมเดลใหม่

พารามิเตอร์ที่มีโครงสร้างโดยนัย

• Monarch Mixer: Revisiting Bert โดยไม่สนใจหรือ MLPS
• MAMBA: การสร้างแบบจำลองลำดับเวลาเชิงเส้นด้วยช่องว่างสถานะแบบเลือก

สถาปัตยกรรมรุ่นใหม่

• Hyena Hierarchy: ไปสู่แบบจำลองภาษาที่มีขนาดใหญ่ขึ้น
• RWKV: reinventing rnns สำหรับยุคหม้อแปลง
• เครือข่าย Retentive: ผู้สืบทอดต่อหม้อแปลงสำหรับแบบจำลองภาษาขนาดใหญ่
• MAMBA: การสร้างแบบจำลองลำดับเวลาเชิงเส้นด้วยช่องว่างสถานะแบบเลือก
• Kan: เครือข่าย Kolmogorov - Arnold
• หม้อแปลงคือ SSMS: แบบจำลองทั่วไปและอัลกอริทึมที่มีประสิทธิภาพผ่านความเป็นคู่ของพื้นที่สถานะที่มีโครงสร้าง

นี่คือบทช่วยสอนที่ยอดเยี่ยมสำหรับแบบจำลองพื้นที่ของรัฐ