machine learning list

รายการการอ่านการเรียนรู้ของเครื่องจักร

วัตถุประสงค์

วัตถุประสงค์ของหลักสูตรนี้คือการช่วยให้พนักงานใหม่เรียนรู้ภูมิหลังในการเรียนรู้ของเครื่องโดยมุ่งเน้นไปที่รูปแบบภาษา ฉันพยายามที่จะสร้างสมดุลระหว่างเอกสารที่เกี่ยวข้องกับการปรับใช้ ML ในการผลิตและเทคนิคที่มีความสำคัญต่อความยืดหยุ่นในระยะยาว

หากคุณยังไม่ได้ทำงานที่ล้วงเอา - เรากำลังจ้าง ML และวิศวกรซอฟต์แวร์

วิธีการอ่าน

คำสั่งการอ่านที่แนะนำ:

1. อ่าน“ Tier 1” สำหรับทุกหัวข้อ
2. อ่าน“ Tier 2” สำหรับทุกหัวข้อ
3. ฯลฯ

เพิ่มหลังจาก 2024/4/1

สารบัญ

• พื้นฐาน
  • รู้เบื้องต้นเกี่ยวกับการเรียนรู้ของเครื่องจักร
  • หม้อแปลงไฟฟ้า
  • สถาปัตยกรรมรูปแบบรากฐานที่สำคัญ
  • การฝึกอบรมและการปรับแต่ง
• กลยุทธ์การใช้เหตุผลและรันไทม์
  • การใช้เหตุผลในบริบท
  • การสลายตัวของงาน
  • อภิปราย
  • การใช้เครื่องมือและการนั่งร้าน
  • ความซื่อสัตย์ความเป็นจริงและ apistemics
• แอปพลิเคชัน
  • ศาสตร์
  • การพยากรณ์
  • ค้นหาและจัดอันดับ
• ML ในทางปฏิบัติ
  • การปรับใช้การผลิต
  • เกณฑ์มาตรฐาน
  • ชุดข้อมูล
• หัวข้อขั้นสูง
  • โมเดลและเวรกรรมของโลก
  • การวางแผน
  • ความไม่แน่นอนการสอบเทียบและการเรียนรู้ที่ใช้งาน
  • ความสามารถในการตีความและการแก้ไขแบบจำลอง
  • การเรียนรู้เสริมแรง
• ภาพใหญ่
  • การปรับขนาด AI
  • ความปลอดภัยของ AI
  • ผลกระทบทางเศรษฐกิจและสังคม
  • ปรัชญา
• ผู้ดูแล

พื้นฐาน

รู้เบื้องต้นเกี่ยวกับการเรียนรู้ของเครื่องจักร

ชั้น 1

• การแนะนำสั้น ๆ เกี่ยวกับการเรียนรู้ของเครื่องจักร
• แต่เครือข่ายประสาทคืออะไร?
• การไล่ระดับสี, เครือข่ายประสาทเรียนรู้อย่างไร

ชั้น 2

• ความเข้าใจที่เข้าใจง่ายเกี่ยวกับ backpropagation
• backpropagation กำลังทำอะไรจริง ๆ ?
• การแนะนำการเรียนรู้การเสริมแรงอย่างลึกซึ้ง

ชั้น 3

• อินโทรที่สะกดออกมาสู่เครือข่ายประสาทและ backpropagation: การสร้าง micrograd
• แคลคูลัส backpropagation

หม้อแปลงไฟฟ้า

ชั้น 1

• แต่ GPT คืออะไร? ภาพอินโทรของ Transformers
• ความสนใจในหม้อแปลงอธิบายด้วยสายตา
• ความสนใจ? ความสนใจ!
• หม้อแปลงภาพประกอบ
• ภาพประกอบ GPT-2 (โมเดลภาษาหม้อแปลงที่แสดงภาพ)

ชั้น 2

• มาสร้าง GPT tokenizer กันเถอะ
• การแปลเครื่องประสาทโดยร่วมกันเรียนรู้ที่จะจัดตำแหน่งและแปล
• หม้อแปลงหมายเหตุ
• ความสนใจคือสิ่งที่คุณต้องการ

ชั้น 3

• การสำรวจในทางปฏิบัติเกี่ยวกับหม้อแปลงที่เร็วและเบากว่า
• Tabpfn: หม้อแปลงที่แก้ปัญหาการจำแนกแบบตารางขนาดเล็กในวินาที
• Grokking: การวางนัยทั่วไปนอกเหนือจากการ overfitting ในชุดข้อมูลอัลกอริทึมขนาดเล็ก
• กรอบทางคณิตศาสตร์สำหรับวงจรหม้อแปลง

ระดับ 4+

• ความสามารถในการประพันธ์ของหม้อแปลงอัตโนมัติ: การศึกษาเกี่ยวกับงานสังเคราะห์และตีความได้
• ท่องจำหม้อแปลง
• เลเยอร์ฟีดไปข้างหน้าของหม้อแปลงเป็นความทรงจำสำคัญ

สถาปัตยกรรมรูปแบบรากฐานที่สำคัญ

ชั้น 1

• แบบจำลองภาษาเป็นผู้เรียนมัลติทาสก์ที่ไม่ได้รับการดูแล (GPT-2)
• แบบจำลองภาษาเป็นผู้เรียนไม่กี่คน (GPT-3)

ชั้น 2

• LLAMA: โมเดลภาษาที่เปิดกว้างและมีประสิทธิภาพ (LLAMA)
• การสร้างแบบจำลองลำดับที่ยาวอย่างมีประสิทธิภาพด้วยช่องว่างสถานะที่มีโครงสร้าง (วิดีโอ) (S4)
• การสำรวจขีด จำกัด ของการเรียนรู้การถ่ายโอนด้วยหม้อแปลงข้อความเป็นแบบรวมเป็นข้อความ (T5)
• การประเมินแบบจำลองภาษาขนาดใหญ่ที่ผ่านการฝึกอบรมเกี่ยวกับรหัส (OpenAI Codex)
• แบบจำลองภาษาการฝึกอบรมเพื่อทำตามคำแนะนำที่มีข้อเสนอแนะของมนุษย์ (Openai Instruct)

ชั้น 3

• Mistral 7b (Mistral)
• Mixtral ของผู้เชี่ยวชาญ (Mixtral)
• ราศีเมถุน: ตระกูลที่มีความสามารถสูงหลายรูปแบบ (ราศีเมถุน)
• Mamba: การสร้างแบบจำลองลำดับเวลาเชิงเส้นด้วยพื้นที่เลือกสถานะ (Mamba)
• การปรับขนาดภาษาแบบจำลองภาษา-ฟินเน็น (FLAN)

ระดับ 4+

• แบบจำลองความสอดคล้อง
• แบบจำลองการ์ดและการประเมินผลสำหรับโมเดล Claude (Claude 2)
• Olmo: เร่งวิทยาศาสตร์ของแบบจำลองภาษา
• รายงานทางเทคนิค Palm 2 (Palm 2)
• ตำราเรียนคือทั้งหมดที่คุณต้องการ II: รายงานทางเทคนิค Phi-1.5 (Phi 1.5)
• การปรับแต่งคำแนะนำด้วยภาพ (LLAVA)
• ผู้ช่วยภาษาทั่วไปเป็นห้องปฏิบัติการสำหรับการจัดตำแหน่ง
• แบบจำลองภาษา Finetuned เป็นผู้เรียนที่ไม่มีการถ่ายภาพ (Google Instruct)
• Galactica: แบบจำลองภาษาขนาดใหญ่สำหรับวิทยาศาสตร์
• Lamda: โมเดลภาษาสำหรับแอปพลิเคชันโต้ตอบ (Google Dialog)
• OPT: เปิดโมเดลภาษาหม้อแปลงที่ผ่านการฝึกอบรมล่วงหน้า (Meta GPT-3)
• Palm: การปรับขนาดภาษาแบบปรับขนาดด้วยเส้นทาง (Palm)
• การสังเคราะห์โปรแกรมด้วยรูปแบบภาษาขนาดใหญ่ (Google Codex)
• แบบจำลองการปรับขนาดภาษา: วิธีการวิเคราะห์และข้อมูลเชิงลึกจากการฝึกอบรม Gopher (Gopher)
• การแก้ปัญหาการใช้เหตุผลเชิงปริมาณด้วยแบบจำลองภาษา (Minerva)
• UL2: การรวมกรอบการเรียนรู้ภาษา (UL2)

การฝึกอบรมและการปรับแต่ง

ชั้น 2

• โปรแกรม Tensor V: การปรับเครือข่ายประสาทขนาดใหญ่ผ่านการถ่ายโอนแบบไม่ใช้พารามิเตอร์แบบไม่ยิง
• เรียนรู้ที่จะสรุปด้วยความคิดเห็นของมนุษย์
• การฝึกอบรมผู้ตรวจสอบเพื่อแก้ปัญหาคำคณิตศาสตร์

ชั้น 3

• แบบจำลองภาษาที่มีความชอบของมนุษย์
• การวางนัยทั่วไปที่อ่อนแอต่อความแข็งแกร่ง: ทำให้เกิดความสามารถที่แข็งแกร่งกับการกำกับดูแลที่อ่อนแอ
• การปรับจูนพารามิเตอร์แบบไม่กี่พารามิเตอร์นั้นดีกว่าและถูกกว่าการเรียนรู้ในบริบท
• LORA: การปรับระดับต่ำของแบบจำลองภาษาขนาดใหญ่
• การแปลระบบประสาทที่ไม่ได้รับการดูแลด้วยแบบจำลองภาษากำเนิดเท่านั้น

ระดับ 4+

• นอกเหนือจากข้อมูลของมนุษย์: ปรับขนาดการฝึกอบรมตนเองเพื่อแก้ปัญหาด้วยแบบจำลองภาษา
• การปรับปรุงการสร้างรหัสโดยการฝึกอบรมด้วยข้อเสนอแนะภาษาธรรมชาติ
• การสร้างแบบจำลองภาษาเป็นการบีบอัด
• ลิมา: น้อยกว่าสำหรับการจัดตำแหน่งมากขึ้น
• เรียนรู้ที่จะบีบอัดพร้อมกับโทเค็น GIST
• หายไปกลาง: แบบจำลองภาษาใช้บริบทที่ยาวอย่างไร
• Qlora: Finetuning ที่มีประสิทธิภาพของ LLMs เชิงปริมาณ
• Sime-Star: แบบจำลองภาษาสามารถสอนตัวเองให้คิดก่อนพูดได้
• เสริมการฝึกอบรมตนเอง (REST) ​​สำหรับการสร้างแบบจำลองภาษา
• การแก้เรขาคณิตโอลิมปิกโดยไม่มีการสาธิตของมนุษย์
• บอกอย่าแสดง: ข้อเท็จจริงที่เปิดเผยมีอิทธิพลต่อวิธีการทั่วไปของ LLMS
• ตำราเรียนเป็นสิ่งที่คุณต้องการ
• TinyStories: รูปแบบภาษาเล็กแค่ไหนและยังพูดภาษาอังกฤษที่สอดคล้องกันได้?
• รูปแบบภาษาการฝึกอบรมที่มีข้อเสนอแนะทางภาษาในระดับ
• Turing Transformers Complete: สองหม้อแปลงมีพลังมากกว่าหนึ่ง
• BYT5: ไปสู่อนาคตที่ปราศจากโทเค็นด้วยรุ่นไบต์ไปยังไบต์ที่ผ่านการฝึกอบรมมาก่อน
• คุณสมบัติการกระจายข้อมูลขับเคลื่อนการเรียนรู้ในบริบทในหม้อแปลง
• Diffusion-LM ปรับปรุงการสร้างข้อความที่ควบคุมได้
• Ernie 3.0: ความรู้ขนาดใหญ่เพิ่มการฝึกอบรมล่วงหน้าสำหรับการทำความเข้าใจภาษาและการสร้าง
• การฝึกอบรมแบบจำลองภาษาที่มีประสิทธิภาพเพื่อเติมอยู่ตรงกลาง
• ext5: ไปสู่การปรับขนาดแบบหลายงานที่รุนแรงสำหรับการเรียนรู้การถ่ายโอน
• คำนำหน้าการปรับแต่ง: การเพิ่มประสิทธิภาพการแจ้งเตือนอย่างต่อเนื่องสำหรับการสร้าง
• ความตั้งใจด้วยตนเองระหว่าง Datapoints: นอกเหนือไปจากคู่อินพุตเอาท์พุทแต่ละคู่ในการเรียนรู้อย่างลึกซึ้ง
• การเรียนรู้ไม่กี่ครั้งที่แท้จริงด้วยพรอมต์-มุมมองในโลกแห่งความเป็นจริง

กลยุทธ์การใช้เหตุผลและรันไทม์

การใช้เหตุผลในบริบท

ชั้น 2

• ห่วงโซ่แห่งความคิดกระตุ้นให้เกิดการให้เหตุผลในรูปแบบภาษาขนาดใหญ่
• โมเดลภาษาขนาดใหญ่เป็นเหตุผลที่ไม่มีการยิง (ลองคิดทีละขั้นตอน)
• ความสม่ำเสมอของตนเองช่วยปรับปรุงห่วงโซ่การให้เหตุผลทางความคิดในรูปแบบภาษา

ชั้น 3

• การให้เหตุผลที่ใช้ความคิดโดยไม่ต้องแจ้ง
• ทำไมต้องคิดทีละขั้นตอน? การให้เหตุผลเกิดขึ้นจากสถานที่แห่งประสบการณ์

ระดับ 4+

• Baldur: การสร้างและซ่อมแซมด้วยภาษาขนาดใหญ่ทั้งหมด
• การฝึกอบรมความสอดคล้องแบบอคติช่วยลดการใช้เหตุผลแบบลำเอียงในห่วงโซ่ของความคิด
• การรับรองการให้เหตุผลด้วยรูปแบบภาษา
• การค้นหาสมมติฐาน: การใช้เหตุผลเชิงอุปนัยด้วยแบบจำลองภาษา
• LLMS และคลังข้อมูลที่เป็นนามธรรมและการให้เหตุผล: ความสำเร็จความล้มเหลวและความสำคัญของการเป็นตัวแทนตามวัตถุ
• แบบจำลองภาษาขนาดใหญ่ยังไม่สามารถให้เหตุผลแก้ไขตนเองได้
• สตรีมของการค้นหา (SOS): เรียนรู้ที่จะค้นหาภาษา
• ห่วงโซ่การฝึกอบรมของความคิดผ่านการอนุมานแฝง
• ทบทวนบทบาทของการสาธิต: สิ่งที่ทำให้การเรียนรู้ในบริบท?
• การแข่งขันแบบฟอร์มพื้นผิว: ทำไมคำตอบความน่าจะเป็นสูงสุดจึงไม่ถูกต้องเสมอไป

การสลายตัวของงาน

ชั้น 1

• ดูแลกระบวนการไม่ใช่ผลลัพธ์
• ดูแลผู้เรียนที่แข็งแกร่งโดยขยายผู้เชี่ยวชาญที่อ่อนแอ

ชั้น 2

• ต้นไม้แห่งความคิด: การแก้ปัญหาโดยเจตนาด้วยรูปแบบภาษาขนาดใหญ่
• ความรู้ความเข้าใจ
• การกลั่นและการขยายซ้ำซ้ำ ๆ
• สรุปหนังสือซ้ำอีกครั้งพร้อมคำติชมของมนุษย์
• การแก้ปัญหาคำคณิตศาสตร์ด้วยความคิดเห็นตามกระบวนการและตามผลลัพธ์

ชั้น 3

• การตรวจสอบแบบแยกส่วน: การตรวจจับและลดภาพหลอนในบทสรุปของเอกสารทางวิชาการ
• การใช้เหตุผลอย่างซื่อสัตย์โดยใช้แบบจำลองภาษาขนาดใหญ่
• มนุษย์ให้คำปรึกษา HCH
• การสลายตัวซ้ำ ๆ : การปรับปรุงคำถามและคำตอบทางวิทยาศาสตร์โดยการดูแลกระบวนการให้เหตุผล
• แบบจำลองภาษา

ระดับ 4+

• Decontextualization: การสร้างประโยคแบบสแตนด์อโลน
• ไพรเมอร์ความรู้ความเข้าใจ
• กราฟแห่งความคิด: การแก้ปัญหาอย่างละเอียดเกี่ยวกับแบบจำลองภาษาขนาดใหญ่
• Parsel: กรอบภาษาธรรมชาติแบบครบวงจรสำหรับการใช้เหตุผลอัลกอริทึม
• AI Chains: การมีปฏิสัมพันธ์ระหว่างมนุษย์และควบคุมความโปร่งใสและควบคุมได้
• งานใหญ่ที่ท้าทายและไม่ว่าห่วงโซ่ของความคิดจะสามารถแก้ปัญหาได้หรือไม่
• ประเมินอาร์กิวเมนต์ทีละขั้นตอน
• การแจ้งเตือนน้อยที่สุดช่วยให้การใช้เหตุผลที่ซับซ้อนในรูปแบบภาษาขนาดใหญ่
• การแจ้งเตือน Maieutic: เหตุผลที่สอดคล้องกันอย่างมีเหตุผลพร้อมคำอธิบายซ้ำ
• การวัดและลดช่องว่างการเรียงความในแบบจำลองภาษา
• PAL: รูปแบบภาษาโดยโปรแกรมโดยโปรแกรม
• ตอบสนอง: การรวมเหตุผลและการแสดงในรูปแบบภาษา
• การเลือกการเลือก: ใช้ประโยชน์จากแบบจำลองภาษาขนาดใหญ่สำหรับการใช้เหตุผลเชิงตรรกะที่ตีความได้
• แสดงผลงานของคุณ: Scratchpads สำหรับการคำนวณระดับกลางด้วยแบบจำลองภาษา
• Summ^n: กรอบการสรุปหลายขั้นตอนสำหรับบทสนทนาและเอกสารอินพุตยาว
• Thinksum: การใช้เหตุผลที่น่าจะเป็นไปตามชุดโดยใช้แบบจำลองภาษาขนาดใหญ่

อภิปราย

ชั้น 2

• ความปลอดภัยของ AI ผ่านการอภิปราย

ชั้น 3

• การอภิปรายช่วยดูแลผู้เชี่ยวชาญที่ไม่น่าเชื่อถือ
• การอภิปรายสองครั้งไม่ได้ช่วยให้มนุษย์ตอบคำถามความเข้าใจอย่างหนัก

ระดับ 4+

• ความปลอดภัย AI ที่ปรับขนาดได้ผ่านการอภิปรายที่มีประสิทธิภาพเป็นสองเท่า
• การปรับปรุงข้อเท็จจริงและการใช้เหตุผลในรูปแบบภาษาผ่านการอภิปรายหลายส่วน

การใช้เครื่องมือและการนั่งร้าน

ชั้น 2

• การวัดผลกระทบของการปรับปรุงหลังการฝึกอบรม
• WebGPT: การตอบคำถามที่ได้รับการช่วยเหลือจากเบราว์เซอร์พร้อมคำติชมของมนุษย์

ชั้น 3

• ความสามารถของ AI สามารถปรับปรุงได้อย่างมีนัยสำคัญโดยไม่ต้องฝึกอบรมการใหม่ที่มีราคาแพง
• การค้นพบแบบจำลองทางสถิติอัตโนมัติด้วยรูปแบบภาษา

ระดับ 4+

• DSPY: การรวบรวมรูปแบบภาษาที่ประกาศใช้ในการปรับปรุงตัวเองไปป์ไลน์
• Prottbreeder: การพัฒนาตนเองอ้างอิงตนเองผ่านวิวัฒนาการที่รวดเร็ว
• เครื่องมือเพิ่มประสิทธิภาพที่เรียนรู้ด้วยตนเอง (หยุด): การสร้างรหัสการปรับปรุงตัวเองซ้ำ
• Voyager: ตัวแทนที่เป็นตัวเป็นตนปลายเปิดที่มีรูปแบบภาษาขนาดใหญ่
• Regal: โปรแกรม refactoring เพื่อค้นหา abstractions ทั่วไป

ความซื่อสัตย์ความเป็นจริงและ apistemics

ชั้น 2

• แบบจำลองการวิจารณ์ตนเองเพื่อช่วยเหลือผู้ประเมินของมนุษย์

ชั้น 3

• แบบจำลองภาษามีหลักฐานอะไรบ้างที่น่าเชื่อถือ?
• วิธีจับ AI Liar: Lie Detection ใน Black-Box LLMS โดยการถามคำถามที่ไม่เกี่ยวข้อง

ระดับ 4+

• แบบจำลองภาษาไม่ได้พูดในสิ่งที่พวกเขาคิดเสมอไป: คำอธิบายนอกใจในการกระตุ้นด้วยความคิด
• ข้อเท็จจริงแบบยาวในรูปแบบภาษาขนาดใหญ่

แอปพลิเคชัน

ศาสตร์

ชั้น 3

• แบบจำลองภาษาขนาดใหญ่สามารถให้ข้อเสนอแนะที่เป็นประโยชน์เกี่ยวกับงานวิจัยหรือไม่? การวิเคราะห์เชิงประจักษ์ขนาดใหญ่
• แบบจำลองภาษาขนาดใหญ่เข้ารหัสความรู้ทางคลินิก
• ผลกระทบของแบบจำลองภาษาขนาดใหญ่ต่อการค้นพบทางวิทยาศาสตร์: การศึกษาเบื้องต้นโดยใช้ GPT-4
• ชุดข้อมูลของคำถามการค้นหาข้อมูลและคำตอบที่ยึดในงานวิจัย

ระดับ 4+

• Feneralist Foundation สามารถแข่งขันได้มากกว่าการปรับแต่งแบบพิเศษหรือไม่? กรณีศึกษาด้านการแพทย์
• Nougat: ความเข้าใจเกี่ยวกับแสงของระบบประสาทสำหรับเอกสารทางวิชาการ
• SCIM: การสนับสนุนการอ่านอย่างชาญฉลาดสำหรับเอกสารทางวิทยาศาสตร์
• Synergpt: การเรียนรู้ในบริบทสำหรับการทำนายยาเสพติดส่วนบุคคลและการออกแบบยา
• ไปสู่การวินิจฉัยแยกโรคที่แม่นยำด้วยแบบจำลองภาษาขนาดใหญ่
• สู่เกณฑ์มาตรฐานสำหรับความเข้าใจทางวิทยาศาสตร์ในมนุษย์และเครื่องจักร
• เครื่องมือค้นหาสำหรับการค้นพบความท้าทายทางวิทยาศาสตร์และทิศทาง
• การตรวจสอบอย่างเป็นระบบเต็มรูปแบบเสร็จสมบูรณ์ใน 2 สัปดาห์โดยใช้เครื่องมืออัตโนมัติ: กรณีศึกษา
• ความจริงหรือนิยาย: การตรวจสอบการเรียกร้องทางวิทยาศาสตร์
• Multi-Xscience: ชุดข้อมูลขนาดใหญ่สำหรับการสรุปเอกสารหลายเอกสารที่รุนแรงมาก
• เพียร์: รูปแบบภาษาที่ทำงานร่วมกัน
• PubMedQa: ชุดข้อมูลสำหรับคำถามการวิจัยทางชีวการแพทย์ตอบคำถาม
• SCICO: coreRefere Cross-Document แบบลำดับชั้นสำหรับแนวคิดทางวิทยาศาสตร์
• Scitail: ชุดข้อมูลการส่งข้อความจากการตอบคำถามวิทยาศาสตร์

การพยากรณ์

ชั้น 3

• การคาดการณ์ AI-Augmented: ผู้ช่วย LLM ปรับปรุงความแม่นยำในการพยากรณ์ของมนุษย์
• การพยากรณ์ระดับมนุษย์ด้วยแบบจำลองภาษา
• หม้อแปลงมีผลบังคับใช้สำหรับการพยากรณ์อนุกรมเวลาหรือไม่?
• การพยากรณ์เหตุการณ์โลกในอนาคตด้วยเครือข่ายประสาท

ค้นหาและจัดอันดับ

ชั้น 2

• การเรียนรู้การเป็นตัวแทนของวลีที่หนาแน่น
• การฝังข้อความและรหัสโดยการฝึกอบรมก่อนการฝึกอบรม (OpenAI EMBEDDINGS)

ชั้น 3

• แบบจำลองภาษาขนาดใหญ่เป็นอันดับข้อความที่มีประสิทธิภาพพร้อมการจัดอันดับคู่
• ฐานข้อมูลเวกเตอร์ทั้งหมดไม่เท่ากัน
• Realm: รูปแบบภาษาที่เรียกคืนก่อนการฝึกอบรมก่อน
• รุ่น Retrieval-Augmented สำหรับงาน NLP ที่ใช้ความรู้มาก
• การดึงงานที่รับรู้พร้อมคำแนะนำ

ระดับ 4+

• Rankzephyr: Reranking reeranking แบบ zero-shot ที่มีประสิทธิภาพและมีประสิทธิภาพเป็นเรื่องง่าย!
• ข้อผิดพลาดทั่วไปในการประเมิน IR และวิธีการหลีกเลี่ยงที่พวกเขาสามารถหลีกเลี่ยงได้
• เพิ่มเครื่องมือค้นหาด้วยตัวแทนเชิงโต้ตอบ
• Colbert: การค้นหาทางเดินที่มีประสิทธิภาพและมีประสิทธิภาพผ่านการโต้ตอบล่าช้าตามบริบทเหนือ Bert
• การย้ายเกินความถูกต้องของงานดาวน์สตรีมสำหรับการเปรียบเทียบข้อมูลการดึงข้อมูล
• UnifiedQa: ขอบเขตรูปแบบการข้ามด้วยระบบ QA เดียว

ML ในทางปฏิบัติ

การปรับใช้การผลิต

ชั้น 1

• การเรียนรู้ของเครื่องจักรใน Python: การพัฒนาหลักและแนวโน้มเทคโนโลยีในวิทยาศาสตร์ข้อมูลการเรียนรู้ของเครื่องและ AI
• การเรียนรู้ของเครื่อง: บัตรเครดิตที่มีดอกเบี้ยสูงของหนี้ทางเทคนิค

ชั้น 2

• การออกแบบแอพพลิเคชั่นที่ใช้ข้อมูลมาก
• สูตรสำหรับการฝึกอบรมเครือข่ายประสาท

เกณฑ์มาตรฐาน

ชั้น 2

• GPQA: เกณฑ์มาตรฐานการตอบคำถามของ Google ระดับบัณฑิตศึกษา
• SWE-BENCH: แบบจำลองภาษาสามารถแก้ไขปัญหา GitHub ได้หรือไม่?
• Trustfulqa: การวัดว่าแบบจำลองเลียนแบบความเท็จของมนุษย์อย่างไร

ชั้น 3

• Flex: การประเมินผลรวม NLP ไม่กี่ครั้ง
• การประเมินแบบองค์รวมของแบบจำลองภาษา (Helm)
• การวัดความเข้าใจภาษามัลติทาสก์ขนาดใหญ่
• Raft: มาตรฐานการจำแนกประเภทข้อความไม่กี่ตัวในโลกแห่งความเป็นจริง
• การเรียนรู้แบบไม่กี่ครั้งที่แท้จริงกับแบบจำลองภาษา

ระดับ 4+

• Gaia: มาตรฐานสำหรับผู้ช่วย AI ทั่วไป
• ConditionalQa: ชุดข้อมูลความเข้าใจที่ซับซ้อนพร้อมคำตอบตามเงื่อนไข
• การวัดการแก้ปัญหาทางคณิตศาสตร์ด้วยชุดข้อมูลคณิตศาสตร์
• คุณภาพ: การตอบคำถามด้วยข้อความอินพุตยาวใช่!
• Scrolls: การเปรียบเทียบมาตรฐานในลำดับภาษายาว
• จะต้องใช้อะไรบ้างในการแก้ไขการเปรียบเทียบในการทำความเข้าใจภาษาธรรมชาติ?

ชุดข้อมูล

ชั้น 2

• การรวบรวมข้อมูลทั่วไป
• The Pile: ชุดข้อมูล 800GB ของข้อความที่หลากหลายสำหรับการสร้างแบบจำลองภาษา

ชั้น 3

• กล่องโต้ตอบ inpainting: การเปลี่ยนเอกสารเป็นกล่องโต้ตอบ
• MS Marco: ชุดข้อมูลความเข้าใจในการอ่านของเครื่องจักรมนุษย์ที่สร้างขึ้น
• กราฟวิชาการของ Microsoft
• TLDR9+: ทรัพยากรขนาดใหญ่สำหรับการสรุปอย่างมากของโพสต์โซเชียลมีเดีย

หัวข้อขั้นสูง

โมเดลและเวรกรรมของโลก

ชั้น 3

• การเป็นตัวแทนของโลกฉุกเฉิน: การสำรวจแบบจำลองลำดับที่ผ่านการฝึกอบรมเกี่ยวกับงานสังเคราะห์
• จากโมเดลคำไปสู่โมเดลโลก: การแปลจากภาษาธรรมชาติเป็นภาษาความคิดที่น่าจะเป็น
• โมเดลภาษาแสดงถึงพื้นที่และเวลา

ระดับ 4+

• ตัดจำหน่ายการอนุมานที่ดื้อดึงในรูปแบบภาษาขนาดใหญ่
• Cladder: การประเมินเหตุผลเชิงสาเหตุในแบบจำลองภาษา
• การเพิ่มประสิทธิภาพแบบเบย์เชิงสาเหตุ
• การใช้เหตุผลเชิงสาเหตุและแบบจำลองภาษาขนาดใหญ่: เปิดพรมแดนใหม่เพื่อเวรกรรม
• ตัวแทนกำเนิด: simulacra แบบโต้ตอบของพฤติกรรมมนุษย์
• การเรียนรู้แบบพาสซีฟของกลยุทธ์เชิงสาเหตุที่ใช้งานอยู่ในตัวแทนและรูปแบบภาษา

การวางแผน

ระดับ 4+

• Beyond a*: การวางแผนที่ดีขึ้นด้วย Transformers ผ่านการค้นหาแบบไดนามิก bootstrapping
• สถาปัตยกรรมทางปัญญาสำหรับตัวแทนภาษา

ความไม่แน่นอนการสอบเทียบและการเรียนรู้ที่ใช้งาน

ชั้น 2

• ผู้เชี่ยวชาญไม่โกง: เรียนรู้สิ่งที่คุณไม่รู้จักโดยการทำนายคู่
• พื้นฐานที่เรียบง่ายสำหรับความไม่แน่นอนของเบย์ในการเรียนรู้อย่างลึกซึ้ง
• Plex: สู่ความน่าเชื่อถือโดยใช้ส่วนขยายขนาดใหญ่ที่ผ่านการปรับสภาพล่วงหน้า

ชั้น 3

• การอนุมานการตั้งค่าที่ใช้งานโดยใช้แบบจำลองภาษาและการใช้เหตุผลความน่าจะเป็น
• ทำให้เกิดความชอบของมนุษย์ด้วยแบบจำลองภาษา
• การเรียนรู้อย่างแข็งขันโดยการรับตัวอย่างที่ตัดกัน
• อธิบายความแตกต่างระหว่างการแจกแจงข้อความด้วยภาษาธรรมชาติ
• แบบจำลองการสอนเพื่อแสดงความไม่แน่นอนในคำพูด

ระดับ 4+

• ทำการทดลองและแก้ไขกฎด้วยภาษาธรรมชาติและการใช้เหตุผลที่น่าจะเป็น
• STAR-GATE: การสอนแบบจำลองภาษาเพื่อถามคำถามที่ชัดเจน
• การทดสอบที่ใช้งานอยู่: การประเมินแบบจำลองตัวอย่างที่มีประสิทธิภาพ
• การประเมินความไม่แน่นอนสำหรับแบบจำลองรางวัลภาษา

ความสามารถในการตีความและการแก้ไขแบบจำลอง

ชั้น 2

• ค้นพบความรู้แฝงในรูปแบบภาษาโดยไม่มีการกำกับดูแล

ชั้น 3

• ความสามารถในการตีความได้ในระดับ: การระบุกลไกเชิงสาเหตุใน Alpaca
• กลไกการวิเคราะห์ผลกระทบของการปรับแต่งอย่างละเอียดต่องานที่กำหนดตามขั้นตอน
• วิศวกรรมการเป็นตัวแทน: วิธีการจากบนลงล่างเพื่อความโปร่งใสของ AI
• การศึกษาแบบจำลองภาษาขนาดใหญ่โดยทั่วไปด้วยฟังก์ชั่นอิทธิพล
• ความสามารถในการตีความในป่า: วงจรสำหรับการระบุวัตถุทางอ้อมใน GPT-2 ขนาดเล็ก

ระดับ 4+

• คุณสมบัติ Codebook: การตีความแบบกระจัดกระจายและไม่ต่อเนื่องสำหรับเครือข่ายประสาท
• ทำให้เกิดการคาดการณ์แฝงจากหม้อแปลงด้วยเลนส์ที่ปรับแต่ง
• แบบจำลองภาษาผูกเอนทิตีในบริบทอย่างไร
• การเปิดกล่อง AI Black: การสังเคราะห์โปรแกรมผ่านการตีความกลไก
• วงจรฟีเจอร์ที่กระจัดกระจาย: การค้นพบและแก้ไขกราฟสาเหตุที่ตีความได้ในรูปแบบภาษา
• การเปิดเผยอัลกอริทึมการปรับเปลี่ยน Mesa ในหม้อแปลง
• การแก้ไขแบบจำลองอย่างรวดเร็วในระดับ
• Git re-basin: การรวมโมเดลโมดูโลการเปลี่ยนแปลงแบบสมมาตร
• ค้นหาและแก้ไขความสัมพันธ์ที่เป็นข้อเท็จจริงใน GPT
• หน่วยความจำการแก้ไขจำนวนมากในหม้อแปลง

การเรียนรู้เสริมแรง

ชั้น 2

• การเพิ่มประสิทธิภาพการตั้งค่าโดยตรง: รูปแบบภาษาของคุณเป็นแบบจำลองรางวัลอย่างลับๆ
• Reflexion: ตัวแทนภาษาที่มีการเรียนรู้การเสริมแรงด้วยวาจา
• Mastering Chess and Shogi โดยการเล่นด้วยตนเองด้วยอัลกอริทึมการเรียนรู้การเสริมแรงทั่วไป (Alphazero)
• Muzero: Mastering Atari, Go, Chess และ Shogi โดยการวางแผนด้วยรูปแบบที่เรียนรู้

ชั้น 3

• ปัญหาเปิดและข้อ จำกัด พื้นฐานของการเรียนรู้การเสริมแรงจากข้อเสนอแนะของมนุษย์
• Alphastar: การเรียนรู้เกมกลยุทธ์แบบเรียลไทม์ Starcraft II
• หม้อแปลงตัดสินใจ
• Mastering Atari Games ที่มีข้อมูล จำกัด (EfficientZero)
• Mastering Stratego เกมคลาสสิกของข้อมูลที่ไม่สมบูรณ์ (DeepNash)

ระดับ 4+

• Alphastar Unplugged: การเรียนรู้การเสริมแรงแบบออฟไลน์ขนาดใหญ่
• การเรียนรู้การเสริมแรงแบบเบย์ด้วยภาระการรับรู้ที่ จำกัด
• การเรียนรู้แบบ prefence ที่ตรงกันข้าม: การเรียนรู้จากข้อเสนอแนะของมนุษย์โดยไม่ต้อง RL
• หมากรุกระดับปรมาจารย์โดยไม่ต้องค้นหา
• วิธีการที่ขับเคลื่อนด้วยข้อมูลสำหรับการเรียนรู้ที่จะควบคุมคอมพิวเตอร์
• การได้มาของความรู้หมากรุกใน Alphazero
• ผู้เล่นเกม
• การเรียนรู้การเสริมแรงแบบดึงกลับ

ภาพใหญ่

การปรับขนาด AI

ชั้น 1

• การปรับขนาดกฎหมายสำหรับแบบจำลองภาษาประสาท
• ความเร็วในการบินขึ้น
• บทเรียนที่ขมขื่น

ชั้น 2

• AI และคำนวณ
• การปรับขนาดกฎหมายสำหรับการถ่ายโอน
• การฝึกอบรมแบบจำลองภาษาขนาดใหญ่ที่ดีที่สุด (Chinchilla)

ชั้น 3

• ความสามารถฉุกเฉินของแบบจำลองภาษาขนาดใหญ่
• การปรับขนาดกฎหมายด้วยการคำนวณเพิ่มเติม 0.1% (U-PALM)

ระดับ 4+

• ฟิสิกส์ของแบบจำลองภาษา: ส่วนที่ 3.3, กฎหมายความสามารถในการปรับขนาดความรู้
• แนวโน้มกฎหมายพลังงานในการเร่งความเร็วและการเรียนรู้ของเครื่องจักร
• การปรับขนาดกฎหมายสำหรับการเรียนรู้การเสริมแรงแบบตัวแทนเดี่ยว
• นอกเหนือจากกฎหมายการปรับขนาดของระบบประสาท: การเอาชนะการปรับขนาดกฎหมายผ่านการตัดแต่งข้อมูลข้อมูล
• ความสามารถฉุกเฉินของแบบจำลองภาษาขนาดใหญ่
• ปรับขนาดกฎหมายการปรับขนาดด้วยเกมกระดาน

ความปลอดภัยของ AI

ชั้น 1

• สามผลกระทบของข่าวกรองเครื่องจักร
• ความล้มเหลวเป็นอย่างไร
• หากไม่มีการตอบโต้ที่เฉพาะเจาะจงเส้นทางที่ง่ายที่สุดในการเปลี่ยนแปลง AI น่าจะนำไปสู่การครอบครอง AI

ชั้น 2

• ภาพรวมของความเสี่ยง AI หายนะ
• ชี้แจง“ ความล้มเหลวแบบไหน” (ตอนที่ 1)
• RL ลึกจากการตั้งค่าของมนุษย์
• ปัญหาการจัดตำแหน่งจากมุมมองการเรียนรู้อย่างลึกซึ้ง

ชั้น 3

• Scheming AIS: การจัดตำแหน่งปลอมของ AIS ในระหว่างการฝึกอบรมเพื่อรับอำนาจหรือไม่?
• การวัดความคืบหน้าในการกำกับดูแลที่ปรับขนาดได้สำหรับแบบจำลองภาษาขนาดใหญ่
• ความเสี่ยงจากการเพิ่มประสิทธิภาพที่เรียนรู้ในระบบการเรียนรู้ของเครื่องขั้นสูง
• การจัดตำแหน่งตัวแทนที่ปรับขนาดได้ผ่านการสร้างแบบจำลองรางวัล

ระดับ 4+

• การหลอกลวง AI: การสำรวจตัวอย่างความเสี่ยงและการแก้ปัญหาที่อาจเกิดขึ้น
• เกณฑ์มาตรฐานสำหรับการตรวจจับการดัดแปลงการตรวจสอบ
• หมากรุกเป็นพื้นที่ทดสอบสำหรับวิธีการของ Oracle เพื่อความปลอดภัยของ AI
• ปิดประตูสู่อนาคตที่ไร้มนุษยธรรม: อย่างไรและทำไมเราควรเลือกที่จะไม่พัฒนาปัญญาประดิษฐ์เหนือมนุษย์โดยทั่วไป
• การประเมินแบบจำลองสำหรับความเสี่ยงที่รุนแรง
• การรายงานอย่างรับผิดชอบสำหรับการพัฒนา AI Frontier
• กรณีความปลอดภัย: วิธีการแสดงความปลอดภัยของระบบ AI ขั้นสูง
• ตัวแทนนอน
• รายงานทางเทคนิค: แบบจำลองภาษาขนาดใหญ่สามารถหลอกลวงผู้ใช้ได้อย่างมีกลยุทธ์เมื่อถูกกดดัน
• Tensor Trust: การโจมตีแบบฉีดทันทีที่ตีความได้จากเกมออนไลน์
• เครื่องมือสำหรับการตรวจสอบข้อมูลการฝึกอบรมของโมเดลระบบประสาท
• ต่อนักวิทยาศาสตร์ที่ระมัดระวัง AI ที่มีขอบเขตความปลอดภัยมาบรรจบกัน
• การจัดตำแหน่งของตัวแทนภาษา
• ทำให้เกิดความรู้แฝง
• แบบจำลองภาษาที่เป็นทีมสีแดงเพื่อลดอันตราย: วิธีการปรับขนาดพฤติกรรมและบทเรียนที่ได้เรียนรู้
• รูปแบบภาษาร่วมทีมสีแดงพร้อมรูปแบบภาษา
• ปัญหาที่ยังไม่ได้แก้ไขในความปลอดภัย ML

ผลกระทบทางเศรษฐกิจและสังคม

ชั้น 3

• การเติบโตอย่างระเบิดจาก AI Automation: การทบทวนข้อโต้แย้ง
• แบบจำลองภาษาสามารถลดความไม่สมดุลในตลาดข้อมูล

ระดับ 4+

• การเชื่อมช่องว่างความรู้ของมนุษย์-AI: การค้นพบแนวคิดและการถ่ายโอนใน Alphazero
• โมเดลพื้นฐานและการใช้งานอย่างยุติธรรม
• GPTS คือ GPTS: การมองก่อนที่ตลาดแรงงานส่งผลกระทบต่อศักยภาพของแบบจำลองภาษาขนาดใหญ่
• ระดับของ AGI: ความคืบหน้าในการดำเนินงานบนเส้นทางสู่ AGI
• โอกาสและความเสี่ยงของ LLM สำหรับการพิจารณาที่ปรับขนาดได้กับ Polis
• เกี่ยวกับโอกาสและความเสี่ยงของแบบจำลองพื้นฐาน

ปรัชญา

ชั้น 2

• ความหมายโดยไม่มีการอ้างอิงในรูปแบบภาษาขนาดใหญ่

ระดับ 4+

• จิตสำนึกในปัญญาประดิษฐ์: ข้อมูลเชิงลึกจากวิทยาศาสตร์แห่งสติ
• นักปรัชญาควรพัฒนาทฤษฎีเกี่ยวกับและใช้ AI ที่เกี่ยวข้องกับปรัชญา
• ต่อการประเมินระบบ AI สำหรับสถานะทางศีลธรรมโดยใช้รายงานตนเอง

ผู้ดูแล

[email protected]