หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>โค้ดแหล่งที่มา AI
ดาวน์โหลด

DecryptPrompt

หากการมาถึงอย่างกะทันหันของ LLM ทำให้คุณรู้สึกหงุดหงิดคุณอาจอ่านเลือกกลยุทธ์การเอาชีวิตรอดของอาวุธสำหรับนักวิชาการ AI ที่ซึมเศร้าในไดเรกทอรีโฮม ดาราเพื่ออัปเดต ~

สรุปทรัพยากร LLM

  • โมเดลโอเพ่นซอร์สและรายการตรวจสอบ
  • การใช้เหตุผลแบบโอเพ่น
  • โอเพนซอร์ส SFT, RLHF, ชุดข้อมูล pretrain
  • สรุปแอปพลิเคชันในสาขาต่าง ๆ ของ AIGC
  • บทเรียนที่รวดเร็วบล็อกคลาสสิกและการสัมภาษณ์ AI Conference

อ่านเอกสารด้วยบล็อกของคุณ

  • DECRYPT SERIES PROMPE
  • ถอดรหัสซีรี่ส์พรอมต์ 2. การปรับแต่งการปรับแต่งการปรับแต่ง LM: T5 & PET & LM-BFF
  • ถอดรหัสซีรี่ส์พรอมต์ 3. การแช่แข็ง LM การปรับแต่งการปรับแต่ง: คำนำหน้าปรับแต่ง & ปรับแต่งและการปรับแต่ง
  • ถอดรหัสซีรี่ส์พรอมต์ 4. การปรับแต่งคำสั่งการปรับแต่ง: FLAN/T0/InstructGPT/TKINSTRUCT
  • การถอดรหัสชุด Propt 5. APE+SELF = ชุดคำสั่งอัตโนมัติการใช้งานรหัสการก่อสร้าง
  • DECRYPT SERIES PROMPT 6. LORA Command การปรับแต่งปุ่มปรับแต่ง - โปรดสงบลง 1 ชั่วโมงไม่เพียงพอ ~
  • DECRYPT PROMPT SERIES 7. การจัดตำแหน่งการตั้งค่า RLHF-Openai · DeepMind ·การวิเคราะห์เปรียบเทียบมานุษยวิทยา
  • ถอดรหัสซีรีส์พรอมต์ 8. ไม่จำเป็นต้องมีการฝึกอบรมเพื่อเปิดใช้งาน LLM เพื่อรองรับอินพุตที่ยาวนานเป็นพิเศษ: ฐานความรู้ & Unlimiformer & PCW & NBCE
  • Decrypting Series 9. COT: Model Complex INFERMINFINFINCE-BASIC CHINITED CHAN และการเล่นขั้นสูง
  • การถอดรหัสซีรี่ส์ที่รวดเร็ว 10. COT: การสำรวจหลักการของการคิดห่วงโซ่ COT
  • ถอดรหัสซีรีส์พร้อมท์ 11 COT: รุ่นเล็ก ๆ สามารถเปลและการขาดโดยธรรมชาติจะเสริมหลังคลอด
  • ถอดรหัสซีรี่ส์พรอมต์ 12. LLM Agent Zero การปรับกระบวนทัศน์การปรับแต่งและถามตัวเอง
  • ถอดรหัสซีรี่ส์พรอมต์ 13. LLM Agent Agent คำแนะนำวิธีแก้ปัญหาการปรับแต่ง: Toolformer & Gorilla
  • DECRYPT SERIES PROMPT 14. การออกแบบแอปพลิเคชันการค้นหาของ LLM Agent: WebGPT & WebGLM & WebCPM
  • Decrypting Promple Series 15. การออกแบบฐานข้อมูลของ LLM Agent Application: DIN & C3 & SQL-PALM & BIRD
  • ถอดรหัสซีรีย์พรอมต์ 16 ข้อมูลที่น้อยลงในประสบการณ์การจัดตำแหน่ง LLM ยิ่งดี? Ltd & Lima & Alpagasus
  • ถอดรหัสซีรี่ส์พร้อมท์ 17. โซลูชันการจัดตำแหน่ง LLM และอัพเกรด Wizardlm & BackTranslation & Dorign
  • การถอดรหัสซีรี่ส์ Prompt 18. โลกของตัวแทน LLM กับตัวแทนเท่านั้น
  • Decrypting Series 19. แอปพลิเคชันในสาขาการวิเคราะห์ข้อมูลของตัวแทน LLM: Data-Copilot & InsightPilot
  • การถอดรหัสซีรีส์พรอมต์ 20. Rag พูดคุยกันใหม่เกี่ยวกับการเพิ่มประสิทธิภาพความหลากหลายของ Rag
  • Decrypting Promp Series 21. Rag พูดคุยกันใหม่เกี่ยวกับความหนาแน่นของข้อมูลการเรียกคืนและคุณภาพ
  • DECRYPT PROMPT SERIES 22. RAG Reflection: มันยอมแพ้การบีบอัดหรือสติปัญญาหรือไม่?
  • ถอดรหัสซีรีส์ที่รวดเร็ว 23. ไดอะแกรมสมองที่สมบูรณ์ของการจำแนกภาพหลอนแบบจำลองขนาดใหญ่ & การระบุแหล่งที่มาและการตรวจจับและบรรเทาผลกระทบ
  • การถอดรหัสชุด Propt 24. กลยุทธ์การฝึกอบรมสำหรับโซลูชัน RLHF ใหม่: SLIC-HF & DPO & RRHF & RSO
  • ถอดรหัสชุด Propt 25. การติดฉลากตัวอย่างของโครงการปรับปรุง RLHF: RLAIF & Salmon
  • การถอดรหัสซีรีส์ที่รวดเร็ว 26. การคิดของมนุษย์กับการคิดแบบจำลอง: การคิดนามธรรมและความแตกต่าง
  • การถอดรหัสชุด Propt 27. วิธีลดการสูญเสียความสามารถทั่วไปในประสบการณ์การจัดตำแหน่ง LLM
  • ถอดรหัสซีรี่ส์ Prompt 28. ตัวแทนทางการเงินของตัวแทน LLM: Finmem & Finagent
  • DECRYPT SERIES PROMPT 29. โซลูชั่น API จริงของ Agent Agent Massive Agent: Toolllm & AnyTool
  • ถอดรหัสซีรี่ส์พรอมต์ 30. ตัวแทนท่องอินเทอร์เน็ตของ LLM Agent Agent
  • DECRYPT PROMPT SERIES 31. การเรียนรู้อย่างต่อเนื่องของ Agent Agent เกี่ยวกับความคล่องตัว
  • Decrypting Series 32. งานทำความเข้าใจตารางของ LLM - Text Modal
  • Decrypting Series 33. งานทำความเข้าใจแผนภูมิของ LLM - บทที่หลากหลาย
  • ถอดรหัสชุด Propt 34. การฝึกอบรม RLHF ใช้วิธีการที่แตกต่างกัน: ขั้นตอนโดยขั้นตอนและนอกเหนือจาก
  • ถอดรหัสชุด Propt 35. มาตรฐานที่รวดเร็วกำลังดำเนินการอยู่! DSPY Paper Skewers และตัวอย่างรหัส
  • ถอดรหัสชุดพรอมต์ 36. การเขียนที่มีโครงสร้างและอัลกอริทึมการเพิ่มประสิทธิภาพ UNIPROMPT
  • การถอดรหัสซีรี่ส์ที่รวดเร็ว 37. กลยุทธ์หลายอย่างสำหรับการตัดสินใจล่วงหน้าของ RAG Predecision เมื่อเชื่อมต่ออินเทอร์เน็ต
  • Decrypting Series 38. นโยบายการกำหนดเส้นทางหลายตัวแทน
  • Decrypting Propt Series 39. RAG เพิ่มประสิทธิภาพกระบวนการจัดตารางเวลาอย่างละเอียดด้วยความช่วยเหลือของ LLM
  • การถอดรหัสชุด Propt 40. LLM การให้เหตุผลการปรับขนาด
  • การถอดรหัสชุด Propt 41. Graphrag เป็นกระสุนเงินจริงหรือไม่?
  • การถอดรหัส Propt Series 42 เส้นทางของ LLM ไปยังห่วงโซ่การคิดที่ซับซ้อนแบบไดนามิก
  • ถอดรหัสชุด Propt 43. LLM Critics Self
  • DECRYPT PROPT SERIES 44. โหมดการสำรวจ RAG? โหมดคิดลึก?
  • ถอดรหัสซีรี่ส์พรอมต์ 45 สำรวจ LLM การกำกับดูแลที่ปรับขนาดได้ - อันไหนดีกว่าในการอภิปรายและเกม
  • การถอดรหัสตัวอย่าง Propt 46. LLM ตัวอย่างรหัสเอาต์พุตที่มีโครงสร้างและการวิเคราะห์หลักการ
  • การถอดรหัสชุด Propt 47 การวิเคราะห์คุณสมบัติบางอย่างของ O1 ความคิดยาว

สรุปเอกสาร

รายการกระดาษ

  • https://github.com/dongguanting/in-context-learning_paperlist
  • https://github.com/thunlp/promptpapers
  • https://github.com/timothyxxx/chain-of-thoughtspapers
  • https://github.com/thunlp/toollearningpapers
  • https://github.com/mlgroupjlu/llm-eval-survey
  • https://github.com/thu-coai/paperforonlg
  • https://github.com/khuangaf/awesome-chart-understanding

ห่วงโซ่การคิด (prompt_chain_of_thought)

  • การใช้งานขั้นพื้นฐานและขั้นสูง
    • 【【 zero-shot-cot 】โมเดลภาษาขนาดใหญ่เป็นเหตุผลที่ไม่มีการช็อต
    • cot ไม่กี่ cot 】โซ่แห่งความคิดกระตุ้นให้เกิดการให้เหตุผลในรูปแบบภาษาขนาดใหญ่
    • 【ความสอดคล้องของตนเอง】ปรับปรุงห่วงโซ่ของการใช้เหตุผลความคิดในรูปแบบภาษา
    • 【การแจ้งเตือนอย่างน้อยที่สุด】ช่วยให้การให้เหตุผลที่ซับซ้อนในรูปแบบภาษาขนาดใหญ่
    • 【 Tot 】ต้นไม้แห่งความคิด: การแก้ปัญหาโดยเจตนาด้วยรูปแบบภาษาขนาดใหญ่
    • 【แผนและการแก้ปัญหา】การแจ้งเตือน: การปรับปรุงการใช้เหตุผลแบบโซ่-ช็อตโดยใช้แบบจำลองภาษาขนาดใหญ่
    • 【ยืนยันและแก้ไข】: กรอบความรู้ที่เพิ่มความรู้
    • 【ได้รับการใช้เหตุผลกราฟที่มีประสิทธิภาพและมีประสิทธิภาพในรูปแบบภาษาขนาดใหญ่ที่มีประสิทธิภาพ
    • 【 tomt 】ความคิดต้นไม้ผสม: การรวมการคิดอย่างรวดเร็วและช้าสำหรับการให้เหตุผลด้านการมองเห็นแบบหลายฮอป
    • 【 Lambada 】: การผูกมัดแบบย้อนหลังเพื่อการให้เหตุผลอัตโนมัติในภาษาธรรมชาติ
    • 【 AOT 】อัลกอริทึมของความคิด: เพิ่มการสำรวจความคิดในรูปแบบภาษาขนาดใหญ่
    • 【มี】กราฟแห่งความคิด: การแก้ปัญหาที่ซับซ้อนด้วยรูปแบบภาษาขนาดใหญ่
    • 【 PHP 】การปรับเปลี่ยนแบบก้าวหน้าช่วยปรับปรุงการใช้เหตุผลในรูปแบบภาษาขนาดใหญ่
    • 【 htt 】แบบจำลองภาษาขนาดใหญ่สามารถเรียนรู้กฎได้
    • 【 divse 】ความหลากหลายของความคิดช่วยเพิ่มความสามารถในการใช้เหตุผลของแบบจำลองภาษาขนาดใหญ่
    • 【 cogtree 】จากคอมเพล็กซ์เป็นเรื่องง่าย: คลี่ต้นไม้ทางปัญญาเพื่อการให้เหตุผลกับแบบจำลองภาษาขนาดเล็ก
    • 【ขั้นตอนหลัง】ย้อนกลับไป: กระตุ้นการใช้เหตุผลผ่านสิ่งที่เป็นนามธรรมในรูปแบบภาษาขนาดใหญ่
    • 【 OPRO 】โมเดลภาษาขนาดใหญ่เป็น Optimizers
    • bot Bot 】บัฟเฟอร์ความคิด: การใช้เหตุผลแบบเสริมความคิดด้วยแบบจำลองภาษาขนาดใหญ่
    • บทคัดย่อของความคิดทำให้แบบจำลองภาษามีเหตุผลดีขึ้น
    • 【 symbcot 】การใช้เหตุผลเชิงตรรกะที่ซื่อสัตย์ผ่านทางความคิดเชิงสัญลักษณ์
    • 【 xot 】ทุกสิ่งที่คิด: ท้าทายกฎของ Penrose Triangle สำหรับการสร้างความคิด
    • 【 IoT 】การทำซ้ำความคิด: ใช้ประโยชน์จากบทสนทนาภายในสำหรับการใช้เหตุผลแบบจำลองภาษาขนาดใหญ่อิสระ
    • 【 dot 】บนแผนภาพความคิด
    • 【 Rot 】การพลิกกลับของความคิด: การเพิ่มโมเดลภาษาขนาดใหญ่ด้วยการอุ่นเครื่องการอุ่นเครื่องแบบย้อนกลับ
    • คิดไปข้างหน้าและย้อนกลับ: การวางแผนย้อนหลังที่มีประสิทธิภาพด้วยรูปแบบภาษาขนาดใหญ่
    • 【 KR 】 K-Level เหตุผล: การสร้างความเชื่อที่สูงขึ้นในรูปแบบภาษาขนาดใหญ่สำหรับการใช้เหตุผลเชิงกลยุทธ์
    • 【การค้นพบตัวเอง】การค้นพบตนเอง: แบบจำลองภาษาขนาดใหญ่โครงสร้างการใช้เหตุผลการใช้เหตุผลด้วยตนเอง
    • 【ทฤษฎีของจิตใจ】โมเดลภาษาขนาดใหญ่นั้นอยู่ไกลแค่ไหนจากทฤษฎีของจิตใจ?
    • 【 PC-SUBQ 】กลยุทธ์การแจ้งเตือนสำหรับการเปิดใช้งานแบบจำลองภาษาขนาดใหญ่เพื่ออนุมานสาเหตุจากความสัมพันธ์
    • การคิดย้อนกลับทำให้ LLMS มีเหตุผลที่แข็งแกร่งขึ้น
  • ทิศทางสำหรับการแก้ปัญหา COT ที่ไม่ใช่แบบดั้งเดิม
    • สลายตัวพร้อมใช้วิธีการแบบแยกส่วนสำหรับการแก้ปัญหาที่ซับซ้อน
    • การกระตุ้นต่อเนื่องสำหรับการย่อยสลายคำถามที่ซับซ้อน
  • COT [คณิตศาสตร์, รหัส, ตาราง, QA]
    • การแก้ปัญหาการใช้เหตุผลเชิงปริมาณด้วยแบบจำลองภาษา
    • แสดงผลงานของคุณ: Scratchpads สำหรับการคำนวณระดับกลางด้วยแบบจำลองภาษา
    • การแก้ปัญหาคำศัพท์ทางคณิตศาสตร์ด้วยความคิดเห็นตามกระบวนการและผลลัพธ์ตามผลลัพธ์
    • Coderl: การสร้างรหัสการสร้างรหัสผ่านแบบจำลองที่ผ่านการฝึกอบรมและการเรียนรู้การเสริมแรงอย่างลึกซึ้ง
    • T-SCIQ: การสอนการใช้เหตุผลหลายรูปแบบของความคิดผ่านทางความคิดผ่านสัญญาณแบบจำลองภาษาขนาดใหญ่สำหรับการตอบคำถามวิทยาศาสตร์
    • การแก้ไขรหัสการปรับปรุงประสิทธิภาพการเรียนรู้
    • ห่วงโซ่ของรหัส: การให้เหตุผลกับตัวจำลองรหัสแบบจำลองภาษาแบบจำลองภาษา
  • การวิเคราะห์หลัก
    • ห่วงโซ่แห่งความคิดช่วยให้หม้อแปลงเพื่อแก้ปัญหาอนุกรมโดยเนื้อแท้
    • ต่อการทำความเข้าใจกับการกระตุ้นด้วยความคิดของห่วงโซ่: การศึกษาเชิงประจักษ์เกี่ยวกับสิ่งที่สำคัญ
    • ข้อความและรูปแบบ: สำหรับห่วงโซ่ความคิดที่มีประสิทธิภาพใช้เวลาสองถึงแทงโก้
    • ต่อการเปิดเผยความลึกลับที่อยู่เบื้องหลังห่วงโซ่แห่งความคิด: มุมมองทางทฤษฎี
    • แบบจำลองภาษาขนาดใหญ่สามารถเบี่ยงเบนความสนใจได้อย่างง่ายดายโดยบริบทที่ไม่เกี่ยวข้อง
    • การให้เหตุผลที่ใช้ความคิดโดยไม่ต้องแจ้ง
    • อุปนัยหรือนิรนัย? ทบทวนความสามารถในการใช้เหตุผลพื้นฐานของ LLMS
    • Beyond Chain-of-Though: การสำรวจกระบวนทัศน์ Chain-of-X สำหรับ LLMS
    • เพื่อเปลหรือไม่อยู่ โซ่แห่งความคิดช่วยส่วนใหญ่ในการใช้เหตุผลทางคณิตศาสตร์และสัญลักษณ์
    • ทำไมต้องคิดทีละขั้นตอน? การให้เหตุผลเกิดขึ้นจากสถานที่แห่งประสบการณ์
    • ความสม่ำเสมอภายในและการตอบสนองตนเองในรูปแบบภาษาขนาดใหญ่: การสำรวจ
    • หัววนซ้ำ: การศึกษากลไกของห่วงโซ่ความคิด
    • ผลกระทบของความยาวขั้นตอนการใช้เหตุผลในแบบจำลองภาษาขนาดใหญ่
    • รูปแบบภาษาขนาดใหญ่ดำเนินการให้เหตุผลหลายครั้งแฝงโดยไม่ต้องใช้ประโยชน์จากทางลัดหรือไม่?
    • ห่วงโซ่ความคิดบีบอัด: การใช้เหตุผลอย่างมีประสิทธิภาพผ่านการเป็นตัวแทนหนาแน่น
    • LLMS คิดว่าทีละขั้นตอนในการใช้เหตุผลโดยนัยหรือไม่?
  • การกลั่น COT แบบจำลองขนาดเล็ก
    • มีความเชี่ยวชาญด้านภาษาขนาดเล็กต่อการใช้เหตุผลหลายขั้นตอน
    • การสอนแบบจำลองภาษาขนาดเล็กเพื่อเหตุผล
    • แบบจำลองภาษาขนาดใหญ่คือการให้เหตุผลครู
    • การกลั่นความสามารถในการใช้เหตุผลในรูปแบบภาษาขนาดเล็ก
    • คอลเลกชัน COT: การปรับปรุงการเรียนรู้แบบไม่เป็นศูนย์และการเรียนรู้แบบไม่กี่รูปแบบของแบบจำลองภาษาผ่านการปรับแต่งห่วงโซ่การปรับแต่ง
    • ระบบกลั่น 2 เข้าสู่ระบบ 1
  • การก่อสร้างอัตโนมัติ/การเลือกตัวอย่าง COT
    • Autocot: ห่วงโซ่ความคิดอัตโนมัติในรูปแบบภาษาขนาดใหญ่
    • การแจ้งเตือนด้วยความคิดที่ใช้งานได้สำหรับแบบจำลองภาษาขนาดใหญ่
    • การแจ้งเตือนแบบอิงตามความซับซ้อนสำหรับการใช้เหตุผลหลายขั้นตอน
  • การเรียนรู้ความสามารถของ COT
    • แบบจำลองภาษาขนาดใหญ่สามารถปรับปรุงตนเองได้
    • ห่วงโซ่การฝึกอบรมของความคิดผ่านการอนุมานแฝง
    • Sime-Star: แบบจำลองภาษาสามารถสอนตัวเองให้คิดก่อนพูดได้
    • Star: เหตุผลที่สอนด้วยตนเองด้วยเหตุผลด้วยการใช้เหตุผล
    • V-Star: การฝึกอบรมผู้ตรวจสอบเหตุผลที่สอนด้วยตนเอง
    • คิดก่อนที่คุณจะพูด: โมเดลภาษาฝึกด้วยโทเค็นหยุดชั่วคราว
    • บทสนทนาสังเคราะห์ด้วยตนเองและรายงานทางเทคนิคการแก้ไข
  • คนอื่น
    • olAgpt เสริมพลัง LLM ด้วยความสามารถในการแก้ปัญหาที่เหมือนมนุษย์
    • งานใหญ่ที่ท้าทายและไม่ว่าห่วงโซ่ของความคิดจะสามารถแก้ปัญหาได้หรือไม่
    • แบบจำลองภาษาขนาดใหญ่เป็นเหตุผลที่ดีกว่าที่มีการตรวจสอบตนเอง
    • ความคิดเป็นศูนย์กลางกลางสำหรับข้อมูลการให้เหตุผลแบบจำลองภาษาขนาดใหญ่
    • ความล้มเหลวสองประการของความมั่นคงในตนเองในการใช้เหตุผลหลายขั้นตอนของ LLMS

RLHF

  • ใจลึก
    • แบบจำลองภาษาการสอนเพื่อสนับสนุนคำตอบด้วยคำพูดที่ผ่านการตรวจสอบแล้ว
    • Sparrow การปรับปรุงการจัดตำแหน่งตัวแทนการสนทนาผ่านการตัดสินของมนุษย์เป้าหมาย
    • การสุ่มตัวอย่างการปฏิเสธทางสถิติช่วยเพิ่มการเพิ่มประสิทธิภาพการตั้งค่า
    • เสริมการฝึกอบรมตนเอง (REST) ​​สำหรับการสร้างแบบจำลองภาษา
    • SLIC-HF: การสอบเทียบความน่าจะเป็นตามลำดับกับข้อเสนอแนะของมนุษย์
    • การปรับเทียบลำดับความน่าจะเป็นช่วยปรับปรุงการสร้างภาษาแบบมีเงื่อนไข
    • รางวัลการออกแบบด้วยรูปแบบภาษา
    • คำตอบสุดท้าย RL การแก้ปัญหาคำคณิตศาสตร์ด้วยคำติชมตามกระบวนการและผลการตอบกลับตามผลลัพธ์
    • การแก้ปัญหาคำศัพท์ทางคณิตศาสตร์ด้วยข้อเสนอแนะตามกระบวนการและผลลัพธ์
    • นอกเหนือจากข้อมูลของมนุษย์: ปรับขนาดการฝึกอบรมตนเองเพื่อแก้ปัญหาด้วยแบบจำลองภาษา
    • พันธบัตร: จัดตำแหน่ง LLMs กับการกลั่นที่ดีที่สุดของ N-n
    • RL บนข้อมูลสังเคราะห์ที่ไม่ถูกต้องจะปรับประสิทธิภาพของการใช้เหตุผลทางคณิตศาสตร์ LLM โดยแปดเท่า
    • ผู้ตรวจสอบทั่วไป: การสร้างแบบจำลองรางวัลเป็นการทำนายการเปิดตัวครั้งต่อไป
    • แบบจำลองภาษาการฝึกอบรมเพื่อแก้ไขตนเองผ่านการเรียนรู้การเสริมแรง
  • Openai
    • PPO: อัลกอริทึมการเพิ่มประสิทธิภาพนโยบายใกล้เคียง
    • การเรียนรู้การเสริมแรงอย่างลึกซึ้งสำหรับความชอบของมนุษย์
    • แบบจำลองภาษาที่ปรับแต่งจากการตั้งค่าของมนุษย์
    • เรียนรู้ที่จะสรุปจากข้อเสนอแนะของมนุษย์
    • InstructGPT: แบบจำลองภาษาการฝึกอบรมเพื่อทำตามคำแนะนำเกี่ยวกับข้อเสนอแนะของมนุษย์
    • การปรับขนาดกฎหมายสำหรับแบบจำลองรางวัลมากกว่าการเพิ่มประสิทธิภาพ
    • การวางนัยทั่วไปที่อ่อนแอต่อความแข็งแกร่ง: ทำให้เกิดความสามารถที่แข็งแกร่งกับการกำกับดูแลที่อ่อนแอ
    • PRM: มาตรวจสอบทีละขั้นตอนกันเถอะ
    • ตัวตรวจสอบการฝึกอบรมเพื่อแก้ปัญหาคำคณิตศาสตร์ [การพึ่งพาก่อนของ PRM]
    • บล็อก Openai Super Super
    • นักวิจารณ์ LLM ช่วยจับข้อบกพร่อง LLM
    • เกมที่มีการตรวจ
    • ผลตอบแทนตามกฎสำหรับความปลอดภัยของแบบจำลองภาษา
    • แบบจำลองการวิจารณ์ตนเองเพื่อช่วยเหลือผู้ประเมินของมนุษย์
  • มานุษยวิทยา
    • ผู้ช่วยภาษาทั่วไปเป็นห้องปฏิบัติการสำหรับ Alignmen
    • การวัดความคืบหน้าเกี่ยวกับการกำกับดูแลที่ปรับขนาดได้หรือแบบจำลองภาษาขนาดใหญ่
    • แบบจำลองภาษาร่วมทีมสีแดงเพื่อลดวิธีการอันตรายพฤติกรรมการปรับขนาดและบทเรียนที่ได้เรียนรู้
    • การฝึกอบรมผู้ช่วยที่เป็นประโยชน์และไม่เป็นอันตรายด้วยการเรียนรู้การเสริมแรงจากข้อเสนอแนะของมนุษย์
    • ความไม่เป็นอันตรายต่อรัฐธรรมนูญจากข้อเสนอแนะ AI
    • แบบจำลองภาษาที่มีความชอบของมนุษย์
    • ความสามารถในการแก้ไขตนเองทางศีลธรรมในรูปแบบภาษาขนาดใหญ่
    • ตัวแทนนอน
  • Allenai, RL4LM: เป็นการเรียนรู้การเสริมแรง (ไม่ใช่) สำหรับมาตรฐานการประมวลผลภาษาธรรมชาติ
  • แผนปรับปรุง
    • RRHF: อันดับการตอบสนองต่อแบบจำลองภาษากับความคิดเห็นของมนุษย์โดยไม่ต้องน้ำตา
    • ห่วงโซ่ของการเข้าใจถึงรูปแบบการปรับรูปแบบภาษากับข้อเสนอแนะ
    • Alpacafarm: กรอบการจำลองสำหรับวิธีการเรียนรู้จากข้อเสนอแนะของมนุษย์
    • Raft: รางวัลอันดับ Finetuning สำหรับการจัดแนวโมเดลพื้นฐานทั่วไป
    • RLAIF: การปรับขนาดการเรียนรู้การเสริมแรงจากข้อเสนอแนะของมนุษย์พร้อมข้อเสนอแนะ AI
    • การฝึกอบรมแบบจำลองภาษาที่สอดคล้องกันทางสังคมในสังคมมนุษย์จำลอง
    • Rain: โมเดลภาษาของคุณสามารถจัดตำแหน่งตัวเองได้โดยไม่ต้องมีการปรับแต่ง
    • ผู้พิพากษาทั่วไปสำหรับการประเมินการจัดตำแหน่ง
    • มองผ่านการตั้งค่า: การเปิดเผยการได้รับคำติชมสำหรับการจัดรูปแบบภาษาขนาดใหญ่
    • ปลาแซลมอน: การจัดตำแหน่งตนเองด้วยแบบจำลองรางวัลตามหลักการตามหลักการ
    • โมเดลภาษาขนาดใหญ่ที่ไม่ได้เรียนรู้
    • การเพิ่มประสิทธิภาพการตั้งค่าของฝ่ายตรงข้าม
    • การเพิ่มประสิทธิภาพการจัดอันดับการตั้งค่าสำหรับการจัดตำแหน่งของมนุษย์
    • ทางยาวไป: ตรวจสอบความสัมพันธ์ความยาวใน RLHF
    • เปิดใช้งานแบบจำลองภาษาเพื่อเรียนรู้การพัฒนาตนเองจากข้อมูลโดยปริยาย
    • รางวัล Model Model ช่วยลดการ opoptimization มากเกินไป
    • การเรียนรู้ข้อได้เปรียบที่ดีที่สุดจากการตั้งค่าและการเข้าใจผิดเพื่อรับรางวัล
    • Ultrafeedback: การเพิ่มโมเดลภาษาที่มีข้อเสนอแนะที่มีคุณภาพสูง
    • MOTIF: แรงจูงใจที่แท้จริงจากการตอบกลับปัญญาประดิษฐ์
    • การทำให้ RLHF มีความเสถียรผ่านแบบจำลอง Advantage และ Selective Shearsal
    • เชพเพิร์ด: นักวิจารณ์สำหรับการสร้างแบบจำลองภาษา
    • เรียนรู้ที่จะสร้างได้ดีกว่า LLM ของคุณ
    • ข้อเสนอแนะของมนุษย์อย่างละเอียดจะให้รางวัลที่ดีกว่าสำหรับการฝึกอบรมรูปแบบภาษา
    • การจัดตำแหน่งตนเองของแบบจำลองภาษาที่ขับเคลื่อนด้วยหลักการตั้งแต่เริ่มต้นด้วยการกำกับดูแลของมนุษย์น้อยที่สุด
    • การเพิ่มประสิทธิภาพการตั้งค่าโดยตรง: รูปแบบภาษาของคุณเป็นแบบจำลองรางวัลอย่างลับๆ
    • Hir ภูมิปัญญาของการเข้าใจถึงปัญหาย้อนหลังทำให้โมเดลภาษาดีขึ้นผู้ติดตามการสอนที่ดีขึ้น
    • ผู้จัดตำแหน่ง: การบรรลุการจัดตำแหน่งที่มีประสิทธิภาพผ่านการแก้ไขที่อ่อนแอถึงแข็งแรง
    • วิธีการ minimaxiMalist เพื่อเสริมการเรียนรู้จากข้อเสนอแนะของมนุษย์
    • แพนด้า: การปรับตัวตามความต้องการเพื่อเพิ่มความสามารถเฉพาะของโดเมนของ LLMS
    • การค้นหาที่อ่อนแอต่อความแข็งแกร่ง: จัดรูปแบบภาษาขนาดใหญ่ผ่านการค้นหาแบบจำลองภาษาขนาดเล็ก
    • การคาดการณ์ที่อ่อนแอต่อการจัดแนวเร็ว
    • DPO เหนือกว่า PPO สำหรับการจัดตำแหน่ง LLM หรือไม่? การศึกษาที่ครอบคลุม
    • การเพิ่มประสิทธิภาพการตั้งค่าการตั้งค่าโดยตรงระดับโทเค็น
    • SIMPO: การเพิ่มประสิทธิภาพการตั้งค่าอย่างง่ายพร้อมรางวัลฟรีอ้างอิง
    • Autodetect: ไปยังกรอบการทำงานแบบครบวงจรสำหรับการตรวจจับความอ่อนแออัตโนมัติในรูปแบบภาษาขนาดใหญ่
    • รูปแบบภาษาที่ได้รับรางวัลเมตา
    • HelpSteer: ชุดข้อมูลความช่วยเหลือหลายอย่างสำหรับ Steerlm
    • การวิปัสสนาแบบเรียกซ้ำ: การสอนรูปแบบภาษาตัวแทนวิธีการปรับปรุงตนเอง
    • การเพิ่มความสามารถในการใช้เหตุผลหลายขั้นตอนของแบบจำลองภาษาผ่านการเพิ่มประสิทธิภาพการทำงานของ Q-function โดยตรง
    • DeepSeekMath: ผลักดันขอบเขตของการใช้เหตุผลทางคณิตศาสตร์ในแบบจำลองภาษาแบบเปิด
    • Glore: เมื่อใดที่ไหนและวิธีการปรับปรุงการใช้เหตุผล LLM ผ่านการปรับแต่งทั่วโลกและท้องถิ่น
    • Reft: การให้เหตุผลกับการปรับแต่งแบบเสริม
    • SCPO: การเพิ่มประสิทธิภาพการตั้งค่าความสม่ำเสมอของตนเอง
  • การสำรวจ RL
    • ทำความเข้าใจถึงผลกระทบของ RLHF ต่อการวางนัยทั่วไปและความหลากหลายของ LLM
    • ทางยาวไป: ตรวจสอบความสัมพันธ์ความยาวใน RLHF
    • ผลกระทบจากการได้รับรางวัล (in-) ความสอดคล้องของ RLHF
    • ปัญหาเปิดและข้อ จำกัด พื้นฐานของการเรียนรู้การเสริมแรงจากข้อเสนอแนะของมนุษย์
    • ข้อเสนอแนะของมนุษย์ไม่ใช่มาตรฐานทองคำ
    • แบบจำลองภาษาขนาดใหญ่หลังการฝึกอบรมในหลักสูตรข้อมูล
    • แบบจำลองภาษาต่อต้านการจัดตำแหน่ง

รถไฟโพสต์ (พร้อม COT, RL)

  • การขยายการอนุมาน
    • การวิเคราะห์เชิงประจักษ์ของการอนุมานการคำนวณที่ดีที่สุดสำหรับการแก้ปัญหาด้วยแบบจำลองภาษา
    • LM เรียกมากกว่าทั้งหมดที่คุณต้องการหรือไม่? ไปสู่คุณสมบัติการปรับขนาดของระบบ AI สารประกอบ
    • ลิงภาษาขนาดใหญ่: การคำนวณการสรุปการวัดด้วยการสุ่มตัวอย่างซ้ำ ๆ
    • การคำนวณการคำนวณระยะเวลาการทดสอบ LLM อย่างดีที่สุดอาจมีประสิทธิภาพมากกว่าพารามิเตอร์การปรับขนาดพารามิเตอร์
    • Q*: การปรับปรุงการใช้เหตุผลหลายขั้นตอนสำหรับ LLM ด้วยการวางแผนโดยเจตนา
    • การวางแผนในภาษาธรรมชาติปรับปรุงการค้นหา LLM สำหรับการสร้างรหัส
    • Rest-MCTS ∗: การฝึกอบรมด้วยตนเอง LLM ผ่านการค้นหาต้นไม้ที่ได้รับรางวัลกระบวนการ
    • การค้นหาต้นไม้ที่มีลักษณะคล้าย Alphazero สามารถเป็นแนวทางในการถอดรหัสและฝึกอบรมแบบจำลองภาษาขนาดใหญ่
    • เล็กกว่าอ่อนแอกว่า แต่ดีกว่า: การฝึกอบรม LLM leffers ผ่านการสุ่มตัวอย่างการคำนวณที่ดีที่สุด
    • ประสิทธิผลที่น่าประหลาดใจของการฝึกอบรมเวลาทดสอบสำหรับการใช้เหตุผลเชิงนามธรรม
    • การขยายการขยายค่าสำหรับการเพิ่มการดึงบริบทยาว
    • สู่การพัฒนา LLMS ด้วยตนเองผ่านการจินตนาการการค้นหาและการวิพากษ์วิจารณ์
  • เปลที่คิดช้า
    • การเดินทางการจำลองแบบ O1: รายงานความคืบหน้าเชิงกลยุทธ์ - ตอนที่ 1
    • Marco-O1: ไปสู่รูปแบบการใช้เหตุผลแบบเปิดสำหรับโซลูชั่นปลายเปิด
    • การศึกษาเปรียบเทียบรูปแบบการใช้เหตุผลของโมเดล O1 ของ Openai
    • เลียนแบบสำรวจและปรับปรุงตนเอง: รายงานการทำซ้ำเกี่ยวกับระบบการให้เหตุผลที่คิดช้า
    • Dualformer: การคิดอย่างรวดเร็วและควบคุมได้อย่างรวดเร็วโดยการเรียนรู้ด้วยร่องรอยการใช้เหตุผลแบบสุ่ม
    • การฝึกอบรมแบบจำลองภาษาขนาดใหญ่เพื่อให้เหตุผลในพื้นที่แฝงอย่างต่อเนื่อง
    • Beyond A ∗: การวางแผนที่ดีขึ้นด้วยหม้อแปลงผ่านการค้นหาแบบไดนามิก bootstrapping
    • O1-coder: การจำลองแบบ O1 สำหรับการเข้ารหัส
    • การปรับขนาดของการค้นหาและการเรียนรู้: แผนงานเพื่อทำซ้ำ O1 จากมุมมองการเรียนรู้การเสริมแรง
    • Sky-T1: ฝึกอบรมโมเดลตัวอย่าง O1 ของคุณเองภายใน $ 450
    • สู่ระบบ 2 การให้เหตุผลใน LLMS: เรียนรู้วิธีคิดด้วยเมตาเชนเชน

คำแนะนำการปรับแต่งและการจัดตำแหน่ง (คำแนะนำ _tunning)

  • โซลูชันคลาสสิก
    • Flan: แบบจำลองภาษา Finetuned เป็นศูนย์ผู้เรียน
    • FLAN-T5: แบบจำลองภาษาคำสั่งการปรับขนาด
    • ext5: ไปสู่การปรับขนาดแบบหลายงานที่รุนแรงสำหรับการเรียนรู้การถ่ายโอน
    • Instruct-GPT: แบบจำลองภาษาการฝึกอบรมเพื่อทำตามคำแนะนำเกี่ยวกับข้อเสนอแนะของมนุษย์
    • T0: การฝึกอบรมมัลติทาสก์ทำให้การฝึกอบรมเป็นแบบไม่มีการยิง
    • คำแนะนำจากธรรมชาติ: การวางแนวข้ามงานทั่วไปผ่านคำแนะนำการระดมทุนภาษาธรรมชาติ
    • TK-Instruct: Super-NaturalInstructions: การวางนัยทั่วไปผ่านคำแนะนำที่เปิดเผยในงาน NLP 1600+
    • Zeroprompt: การปรับขนาดการปรับแต่งตามคำสั่งเป็น 1,000 งานช่วยปรับปรุงการวางจำหน่ายแบบไม่มีค่า
    • คำแนะนำที่ผิดธรรมชาติ: การปรับโมเดลภาษาด้วย (เกือบ) ไม่มีแรงงานมนุษย์
    • คำแนะนำเกี่ยวกับการประเมินแบบองค์รวมของแบบจำลองภาษาขนาดใหญ่ที่ปรับด้วยตนเอง
  • กฎหมายสเกลข้อมูล SFT
    • ลิมา: น้อยกว่าสำหรับการจัดตำแหน่งมากขึ้น
    • อาจจำเป็นต้องใช้ข้อมูลเพียง 0.5%: การสำรวจเบื้องต้นของการปรับแต่งการสอนข้อมูลการฝึกอบรมต่ำ
    • Alpagasus: ฝึกอัลปากาที่ดีขึ้นด้วยข้อมูลน้อยลง
    • การแนะนำ GPT-4: กระบวนทัศน์การสอน 200 ครั้งสำหรับการปรับแต่งแบบละเอียด -4
    • คำแนะนำการขุด: การเลือกข้อมูลการเรียนการสอนคุณภาพสูงสำหรับแบบจำลองภาษาขนาดใหญ่
    • การปรับแต่งการเรียนการสอนด้วย Flamingo ที่สุภาพ
    • การสำรวจผลกระทบของการปรับขนาดข้อมูลการเรียนการสอนในแบบจำลองภาษาขนาดใหญ่: การศึกษาเชิงประจักษ์เกี่ยวกับกรณีการใช้งานจริง
    • การปรับความสัมพันธ์ในการเรียนรู้การใช้เหตุผลทางคณิตศาสตร์ด้วยแบบจำลองภาษาขนาดใหญ่
    • เมื่อการปรับขนาดเป็นไปตาม LLM finetuning: ผลของข้อมูลรูปแบบและวิธีการ finetuning
  • รูปแบบการจัดตำแหน่งใหม่/การปรับแต่ง
    • Wizardlm: เสริมสร้างแบบจำลองภาษาขนาดใหญ่เพื่อทำตามคำแนะนำที่ซับซ้อน
    • การเป็นผู้ควบคุมตนเอง: การแนะนำเกณฑ์การหยุดเร็วสำหรับการปรับแต่งขั้นต่ำ
    • การจัดตำแหน่งตนเองด้วยการแนะนำการแนะนำ
    • ส่วนผสมของ experts ตรงตามคำแนะนำการปรับแต่ง: ชุดค่าผสมที่ชนะสำหรับรุ่นภาษาขนาดใหญ่
    • แพะ: Llama ที่ปรับแต่งได้ดีกว่า GPT-4 ในงานเลขคณิต
    • Prompt2Model: การสร้างโมเดลที่ปรับใช้ได้จากคำแนะนำภาษาธรรมชาติ
    • ความคิดเห็น GPT: การสร้างแบบจำลองอคติที่ชัดเจนใน LLMS ที่ปรับคำสั่ง
    • การปรับปรุงการเจรจาต่อรองรูปแบบภาษาด้วยการเล่นด้วยตนเองและการเรียนรู้ในบริบทจากข้อเสนอแนะ AI
    • การวางนัยทั่วไปที่เป็นระบบเหมือนมนุษย์ผ่านเครือข่ายการเรียนรู้เมตาเรียนรู้
    • Magicoder: ซอร์สโค้ดคือสิ่งที่คุณต้องการ
    • นอกเหนือจากข้อมูลของมนุษย์: ปรับขนาดการฝึกอบรมตนเองเพื่อแก้ปัญหาด้วยแบบจำลองภาษา
    • การปรับแต่งคำแนะนำการเป็นตัวแทนทั่วไป
    • INSCL: กระบวนทัศน์การเรียนรู้อย่างต่อเนื่องที่ประหยัดข้อมูลสำหรับการปรับแต่งแบบจำลองภาษาขนาดใหญ่พร้อมคำแนะนำ
    • ลำดับชั้นการเรียนการสอน: การฝึกอบรม LLM เพื่อจัดลำดับความสำคัญคำแนะนำที่ได้รับสิทธิพิเศษ
    • MAGPIE: การสังเคราะห์ข้อมูลการจัดตำแหน่งตั้งแต่เริ่มต้นโดยการแจ้งเตือน LLMS โดยไม่มีอะไร
  • การสร้างข้อมูลคำสั่ง
    • ลิง: โมเดลภาษาขนาดใหญ่เป็นวิศวกรที่มีระดับมนุษย์
    • Instruct ตัวเอง: จัดแนวโมเดลภาษากับคำแนะนำที่สร้างขึ้นด้วยตนเอง
    • iPrompt: การอธิบายรูปแบบข้อมูลในภาษาธรรมชาติผ่านการตีความอัตโนมัติ
    • การเรียนรู้พลิก: เดาคำสั่ง! การเรียนรู้ที่พลิกกลับทำให้แบบจำลองภาษามีความแข็งแกร่งยิ่งขึ้นผู้เรียน
    • การกระตุ้นการยิงแบบไม่กี่แบบที่มีความยุติธรรมสำหรับแบบจำลองภาษาขนาดใหญ่
    • คำแนะนำการเหนี่ยวนำ: จากตัวอย่างไม่กี่คำอธิบายงานภาษาธรรมชาติ
    • ความรู้ที่ไม่ได้รับการควบคุมด้วยตนเอง qa
    • GPT Self Surpervision สำหรับ Annotator ข้อมูลที่ดีขึ้น
    • คอลเลกชัน Flan ออกแบบข้อมูลและวิธีการ
    • แบบจำลองการกำเนิดที่ใช้เวลานาน
    • คำแนะนำ: การประเมินอย่างเป็นระบบของวิธีการเลือกคำสั่ง
    • เขียนทับอคติที่ได้รับการปรับแต่งด้วยข้อมูล finetuning
    • การปรับปรุงการฝังข้อความด้วยโมเดลภาษาขนาดใหญ่
    • MAGPIE: การสังเคราะห์ข้อมูลการจัดตำแหน่งตั้งแต่เริ่มต้นโดยการแจ้งเตือน LLMS โดยไม่มีอะไร
    • การปรับขนาดการสร้างข้อมูลสังเคราะห์ด้วย 1,000,000,000 คน
    • ปลดปล่อยความสามารถในการใช้เหตุผลของ LLM ผ่านการสังเคราะห์คำถามที่ปรับขนาดได้ตั้งแต่เริ่มต้น
    • การสำรวจการสังเคราะห์ข้อมูลและการเพิ่มสำหรับแบบจำลองภาษาขนาดใหญ่
    • AgentInstruct: ไปสู่การสอนแบบกำเนิดด้วยการไหลของตัวแทน
    • การเปิดเผยข้อบกพร่อง: การสำรวจความไม่สมบูรณ์ในข้อมูลสังเคราะห์และกลยุทธ์การบรรเทาผลกระทบสำหรับแบบจำลองภาษาขนาดใหญ่
  • วิธีลดการสูญเสียกำลังการผลิตทั่วไป
    • ความสามารถในแบบจำลองภาษาขนาดใหญ่ได้รับผลกระทบจากองค์ประกอบข้อมูลการปรับจูนภายใต้การดูแล
    • การปรับจูน LLM สองขั้นตอนที่มีความเชี่ยวชาญน้อยลงและการวางนัยทั่วไปมากขึ้น
  • ประสบการณ์การปรับจูน/รายงานการทดลอง
    • เบลล์: สำรวจผลกระทบของการปรับขนาดข้อมูลการเรียนการสอนในแบบจำลองภาษาขนาดใหญ่: การศึกษาเชิงประจักษ์เกี่ยวกับกรณีการใช้งานจริง
    • Baize: Baize: โมเดลแชทโอเพนซอร์ซพร้อมการปรับพารามิเตอร์ที่มีประสิทธิภาพในข้อมูลการแชทด้วยตนเอง
    • การศึกษาเปรียบเทียบระหว่างพารามิเตอร์เต็มรูปแบบและการปรับแต่งการปรับแต่งข้อมูลการเรียนการสอนภาษาจีนสำหรับ LM ขนาดใหญ่
    • การสำรวจความสามารถของ CHATGPT ในการจัดอันดับเนื้อหา: การศึกษาเบื้องต้นเกี่ยวกับความสอดคล้องกับความชอบของมนุษย์
    • สู่การเรียนการสอนที่ดีกว่าตามแบบจำลองภาษาสำหรับภาษาจีน: การตรวจสอบผลกระทบของข้อมูลการฝึกอบรมและการประเมินผล
    • ปรับการปรับ LLMS สำหรับองค์กร: แนวทางปฏิบัติและคำแนะนำในทางปฏิบัติ
  • คนอื่น
    • การวางนัยทั่วไปผ่านมัลติทาสก์ finetuning
    • การวางนัยทั่วไปข้ามงานผ่านคำแนะนำการระดมทุนภาษาธรรมชาติ
    • UnifiedSKG: การรวมความรู้ที่มีโครงสร้างแบบรวม
    • Promptsource: สภาพแวดล้อมการพัฒนาแบบบูรณาการและที่เก็บสำหรับการแจ้งเตือนภาษาธรรมชาติ
    • ROLELLM: การเปรียบเทียบการแสดงและเพิ่มความสามารถในการสวมบทบาทของแบบจำลองภาษาขนาดใหญ่

LLM Agent ให้เครื่องมือใช้โมเดล (LLM_AGENT)

  • Agent AI: การสำรวจขอบเขตของปฏิสัมพันธ์หลายรูปแบบ
  • การสำรวจเกี่ยวกับตัวแทนอิสระจากโมเดลภาษาขนาดใหญ่
  • ตัวแทน LLM ส่วนบุคคล: ข้อมูลเชิงลึกและการสำรวจเกี่ยวกับความสามารถประสิทธิภาพและความปลอดภัย
  • โซลูชันทั่วไปที่ใช้ Propt
    • ตอบสนอง: การรวมเหตุผลและการแสดงในรูปแบบภาษา
    • ตนเอง: การวัดและ จำกัด ช่องว่างการเรียงความในรูปแบบภาษา
    • สถาปัตยกรรม MRKL Systemsa, สถาปัตยกรรม neuro-symbolic ที่รวมแบบจำลองภาษาขนาดใหญ่แหล่งความรู้ภายนอกและการใช้เหตุผลแบบไม่ต่อเนื่อง
    • PAL: รูปแบบภาษาโดยโปรแกรมโดยโปรแกรม
    • ศิลปะ: การใช้เหตุผลหลายขั้นตอนอัตโนมัติและการใช้เครื่องมือสำหรับรุ่นภาษาขนาดใหญ่
    • Rewoo: การแยกเหตุผลจากการสังเกตสำหรับแบบจำลองภาษาที่มีประสิทธิภาพ
    • การดึงข้อมูล interleave ด้วยการใช้เหตุผลที่ใช้ความคิดสำหรับคำถามหลายขั้นตอนที่ต้องใช้ความรู้มาก
    • Chameleon: การใช้เหตุผลเชิงองค์ประกอบแบบปลั๊กและเล่นด้วยโมเดลภาษาขนาดใหญ่
    • การใช้เหตุผลที่มีความคิดที่ซื่อสัตย์
    • Reflexion: ตัวแทนภาษาที่มีการเรียนรู้การเสริมแรงด้วยวาจา
    • การตรวจสอบและแก้ไข: กรอบความรู้ที่เพิ่มขึ้นของความรู้
    • restgpt: การเชื่อมต่อโมเดลภาษาขนาดใหญ่กับ APIs ที่เป็นจริงในโลกแห่งความเป็นจริง
    • Chatcot: การให้เหตุผลที่ใช้เครื่องมือในการใช้เครื่องมือในรูปแบบภาษาขนาดใหญ่ที่ใช้การแชท
    • CordStods: แบบจำลองภาษาขนาดใหญ่สำหรับระบบบทสนทนาแบบ end-to-end
    • TPTU: การวางแผนงานและการใช้เครื่องมือของตัวแทน AI แบบจำลองภาษาขนาดใหญ่
    • Controllm: Augment Language Models พร้อมเครื่องมือโดยค้นหาบนกราฟ
    • Reflexion: ตัวแทนอิสระที่มีหน่วยความจำแบบไดนามิกและการสะท้อนตนเอง
    • autoagents: กรอบการทำงานสำหรับการสร้างเอเจนต์อัตโนมัติ
    • Gitagent: อำนวยความสะดวกตัวแทนอิสระด้วย GitHub โดยการขยายเครื่องมือ
    • preact: การทำนายอนาคตในการตอบสนองช่วยเพิ่มความสามารถในการวางแผนของตัวแทน
    • TOOLLLM: อำนวยความสะดวกในรูปแบบภาษาขนาดใหญ่ที่เป็นหลัก 16000+ APIs ในโลกแห่งความเป็นจริง-AnanyTool: ตัวแทนการสะท้อนตนเองและลำดับชั้นสำหรับการโทรขนาดใหญ่ API
    • AIOS: ระบบปฏิบัติการ Agent Agent LLM
    • LLM คอมไพเลอร์คอมไพเลอร์ LLM สำหรับการเรียกใช้ฟังก์ชันแบบขนาน
    • RE-INVOKE: การเรียกใช้เครื่องมือใหม่ใหม่สำหรับการดึงเครื่องมือแบบไม่มีการยิง
  • โซลูชันทั่วไปตามการปรับแต่ง
    • TALM: โมเดลภาษาเสริมเครื่องมือ
    • Toolformer: แบบจำลองภาษาสามารถสอนตัวเองให้ใช้เครื่องมือ
    • การเรียนรู้เครื่องมือด้วยโมเดลพื้นฐาน
    • Maker Tool: โมเดลภาษาขนาดใหญ่เป็นเครื่องทำเครื่องมือ
    • taskmatrix.ai: งานที่เสร็จสมบูรณ์โดยการเชื่อมต่อโมเดลรากฐานกับ API นับล้าน
    • AgentTuning: การเปิดใช้งาน AABILITY AFTER ทั่วไปสำหรับ LLMS
    • SwiftSage: ตัวแทนกำเนิดที่มีการคิดอย่างรวดเร็วและช้าสำหรับงานเชิงโต้ตอบที่ซับซ้อน
    • FireAct: ไปสู่การปรับแต่งตัวแทนภาษา
    • Pangu-Agent: ตัวแทนทั่วไปที่ปรับแต่งได้ด้วยการใช้เหตุผลที่มีโครงสร้าง
    • ส่วนที่เหลือพบกับ React: การพัฒนาตนเองสำหรับการใช้เหตุผลหลายขั้นตอน LLM Agent
    • การใช้เครื่องมือที่มีประสิทธิภาพด้วยการใช้เหตุผลในห่วงโซ่
    • Agent-Flan: การออกแบบข้อมูลและวิธีการปรับจูนเอเจนต์ที่มีประสิทธิภาพสำหรับแบบจำลองภาษาขนาดใหญ่
    • Agentohana: ออกแบบข้อมูลแบบครบวงจรและไปป์ไลน์การฝึกอบรมเพื่อการเรียนรู้ตัวแทนที่มีประสิทธิภาพ
    • Agent Lumos: การฝึกอบรมแบบครบวงจรและแบบแยกส่วนสำหรับตัวแทนภาษาโอเพนซอร์ซ
    • Toolgen: การดึงเครื่องมือแบบครบวงจรและการโทรผ่านการสร้าง
  • เรียกโครงการโมเดล
    • HUGGGEDGPT: การแก้ปัญหา AI กับ CHATGPT และเพื่อน ๆ ใน HuggingFace
    • กอริลลา: โมเดลภาษาขนาดใหญ่เชื่อมต่อกับ API ขนาดใหญ่
    • OpenAgi: เมื่อ LLM พบกับผู้เชี่ยวชาญด้านโดเมน
  • สนามแนวตั้ง
    • การวิเคราะห์ข้อมูล
      • DS-Agent: วิทยาศาสตร์ข้อมูลอัตโนมัติโดยการเพิ่มขีดความสามารถของแบบจำลองภาษาขนาดใหญ่ด้วยการใช้เหตุผลตามกรณี
      • InsightLens: การค้นพบและสำรวจข้อมูลเชิงลึกจากบริบทการสนทนาในการวิเคราะห์ข้อมูลแบบจำลองขนาดใหญ่
      • Data-Copilot: bridgering พันล้านข้อมูลและมนุษย์ที่มีเวิร์กโฟลว์อิสระ
      • การสาธิต InsightPilot: ระบบสำรวจข้อมูลอัตโนมัติที่มีอำนาจ LLM
      • TaskWeaver: กรอบตัวแทนแรกรหัส
      • สังคมศาสตร์อัตโนมัติ: แบบจำลองภาษาในฐานะนักวิทยาศาสตร์และวิชา
      • ล่ามข้อมูล: ตัวแทน LLM สำหรับวิทยาศาสตร์ข้อมูล
    • การเงิน
      • Weaverbird: เพิ่มขีดความสามารถในการตัดสินใจทางการเงินด้วยรูปแบบภาษาขนาดใหญ่ฐานความรู้และเครื่องมือค้นหา
      • Fingpt: รูปแบบภาษาขนาดใหญ่ทางการเงินโอเพนซอร์ซ
      • FINMEM: เอเจนต์การซื้อขาย LLM ที่เพิ่มประสิทธิภาพพร้อมหน่วยความจำเลเยอร์และการออกแบบตัวละคร
      • Alphafin: การวิเคราะห์ทางการเงินการเปรียบเทียบโดยใช้กรอบห่วงโซ่สต็อกที่เพิ่มการค้นหา
      • ตัวแทนมูลนิธิหลายรูปแบบสำหรับการซื้อขายทางการเงิน: เครื่องมือเสริมความหลากหลายและทั่วไป
      • รุ่นภาษาขนาดใหญ่สามารถเอาชนะ Wall Street ได้หรือไม่? เปิดเผยศักยภาพของ AI ในการเลือกสต็อก
      • การเพิ่มการตรวจจับความผิดปกติในตลาดการเงินด้วยกรอบการทำงานหลายตัวแทน LLM
      • TradingGPT: ระบบหลายตัวแทนที่มีหน่วยความจำแบบเลเยอร์และอักขระที่แตกต่างกันสำหรับประสิทธิภาพการซื้อขายทางการเงินที่เพิ่มขึ้น
      • FinroBot: แพลตฟอร์มตัวแทน AI โอเพนซอร์ซสำหรับแอปพลิเคชันทางการเงินโดยใช้รูปแบบภาษาขนาดใหญ่
      • LLMFactor: การสกัดปัจจัยที่ทำกำไรได้ผ่านการแจ้งเตือนสำหรับการทำนายการเคลื่อนไหวของสต็อกที่อธิบายได้
      • Alpha-GPT: การขุดอัลฟ่าแบบอินเทอร์แอคทีฟของมนุษย์-AI สำหรับการลงทุนเชิงปริมาณ
      • การตรวจจับความผิดปกติที่ก้าวหน้า: การเข้ารหัสข้อมูลทางการเงินที่ไม่ใช่ความหมายด้วย LLMS
      • Tradexpert: การปฏิวัติการซื้อขายด้วยส่วนผสมของ LLMs ผู้เชี่ยวชาญ
      • FinVision: กรอบหลายตัวแทนสำหรับการทำนายตลาดหุ้น
      • AI ในการวิเคราะห์การลงทุน: LLMs สำหรับการจัดอันดับหุ้นทุน
      • AAPM: โมเดลการกำหนดราคาสินทรัพย์ตามรูปแบบของโมเดลภาษาขนาดใหญ่
    • ชีวการแพทย์
      • Genegpt: การเพิ่มโมเดลภาษาขนาดใหญ่ด้วยเครื่องมือโดเมนสำหรับการปรับปรุงการเข้าถึงข้อมูลชีวการแพทย์
      • Chemcrow เพิ่มแบบจำลองภาษาขนาดใหญ่ด้วยเครื่องมือเคมี
      • การสร้างคำอธิบายในการตอบคำถามทางการแพทย์โดยการคาดหวังการอนุมานสูงสุดมากกว่าหลักฐาน
      • โรงพยาบาลตัวแทน: โรงพยาบาล simulacrum กับตัวแทนการแพทย์ที่พัฒนาได้
      • การบูรณาการความรู้ทางเคมีในแบบจำลองภาษาขนาดใหญ่ผ่านวิศวกรรมที่รวดเร็ว
    • เว็บ/ตัวแทนมือถือ
      • autowebglm: bootstrap และเสริมสร้างตัวแทนนำทางเว็บแบบจำลองภาษาขนาดใหญ่
      • webagent ในโลกแห่งความเป็นจริงพร้อมการวางแผนความเข้าใจบริบทที่ยาวนานและการสังเคราะห์โปรแกรม
      • Mind2Web: ไปสู่ตัวแทนทั่วไปสำหรับเว็บ
      • MiniWob ++ การเรียนรู้การเสริมกำลังบนเว็บอินเตอร์เฟสโดยใช้การสำรวจด้วยเวิร์กโฟลว์นำทาง
      • WebArena: สภาพแวดล้อมเว็บที่สมจริงทำให้ตัวแทนอิสระ
      • Autocrawler: ตัวแทนเว็บที่เข้าใจได้อย่างก้าวหน้าสำหรับการสร้างเว็บรวบรวมข้อมูล
      • Weblinx: การนำทางเว็บไซต์จริงด้วยการสนทนาหลายครั้ง
      • WebVoyager: การสร้างเว็บเอเจนต์แบบ end-to-end ที่มีโมเดลหลายรูปแบบขนาดใหญ่
      • Cogagent: รูปแบบภาษาภาพสำหรับตัวแทน GUI
      • Mobile-Agent-V2: ผู้ช่วยการทำงานของอุปกรณ์มือถือพร้อมการนำทางที่มีประสิทธิภาพผ่านการทำงานร่วมกันหลายตัวแทน
      • Webcanvas: ตัวแทนเว็บการเปรียบเทียบในสภาพแวดล้อมออนไลน์
      • Dawn of GUI Agent: กรณีศึกษาเบื้องต้นกับการใช้คอมพิวเตอร์ของ Claude 3.5
    • วิศวกรซอฟต์แวร์
    • ตัวแทนในวิศวกรรมซอฟต์แวร์: การสำรวจภูมิทัศน์และวิสัยทัศน์
    • Chatdev: ตัวแทนสื่อสารเพื่อการพัฒนาซอฟต์แวร์
    • อื่น
      • ห้องปฏิบัติการตัวแทน: การใช้ตัวแทน LLM เป็นผู้ช่วยวิจัย
      • Researchagent: การสร้างแนวคิดการวิจัยซ้ำ ๆ มากกว่าวรรณกรรมทางวิทยาศาสตร์ด้วยแบบจำลองภาษาขนาดใหญ่
      • Webshop: ไปสู่การโต้ตอบเว็บในโลกแห่งความเป็นจริงกับตัวแทนภาษาที่มีเหตุผล
      • Toolkengpt: การเพิ่มโมเดลภาษาแช่แข็งด้วยเครื่องมือขนาดใหญ่ผ่านเครื่องมือฝังเครื่องมือ
      • Pointllm: เพิ่มขีดความสามารถของแบบจำลองภาษาขนาดใหญ่เพื่อทำความเข้าใจกับพอยต์คลาวด์
      • คำถามทางกฎหมายแบบยาวที่ตีความได้ด้วยการตอบกลับแบบจำลองภาษาขนาดใหญ่ที่เรียกคืนได้
      • Carexpert: ใช้ประโยชน์จากแบบจำลองภาษาขนาดใหญ่สำหรับการตอบคำถามการสนทนาในรถยนต์
      • Sciagents: การค้นพบทางวิทยาศาสตร์โดยอัตโนมัติผ่านการใช้เหตุผลกราฟอัจฉริยะหลายตัวแทน
  • ประเมิน
    • Evaluating Verifiability in Generative Search Engines
    • Auto-GPT for Online Decision Making: Benchmarks and Additional Opinions
    • API-Bank: A Benchmark for Tool-Augmented LLMs
    • ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs
    • Automatic Evaluation of Attribution by Large Language Models
    • Benchmarking Large Language Models in Retrieval-Augmented Generation
    • ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems
    • Agent-as-a-Judge: Evaluate Agents with Agents
  • MultiAgent
    • GENERATIVE AGENTS
    • LET MODELS SPEAK CIPHERS: MULTIAGENT DEBATE THROUGH EMBEDDINGS
    • War and Peace (WarAgent): Large Language Model-based Multi-Agent Simulation of World Wars
    • Small LLMs Are Weak Tool Learners: A Multi-LLM Agent
    • Merge, Ensemble, and Cooperate! A Survey on Collaborative Strategies in the Era of Large Language Models
    • Generative Agents: Interactive Simulacra of Human Behavior
    • AgentVerse: Facilitating Multi-Agent Collaboration and Exploring Emergent Behaviors in Agents
    • System-1.x: Learning to Balance Fast and Slow Planning with Language Models
    • Agents Thinking Fast and Slow:A Talker-Reasoner Architecture
    • Generative Agent Simulations of 1,000 People
    • Advanced Reasoning and Learning for Autonomous AI Agents
    • 多智能体系统
      • Internet of Agents: Weaving a Web of Heterogeneous Agents for Collaborative Intelligence
      • MULTI-AGENT COLLABORATION: HARNESSING THE POWER OF INTELLIGENT LLM AGENTS
      • Magentic-One: A Generalist Multi-Agent System for Solving Complex Tasks
  • 任务型智能体协作
    • METAAGENTS: SIMULATING INTERACTIONS OF HUMAN BEHAVIORS FOR LLM-BASED TASK-ORIENTED COORDINATION VIA COLLABORATIVE
    • CAMEL: Communicative Agents for "Mind" Exploration of Large Scale Language Model Society
    • Exploring Large Language Models for Communication Games: An Empirical Study on Werewolf
    • Communicative Agents for Software Development
    • MedAgents: Large Language Models as Collaborators for Zero-shot Medical Reasoning
    • METAGPT: META PROGRAMMING FOR A MULTI-AGENT COLLABORATIVE FRAMEWORK
  • 智能体路由
    • One Agent To Rule Them All: Towards Multi-agent Conversational AI
    • A Multi-Agent Conversational Recommender System
  • 基座模型路由&Ensemble
    • Large Language Model Routing with Benchmark Datasets
    • LLM-BL ENDER: Ensembling Large Language Models with Pairwise Ranking and Generative Fusion
    • RouteLLM: Learning to Route LLMs with Preference Data
    • More Agents Is All You Need
    • Routing to the Expert: Efficient Reward-guided Ensemble of Large Language Models
  • 自主学习和探索进化
    • AppAgent: Multimodal Agents as Smartphone Users
    • Investigate-Consolidate-Exploit: A General Strategy for Inter-Task Agent Self-Evolution
    • LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error
    • Empowering Large Language Model Agents through Action Learning
    • Trial and Error: Exploration-Based Trajectory Optimization for LLM Agents
    • OS-COPILOT: TOWARDS GENERALIST COMPUTER AGENTS WITH SELF-IMPROVEMENT
    • LLAMA RIDER: SPURRING LARGE LANGUAGE MODELS TO EXPLORE THE OPEN WORLD
    • PAST AS A GUIDE: LEVERAGING RETROSPECTIVE LEARNING FOR PYTHON CODE COMPLETION
    • AutoGuide: Automated Generation and Selection of State-Aware Guidelines for Large Language Model Agents
    • A Survey on Self-Evolution of Large Language Models
    • ExpeL: LLM Agents Are Experiential Learners
    • ReAct Meets ActRe: When Language Agents Enjoy Training Data Autonomy
    • PROACTIVE AGENT: SHIFTING LLM AGENTS FROM REACTIVE RESPONSES TO ACTIVE ASSISTANCE
    • From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning
  • อื่น
    • LLM+P: Empowering Large Language Models with Optimal Planning Proficiency
    • Inference with Reference: Lossless Acceleration of Large Language Models
    • RecallM: An Architecture for Temporal Context Understanding and Question Answering
    • LLaMA Rider: Spurring Large Language Models to Explore the Open World
    • LLMs Can't Plan, But Can Help Planning in LLM-Modulo Frameworks

RAG

  • 经典论文
    • WebGPT：Browser-assisted question-answering with human feedback
    • WebGLM: Towards An Efficient Web-Enhanced Question Answering System with Human Preferences
    • WebCPM: Interactive Web Search for Chinese Long-form Question Answering
    • REPLUG: Retrieval-Augmented Black-Box Language Models
    • RETA-LLM: A Retrieval-Augmented Large Language Model Toolkit
    • Atlas: Few-shot Learning with Retrieval Augmented Language Models
    • RRAML: Reinforced Retrieval Augmented Machine Learning
    • FRESHLLMS: REFRESHING LARGE LANGUAGE MODELS WITH SEARCH ENGINE AUGMENTATION
  • 微调
    • RLCF：Aligning the Capabilities of Large Language Models with the Context of Information Retrieval via Contrastive Feedback
    • RA-DIT: RETRIEVAL-AUGMENTED DUAL INSTRUCTION TUNING
    • CHAIN-OF-NOTE: ENHANCING ROBUSTNESS IN RETRIEVAL-AUGMENTED LANGUAGE MODELS
    • RAFT: Adapting Language Model to Domain Specific RAG
    • Rich Knowledge Sources Bring Complex Knowledge Conflicts: Recalibrating Models to Reflect Conflicting Evidence
  • 其他论文
    • Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation
    • PDFTriage: Question Answering over Long, Structured Documents
    • Walking Down the Memory Maze: Beyond Context Limit through Interactive Reading
    • Active Retrieval Augmented Generation
    • kNN-LM Does Not Improve Open-ended Text Generation
    • Can Retriever-Augmented Language Models Reason? The Blame Game Between the Retriever and the Language Model
    • DORIS-MAE: Scientific Document Retrieval using Multi-level Aspect-based Queries
    • Factuality Enhanced Language Models for Open-Ended Text Generation
    • KwaiAgents: Generalized Information-seeking Agent System with Large Language Models
    • Complex Claim Verification with Evidence Retrieved in the Wild
    • Retrieval-Augmented Generation for Large Language Models: A Survey
    • ChatQA: Building GPT-4 Level Conversational QA Models
    • RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture
    • Benchmarking Large Language Models in Retrieval-Augmented Generation
    • T-RAG: Lessons from the LLM Trenches
    • ARAGOG: Advanced RAG Output Grading
    • ActiveRAG: Revealing the Treasures of Knowledge via Active Learning
    • OpenResearcher: Unleashing AI for Accelerated Scientific Research
    • Contextual.ai-RAG2.0
    • Mindful-RAG: A Study of Points of Failure in Retrieval Augmented Generation
    • Memory3 : Language Modeling with Explicit Memory
  • 优化检索
    • IAG: Induction-Augmented Generation Framework for Answering Reasoning Questions
    • HyDE：Precise Zero-Shot Dense Retrieval without Relevance Labels
    • PROMPTAGATOR : FEW-SHOT DENSE RETRIEVAL FROM 8 EXAMPLES
    • Query Rewriting for Retrieval-Augmented Large Language Models
    • Query2doc: Query Expansion with Large Language Models
    • Query Expansion by Prompting Large Language Models
    • Anthropic Contextual Retrieval
    • Multi-Level Querying using A Knowledge Pyramid
    • A Survey of Query Optimization in Large Language Models
  • การจัดอันดับ
    • A Setwise Approach for Effective and Highly Efficient Zero-shot Ranking with Large Language Models
    • RankVicuna: Zero-Shot Listwise Document Reranking with Open-Source Large Language Models
    • Improving Passage Retrieval with Zero-Shot Question Generation
    • Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting
    • RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs
    • Ranking Manipulation for Conversational Search Engines
    • Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents
    • Opensource Large Language Models are Strong Zero-shot Query Likelihood Models for Document Ranking
    • T2Ranking: A large-scale Chinese Benchmark for Passage Ranking
    • Learning to Filter Context for Retrieval-Augmented Generation
  • 传统搜索方案
    • ASK THE RIGHT QUESTIONS:ACTIVE QUESTION REFORMULATION WITH REINFORCEMENT LEARNING
    • Query Expansion Techniques for Information Retrieval a Survey
    • Learning to Rewrite Queries
    • Managing Diversity in Airbnb Search
  • 新向量模型用于Recall和Ranking
    • Augmented Embeddings for Custom Retrievals
    • BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation
    • 网易为RAG设计的BCE Embedding技术报告
    • BGE Landmark Embedding: A Chunking-Free Embedding Method For Retrieval Augmented Long-Context Large Language Models
    • D2LLM: Decomposed and Distilled Large Language Models for Semantic Search
    • Piccolo2: General Text Embedding with Multi-task Hybrid Loss Training
  • 优化推理结果
    • Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting
  • 动态RAG（When to Search & Search Plan）
    • SELF-RAG: LEARNING TO RETRIEVE, GENERATE, AND CRITIQUE THROUGH SELF-REFLECTION
    • Self-Knowledge Guided Retrieval Augmentation for Large Language Models
    • Self-DC: When to retrieve and When to generate Self Divide-and-Conquer for Compositional Unknown Questions
    • Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs
    • Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity
    • REAPER: Reasoning based Retrieval Planning for Complex RAG Systems
    • When to Retrieve: Teaching LLMs to Utilize Information Retrieval Effectively
    • PlanRAG: A Plan-then-Retrieval Augmented Generation for Generative Large Language Models as Decision Makers
    • ONEGEN: EFFICIENT ONE-PASS UNIFIED GENERATION AND RETRIEVAL FOR LLMS
    • Probing-RAG: Self-Probing to Guide Language Models in Selective Document Retrieval
  • Graph RAG
    • GRAPH Retrieval-Augmented Generation: A Survey
    • From Local to Global: A Graph RAG Approach to Query-Focused Summarization
    • GRAG: Graph Retrieval-Augmented Generation
    • GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning
    • THINK-ON-GRAPH: DEEP AND RESPONSIBLE REASONING OF LARGE LANGUAGE MODEL ON KNOWLEDGE GRAPH
    • LightRAG: Simple and Fast Retrieval-Augmented Generation
    • THINK-ON-GRAPH: DEEP AND RESPONSIBLE REASON- ING OF LARGE LANGUAGE MODEL ON KNOWLEDGE GRAPH
    • StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization
  • Multistep RAG
    • SYNERGISTIC INTERPLAY BETWEEN SEARCH AND LARGE LANGUAGE MODELS FOR INFORMATION RETRIEVAL
    • Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions
    • Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy
    • RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation
    • IM-RAG: Multi-Round Retrieval-Augmented Generation Through Learning Inner Monologues
    • Demonstrate-Search-Predict: Composing retrieval and language models for knowledge-intensive NLP
    • Search-in-the-Chain: Towards Accurate, Credible and Traceable Large Language Models for Knowledge-intensive Tasks
    • MindSearch 思·索: Mimicking Human Minds Elicits Deep AI Searcher
    • RQ-RAG: LEARNING TO REFINE QUERIES FOR RETRIEVAL AUGMENTED GENERATION
    • AutoPRM: Automating Procedural Supervision for Multi-Step Reasoning via Controllable Question Decomposition
  • Timeline RAG
    • Unfolding the Headline: Iterative Self-Questioning for News Retrieval and Timeline Summarization

Other Prompt Engineer(prompt_engineer)

  • Calibrate Before Use: Improving Few-Shot Performance of Language Models
  • In-Context Instruction Learning
  • LEARNING PERFORMANCE-IMPROVING CODE EDITS
  • Boosting Theory-of-Mind Performance in Large Language Models via Prompting
  • Generated Knowledge Prompting for Commonsense Reasoning
  • RECITATION-AUGMENTED LANGUAGE MODELS
  • kNN PROMPTING: BEYOND-CONTEXT LEARNING WITH CALIBRATION-FREE NEAREST NEIGHBOR INFERENCE
  • EmotionPrompt: Leveraging Psychology for Large Language Models Enhancement via Emotional Stimulus
  • Causality-aware Concept Extraction based on Knowledge-guided Prompting
  • LARGE LANGUAGE MODELS AS OPTIMIZERS
  • Prompts As Programs: A Structure-Aware Approach to Efficient Compile-Time Prompt Optimization
  • Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V
  • RePrompt: Automatic Prompt Editing to Refine AI-Generative Art Towards Precise Expressions
  • MedPrompt: Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine
  • DSPy Assertions: Computational Constraints for Self-Refining Language Model Pipelines
  • Prompts as Auto-Optimized Training Hyperparameters: Training Best-in-Class IR Models from Scratch with 10 Gold Labels
  • In-Context Learning for Extreme Multi-Label Classification
  • Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs
  • DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines
  • CONNECTING LARGE LANGUAGE MODELS WITH EVOLUTIONARY ALGORITHMS YIELDS POWERFUL PROMP OPTIMIZERS
  • TextGrad: Automatic "Differentiation" via Text
  • Task Facet Learning: A Structured Approach to Prompt Optimization
  • LangGPT: Rethinking Structured Reusable Prompt Design Framework for LLMs from the Programming Language
  • PAS: Data-Efficient Plug-and-Play Prompt Augmentation System
  • Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models
  • From Pen to Prompt: How Creative Writers Integrate AI into their Writing Practice
  • Does Prompt Formatting Have Any Impact on LLM Performance?
  • AUTO-DEMO PROMPTING: LEVERAGING GENERATED OUTPUTS AS DEMONSTRATIONS FOR ENHANCED BATCH PROMPTING
  • PROMPTBREEDER: SELF-REFERENTIAL SELF-IMPROVEMENT VIA PROMPT EVOLUTION

大模型图表理解和生成

  • สำรวจ
    • Table Meets LLM: Can Large Language Models Understand Structured Table Data? A Benchmark and Empirical Study
    • Large Language Models(LLMs) on Tabular Data: Prediction, Generation, and Understanding - A Survey
    • Exploring the Numerical Reasoning Capabilities of Language Models: A Comprehensive Analysis on Tabular Data
  • แจ้ง
    • Large Language Models are Versatile Decomposers: Decompose Evidence and Questions for Table-based Reasoning
    • Tab-CoT: Zero-shot Tabular Chain of Thought
    • Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding
  • fintuning
    • TableLlama: Towards Open Large Generalist Models for Tables
    • TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios
  • multimodal
    • MMC: Advancing Multimodal Chart Understanding with Large-scale Instruction Tuning
    • ChartLlama: A Multimodal LLM for Chart Understanding and Generation
    • ChartAssisstant: A Universal Chart Multimodal Language Model via Chart-to-Table Pre-training and Multitask Instruction Tuning
    • ChartInstruct: Instruction Tuning for Chart Comprehension and Reasoning
    • ChartX & ChartVLM: A Versatile Benchmark and Foundation Model for Complicated Chart Reasoning
    • MATCHA : Enhancing Visual Language Pretraining with Math Reasoning and Chart Derendering
    • UniChart: A Universal Vision-language Pretrained Model for Chart Comprehension and Reasoning
    • TinyChart: Efficient Chart Understanding with Visual Token Merging and Program-of-Thoughts Learning
    • Tables as Texts or Images: Evaluating the Table Reasoning Ability of LLMs and MLLMs
    • TableVQA-Bench: A Visual Question Answering Benchmark on Multiple Table Domains
    • TabPedia: Towards Comprehensive Visual Table Understanding with Concept Synergy

LLM+KG

  • ภาพรวม
    • Unifying Large Language Models and Knowledge Graphs: A Roadmap
    • Large Language Models and Knowledge Graphs: Opportunities and Challenges
    • 知识图谱与大模型融合实践研究报告2023
  • KG用于大模型推理
    • Using Large Language Models for Zero-Shot Natural Language Generation from Knowledge Graphs
    • MindMap: Knowledge Graph Prompting Sparks Graph of Thoughts in Large Language Models
    • Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge Graph Question Answering
    • Domain Specific Question Answering Over Knowledge Graphs Using Logical Programming and Large Language Models
    • BRING YOUR OWN KG: Self-Supervised Program Synthesis for Zero-Shot KGQA
    • StructGPT: A General Framework for Large Language Model to Reason over Structured Data
  • 大模型用于KG构建
    • Enhancing Knowledge Graph Construction Using Large Language Models
    • LLM-assisted Knowledge Graph Engineering: Experiments with ChatGPT
    • ITERATIVE ZERO-SHOT LLM PROMPTING FOR KNOWLEDGE GRAPH CONSTRUCTION
    • Exploring Large Language Models for Knowledge Graph Completion

Humanoid Agents

  • HABITAT 3.0: A CO-HABITAT FOR HUMANS, AVATARS AND ROBOTS
  • Humanoid Agents: Platform for Simulating Human-like Generative Agents
  • Voyager: An Open-Ended Embodied Agent with Large Language Models
  • Shaping the future of advanced robotics
  • AUTORT: EMBODIED FOUNDATION MODELS FOR LARGE SCALE ORCHESTRATION OF ROBOTIC AGENTS
  • ROBOTIC TASK GENERALIZATION VIA HINDSIGHT TRAJECTORY SKETCHES
  • ALFWORLD: ALIGNING TEXT AND EMBODIED ENVIRONMENTS FOR INTERACTIVE LEARNING
  • MINEDOJO: Building Open-Ended Embodied Agents with Internet-Scale Knowledge
  • LEGENT: Open Platform for Embodied Agents

pretrain_data & pretrain

  • DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining
  • The Pile: An 800GB Dataset of Diverse Text for Language Modeling
  • CCNet: Extracting High Quality Monolingual Datasets fromWeb Crawl Data
  • WanJuan: A Comprehensive Multimodal Dataset for Advancing English and Chinese Large Models
  • CLUECorpus2020: A Large-scale Chinese Corpus for Pre-training Language Model
  • In-Context Pretraining: Language Modeling Beyond Document Boundaries
  • Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance
  • Zyda: A 1.3T Dataset for Open Language Modeling
  • Entropy Law: The Story Behind Data Compression and LLM Performance
  • Data, Data Everywhere: A Guide for Pretraining Dataset Construction
  • Data curation via joint example selection further accelerates multimodal learning
  • IMPROVING PRETRAINING DATA USING PERPLEXITY CORRELATIONS
  • AI models collapse when trained on recursively generated data

领域模型SFT(domain_llms)

  • การเงิน
    • BloombergGPT： A Large Language Model for Finance
    • FinVis-GPT: A Multimodal Large Language Model for Financial Chart Analysis
    • CFGPT: Chinese Financial Assistant with Large Language Model
    • CFBenchmark: Chinese Financial Assistant Benchmark for Large Language Model
    • InvestLM: A Large Language Model for Investment using Financial Domain Instruction Tuning
    • BBT-Fin: Comprehensive Construction of Chinese Financial Domain Pre-trained Language Model, Corpus and Benchmark
    • PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance
    • The FinBen: An Holistic Financial Benchmark for Large Language Models
    • XuanYuan 2.0: A Large Chinese Financial Chat Model with Hundreds of Billions Parameters
    • Towards Trustworthy Large Language Models in Industry Domains
    • When AI Meets Finance (StockAgent): Large Language Model-based Stock Trading in Simulated Real-world Environments
    • A Survey of Large Language Models for Financial Applications: Progress, Prospects and Challenges
  • 生物医疗
    • MedGPT: Medical Concept Prediction from Clinical Narratives
    • BioGPT：Generative Pre-trained Transformer for Biomedical Text Generation and Mining
    • PubMed GPT: A Domain-specific large language model for biomedical text
    • ChatDoctor：Medical Chat Model Fine-tuned on LLaMA Model using Medical Domain Knowledge
    • Med-PaLM：Large Language Models Encode Clinical Knowledge[V1,V2]
    • SMILE: Single-turn to Multi-turn Inclusive Language Expansion via ChatGPT for Mental Health Support
    • Zhongjing: Enhancing the Chinese Medical Capabilities of Large Language Model through Expert Feedback and Real-world Multi-turn Dialogue
  • อื่น
    • Galactia：A Large Language Model for Science
    • Augmented Large Language Models with Parametric Knowledge Guiding
    • ChatLaw Open-Source Legal Large Language Model
    • MediaGPT : A Large Language Model For Chinese Media
    • KITLM: Domain-Specific Knowledge InTegration into Language Models for Question Answering
    • EcomGPT: Instruction-tuning Large Language Models with Chain-of-Task Tasks for E-commerce
    • TableGPT: Towards Unifying Tables, Nature Language and Commands into One GPT
    • LLEMMA: AN OPEN LANGUAGE MODEL FOR MATHEMATICS
    • MEDITAB: SCALING MEDICAL TABULAR DATA PREDICTORS VIA DATA CONSOLIDATION, ENRICHMENT, AND REFINEMENT
    • PLLaMa: An Open-source Large Language Model for Plant Science
    • ADAPTING LARGE LANGUAGE MODELS VIA READING COMPREHENSION

LLM超长文本处理(long_input)

  • 位置编码、注意力机制优化
    • Unlimiformer: Long-Range Transformers with Unlimited Length Input
    • Parallel Context Windows for Large Language Models
    • 苏剑林, NBCE：使用朴素贝叶斯扩展LLM的Context处理长度
    • Structured Prompting: Scaling In-Context Learning to 1,000 Examples
    • Vcc: Scaling Transformers to 128K Tokens or More by Prioritizing Important Tokens
    • Scaling Transformer to 1M tokens and beyond with RMT
    • TRAIN SHORT, TEST LONG: ATTENTION WITH LINEAR BIASES ENABLES INPUT LENGTH EXTRAPOLATION
    • Extending Context Window of Large Language Models via Positional Interpolation
    • LongNet: Scaling Transformers to 1,000,000,000 Tokens
    • https://kaiokendev.github.io/til#extending-context-to-8k
    • 苏剑林,Transformer升级之路：10、RoPE是一种β进制编码
    • 苏剑林,Transformer升级之路：11、将β进制位置进行到底
    • 苏剑林,Transformer升级之路：12、无限外推的ReRoPE？
    • 苏剑林,Transformer升级之路：15、Key归一化助力长度外推
    • EFFICIENT STREAMING LANGUAGE MODELS WITH ATTENTION SINKS
    • Ring Attention with Blockwise Transformers for Near-Infinite Context
    • YaRN: Efficient Context Window Extension of Large Language Models
    • LM-INFINITE: SIMPLE ON-THE-FLY LENGTH GENERALIZATION FOR LARGE LANGUAGE MODELS
    • EFFICIENT STREAMING LANGUAGE MODELS WITH ATTENTION SINKS
  • 上文压缩排序方案
    • Lost in the Middle: How Language Models Use Long Contexts
    • LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models
    • LongLLMLingua: Accelerating and Enhancing LLMs in Long Context Scenarios via Prompt Compression
    • Learning to Compress Prompts with Gist Tokens
    • Unlocking Context Constraints of LLMs: Enhancing Context Efficiency of LLMs with Self-Information-Based Content Filtering
    • LongAgent: Scaling Language Models to 128k Context through Multi-Agent Collaboration
    • PCToolkit: A Unified Plug-and-Play Prompt Compression Toolkit of Large Language Models
    • Are Long-LLMs A Necessity For Long-Context Tasks?
  • 训练和模型架构方案
    • Never Train from Scratch: FAIR COMPARISON OF LONGSEQUENCE MODELS REQUIRES DATA-DRIVEN PRIORS
    • Soaring from 4K to 400K: Extending LLM's Context with Activation Beacon
    • Never Lost in the Middle: Improving Large Language Models via Attention Strengthening Question Answering
    • Focused Transformer: Contrastive Training for Context Scaling
    • Effective Long-Context Scaling of Foundation Models
    • ON THE LONG RANGE ABILITIES OF TRANSFORMERS
    • Efficient Long-Range Transformers: You Need to Attend More, but Not Necessarily at Every Layer
    • POSE: EFFICIENT CONTEXT WINDOW EXTENSION OF LLMS VIA POSITIONAL SKIP-WISE TRAINING
    • LONGLORA: EFFICIENT FINE-TUNING OF LONGCONTEXT LARGE LANGUAGE MODELS
    • LongAlign: A Recipe for Long Context Alignment of Large Language Models
    • Data Engineering for Scaling Language Models to 128K Context
    • MEGALODON: Efficient LLM Pretraining and Inference with Unlimited Context Length
    • Make Your LLM Fully Utilize the Context
    • Untie the Knots: An Efficient Data Augmentation Strategy for Long-Context Pre-Training in Language Models
  • การเพิ่มประสิทธิภาพประสิทธิภาพ
    • Efficient Attention: Attention with Linear Complexities
    • Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention
    • HyperAttention: Long-context Attention in Near-Linear Time
    • FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
    • With Greater Text Comes Greater Necessity: Inference-Time Training Helps Long Text Generation

LLM长文本生成（long_output）

  • Re3 : Generating Longer Stories With Recursive Reprompting and Revision
  • RECURRENTGPT: Interactive Generation of (Arbitrarily) Long Text
  • DOC: Improving Long Story Coherence With Detailed Outline Control
  • Weaver: Foundation Models for Creative Writing
  • Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models
  • Into the Unknown Unknowns: Engaged Human Learning through Participation in Language Model Agent Conversations

NL2SQL

  • 大模型方案
    • DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with Self-Correction
    • C3: Zero-shot Text-to-SQL with ChatGPT
    • SQL-PALM: IMPROVED LARGE LANGUAGE MODEL ADAPTATION FOR TEXT-TO-SQL
    • BIRD Can LLM Already Serve as A Database Interface? A BIg Bench for Large-Scale Database Grounded Text-to-SQL
    • A Case-Based Reasoning Framework for Adaptive Prompting in Cross-Domain Text-to-SQL
    • ChatDB: AUGMENTING LLMS WITH DATABASES AS THEIR SYMBOLIC MEMORY
    • A comprehensive evaluation of ChatGPT's zero-shot Text-to-SQL capability
    • Few-shot Text-to-SQL Translation using Structure and Content Prompt Learning
    • Tool-Assisted Agent on SQL Inspection and Refinement in Real-World Scenarios
  • Domain Knowledge Intensive
    • Towards Knowledge-Intensive Text-to-SQL Semantic Parsing with Formulaic Knowledge
    • Bridging the Generalization Gap in Text-to-SQL Parsing with Schema Expansion
    • Towards Robustness of Text-to-SQL Models against Synonym Substitution
    • FinQA: A Dataset of Numerical Reasoning over Financial Data
  • คนอื่น
    • RESDSQL: Decoupling Schema Linking and Skeleton Parsing for Text-to-SQL
    • MIGA: A Unified Multi-task Generation Framework for Conversational Text-to-SQL

主流LLMS和预训练

  • GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL
  • PaLM: Scaling Language Modeling with Pathways
  • PaLM 2 Technical Report
  • GPT-4 Technical Report
  • Backpack Language Models
  • LLaMA: Open and Efficient Foundation Language Models
  • Llama 2: Open Foundation and Fine-Tuned Chat Models
  • Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning
  • OpenBA: An Open-sourced 15B Bilingual Asymmetric seq2seq Model Pre-trained from Scratch
  • Mistral 7B
  • Ziya2: Data-centric Learning is All LLMs Need
  • MEGABLOCKS: EFFICIENT SPARSE TRAINING WITH MIXTURE-OF-EXPERTS
  • TUTEL: ADAPTIVE MIXTURE-OF-EXPERTS AT SCALE
  • Phi1- Textbooks Are All You Need
  • Phi1.5- Textbooks Are All You Need II: phi-1.5 technical report
  • Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone
  • Gemini: A Family of Highly Capable Multimodal Models
  • In-Context Pretraining: Language Modeling Beyond Document Boundaries
  • LLAMA PRO: Progressive LLaMA with Block Expansion
  • QWEN TECHNICAL REPORT
  • Fewer Truncations Improve Language Modeling
  • ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools
  • Phi-4 Technical Report
  • Byte Latent Transformer: Patches Scale Better Than Tokens
  • Qwen2.5 Technical Report
  • DeepSeek-V3 Technical Report
  • Mixtral of Experts

Code Generation

  • Code Generation with AlphaCodium: From Prompt Engineering to Flow Engineering
  • Codeforces as an Educational Platform for Learning Programming in Digitalization
  • Competition-Level Code Generation with AlphaCode
  • CODECHAIN: TOWARDS MODULAR CODE GENERATION THROUGH CHAIN OF SELF-REVISIONS WITH REPRESENTATIVE SUB-MODULES
  • AI Coders Are Among Us: Rethinking Programming Language Grammar Towards Efficient Code Generation

降低模型幻觉(reliability)

  • สำรวจ
    • Large language models and the perils of their hallucinations
    • Survey of Hallucination in Natural Language Generation
    • Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models
    • A Survey of Hallucination in Large Foundation Models
    • A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions
    • Calibrated Language Models Must Hallucinate
    • Why Does ChatGPT Fall Short in Providing Truthful Answers?
  • Prompt or Tunning
    • R-Tuning: Teaching Large Language Models to Refuse Unknown Questions
    • PROMPTING GPT-3 TO BE RELIABLE
    • ASK ME ANYTHING: A SIMPLE STRATEGY FOR PROMPTING LANGUAGE MODELS
    • On the Advance of Making Language Models Better Reasoners
    • RefGPT: Reference → Truthful & Customized Dialogues Generation by GPTs and for GPTs
    • Rethinking with Retrieval: Faithful Large Language Model Inference
    • GENERATE RATHER THAN RETRIEVE: LARGE LANGUAGE MODELS ARE STRONG CONTEXT GENERATORS
    • Large Language Models Struggle to Learn Long-Tail Knowledge
  • Decoding Strategy
    • Trusting Your Evidence: Hallucinate Less with Context-aware Decoding
    • SELF-REFINE:ITERATIVE REFINEMENT WITH SELF-FEEDBACK
    • Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference
    • Inference-Time Intervention: Eliciting Truthful Answers from a Language Model
    • Enabling Large Language Models to Generate Text with Citations
    • Factuality Enhanced Language Models for Open-Ended Text Generation
    • KL-Divergence Guided Temperature Sampling
    • KCTS: Knowledge-Constrained Tree Search Decoding with Token-Level Hallucination Detection
    • CONTRASTIVE DECODING IMPROVES REASONING IN LARGE LANGUAGE MODEL
    • Contrastive Decoding: Open-ended Text Generation as Optimization
  • Probing and Detection
    • Automatic Evaluation of Attribution by Large Language Models
    • QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization
    • Zero-Resource Hallucination Prevention for Large Language Models
    • LLM Lies: Hallucinations are not Bugs, but Features as Adversarial Examples
    • Language Models (Mostly) Know What They Know
    • LM vs LM: Detecting Factual Errors via Cross Examination
    • Do Language Models Know When They're Hallucinating References?
    • SELFCHECKGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models
    • SELF-CONTRADICTORY HALLUCINATIONS OF LLMS: EVALUATION, DETECTION AND MITIGATION
    • Self-consistency for open-ended generations
    • Improving Factuality and Reasoning in Language Models through Multiagent Debate
    • Selective-LAMA: Selective Prediction for Confidence-Aware Evaluation of Language Models
    • Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs
  • Reviewing and Calibration
    • Truth-o-meter: Collaborating with llm in fighting its hallucinations
    • RARR: Researching and Revising What Language Models Say, Using Language Models
    • CRITIC: LARGE LANGUAGE MODELS CAN SELFCORRECT WITH TOOL-INTERACTIVE CRITIQUING
    • VALIDATING LARGE LANGUAGE MODELS WITH RELM
    • PURR: Efficiently Editing Language Model Hallucinations by Denoising Language Model Corruptions
    • Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback
    • Adaptive Chameleon or Stubborn Sloth: Unraveling the Behavior of Large Language Models in Knowledge Clashes
    • Woodpecker: Hallucination Correction for Multimodal Large Language Models
    • Zero-shot Faithful Factual Error Correction
    • LARGE LANGUAGE MODELS CANNOT SELF-CORRECT REASONING YET
    • Training Language Models to Self-Correct via Reinforcement Learning

大模型评估（evaluation）

  • 事实性评估
    • TRUSTWORTHY LLMS: A SURVEY AND GUIDELINE FOR EVALUATING LARGE LANGUAGE MODELS' ALIGNMENT
    • TrueTeacher: Learning Factual Consistency Evaluation with Large Language Models
    • TRUE: Re-evaluating Factual Consistency Evaluation
    • FACTSCORE: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation
    • KoLA: Carefully Benchmarking World Knowledge of Large Language Models
    • When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories
    • FACTOOL: Factuality Detection in Generative AI A Tool Augmented Framework for Multi-Task and Multi-Domain Scenarios
    • LONG-FORM FACTUALITY IN LARGE LANGUAGE MODELS
  • 检测任务
    • Detecting Pretraining Data from Large Language Models
    • Scalable Extraction of Training Data from (Production) Language Models
    • Rethinking Benchmark and Contamination for Language Models with Rephrased Samples

推理优化(inference)

  • Fast Transformer Decoding: One Write-Head is All You Need
  • Fast Inference from Transformers via Speculative Decoding
  • GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
  • Skeleton-of-Thought: Large Language Models Can Do Parallel Decoding
  • SkipDecode: Autoregressive Skip Decoding with Batching and Caching for Efficient LLM Inference
  • BatchPrompt: Accomplish more with less
  • You Only Cache Once: Decoder-Decoder Architectures for Language Models
  • XGrammar: Flexible and Efficient Structured Generation Engine for Large Language Models
  • Precise Length Control in Large Language Models
  • Top-nσ: Not All Logits Are You Need
  • Prompt Cache: Modular Attention Reuse for Low-Latency Inference

模型知识编辑黑科技(model_edit)

  • ROME：Locating and Editing Factual Associations in GPT
  • Transformer Feed-Forward Layers Are Key-Value Memories
  • MEMIT: Mass-Editing Memory in a Transformer
  • MEND：Fast Model Editing at Scale
  • Editing Large Language Models: Problems, Methods, and Opportunities
  • Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch
  • Automata-based constraints for language model decoding
  • SGLang: Efficient Execution of Structured Language Model Programs

模型合并和剪枝(model_merge)

  • Blending Is All You Need: Cheaper, Better Alternative to Trillion-Parameters LLM
  • DARE Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch
  • EDITING MODELS WITH TASK ARITHMETIC
  • TIES-Merging: Resolving Interference When Merging Models
  • LM-Cocktail: Resilient Tuning of Language Models via Model Merging
  • SLICEGPT: COMPRESS LARGE LANGUAGE MODELS BY DELETING ROWS AND COLUMNS
  • Checkpoint Merging via Bayesian Optimization in LLM Pretrainin
  • Arcee's MergeKit: A Toolkit for Merging Large Language Models

MOE

  • Tricks for Training Sparse Translation Models
  • ST-MoE: Designing Stable and Transferable Sparse Expert Models
  • Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
  • GLaM: Efficient Scaling of Language Models with Mixture-of-Experts
  • GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding
  • OUTRAGEOUSLY LARGE NEURAL NETWORKS: THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER
  • DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale
  • Dense-to-Sparse Gate for Mixture-of-Experts
  • Efficient Large Scale Language Modeling with Mixtures of Experts

Multimodal

  • InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning
  • Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models
  • LLava Visual Instruction Tuning
  • MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models
  • BLIVA: A Simple Multimodal LLM for Better Handling of Text-Rich Visual Questions
  • mPLUG-Owl : Modularization Empowers Large Language Models with Multimodality
  • LVLM eHub: A Comprehensive Evaluation Benchmark for Large VisionLanguage Models
  • Mirasol3B: A Multimodal Autoregressive model for time-aligned and contextual modalities
  • PaLM-E: An Embodied Multimodal Language Model
  • TabLLM: Few-shot Classification of Tabular Data with Large Language Models
  • AnyGPT: Unified Multimodal LLM with Discrete Sequence Modeling
  • Sora tech report
  • Towards General Computer Control: A Multimodal Agent for Red Dead Redemption II as a Case Study
  • OCR
    • Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models
    • Large OCR Model:An Empirical Study of Scaling Law for OCR
    • ON THE HIDDEN MYSTERY OF OCR IN LARGE MULTIMODAL MODELS
  • PreFLMR: Scaling Up Fine-Grained Late-Interaction Multi-modal Retrievers
  • Many-Shot In-Context Learning in Multimodal Foundation Models
  • Adding Conditional Control to Text-to-Image Diffusion Models
  • Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs
  • ShowUI: One Vision-Language-Action Model for GUI Visual Agent

สรุป

  • A Survey of Large Language Models
  • Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing
  • Paradigm Shift in Natural Language Processing
  • Pre-Trained Models: Past, Present and Future
  • What Language Model Architecture and Pretraining objects work best for zero shot generalization
  • Towards Reasoning in Large Language Models: A Survey
  • Reasoning with Language Model Prompting: A Survey
  • An Overview on Language Models: Recent Developments and Outlook
  • A Survey of Large Language Models[6.29更新版]
  • Unifying Large Language Models and Knowledge Graphs: A Roadmap
  • Augmented Language Models: a Survey
  • Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey
  • Challenges and Applications of Large Language Models
  • The Rise and Potential of Large Language Model Based Agents: A Survey
  • Large Language Models for Information Retrieval: A Survey
  • AI Alignment: A Comprehensive Survey
  • Trends in Integration of Knowledge and Large Language Models: A Survey and Taxonomy of Methods, Benchmarks, and Applications
  • Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook
  • A Survey on Language Models for Code
  • Model-as-a-Service (MaaS): A Survey

大模型能力探究

  • In Context Learning
    • LARGER LANGUAGE MODELS DO IN-CONTEXT LEARNING DIFFERENTLY
    • How does in-context learning work? A framework for understanding the differences from traditional supervised learning
    • Why can GPT learn in-context? Language Model Secretly Perform Gradient Descent as Meta-Optimizers
    • Rethinking the Role of Demonstrations What Makes incontext learning work?
    • Trained Transformers Learn Linear Models In-Context
    • In-Context Learning Creates Task Vectors
    • FUNCTION VECTORS IN LARGE LANGUAGE MODELS
  • 涌现能力
    • Sparks of Artificial General Intelligence: Early experiments with GPT-4
    • Emerging Ability of Large Language Models
    • LANGUAGE MODELS REPRESENT SPACE AND TIME
    • Are Emergent Abilities of Large Language Models a Mirage?
  • 能力评估
    • IS CHATGPT A GENERAL-PURPOSE NATURAL LANGUAGE PROCESSING TASK SOLVER?
    • Can Large Language Models Infer Causation from Correlation?
    • Holistic Evaluation of Language Model
    • Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond
    • Theory of Mind May Have Spontaneously Emerged in Large Language Models
    • Beyond The Imitation Game: Quantifying And Extrapolating The Capabilities Of Language Models
    • Do Models Explain Themselves? Counterfactual Simulatability of Natural Language Explanations
    • Demystifying GPT Self-Repair for Code Generation
    • Evidence of Meaning in Language Models Trained on Programs
    • Can Explanations Be Useful for Calibrating Black Box Models
    • On the Robustness of ChatGPT: An Adversarial and Out-of-distribution Perspective
    • Language acquisition: do children and language models follow similar learning stages?
    • Language is primarily a tool for communication rather than thought
  • 领域能力
    • Capabilities of GPT-4 on Medical Challenge Problems
    • Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine
  • Understanding LLM Embeddings for Regression

Prompt Tunning范式

  • Tunning Free Prompt
    • GPT2: Language Models are Unsupervised Multitask Learners
    • GPT3: Language Models are Few-Shot Learners
    • LAMA: Language Models as Knowledge Bases?
    • AutoPrompt: Eliciting Knowledge from Language Models
  • Fix-Prompt LM Tunning
    • T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
    • PET-TC(a): Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
    • PET-TC(b): PETSGLUE It's Not Just Size That Matters Small Language Models are also few-shot learners
    • GenPET: Few-Shot Text Generation with Natural Language Instructions
    • LM-BFF: Making Pre-trained Language Models Better Few-shot Learners
    • ADEPT: Improving and Simplifying Pattern Exploiting Training
  • Fix-LM Prompt Tunning
    • Prefix-tuning: Optimizing continuous prompts for generation
    • Prompt-tunning: The power of scale for parameter-efficient prompt tuning
    • P-tunning: GPT Understands Too
    • WARP: Word-level Adversarial ReProgramming
  • LM + Prompt Tunning
    • P-tunning v2: Prompt Tuning Can Be Comparable to Fine-tunning Universally Across Scales and Tasks
    • PTR: Prompt Tuning with Rules for Text Classification
    • PADA: Example-based Prompt Learning for on-the-fly Adaptation to Unseen Domains
  • Fix-LM Adapter Tunning
    • LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
    • LST: Ladder Side-Tuning for Parameter and Memory Efficient Transfer Learning
    • Parameter-Efficient Transfer Learning for NLP
    • INTRINSIC DIMENSIONALITY EXPLAINS THE EFFECTIVENESS OF LANGUAGE MODEL FINE-TUNING
    • DoRA: Weight-Decomposed Low-Rank Adaptation
  • Representation Tuning
  • ReFT: Representation Finetuning for Language Models

Timeseries LLM

  • TimeGPT-1
  • Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook
  • TIME-LLM: TIME SERIES FORECASTING BY REPROGRAMMING LARGE LANGUAGE MODELS
  • Large Language Models Are Zero-Shot Time Series Forecasters
  • TEMPO: PROMPT-BASED GENERATIVE PRE-TRAINED TRANSFORMER FOR TIME SERIES FORECASTING
  • Generative Pre-Training of Time-Series Data for Unsupervised Fault Detection in Semiconductor Manufacturing
  • Lag-Llama: Towards Foundation Models for Time Series Forecasting
  • PromptCast: A New Prompt-based Learning Paradigm for Time Series Forecasting

Quanization

  • AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
  • LLM-QAT: Data-Free Quantization Aware Training for Large Language Models
  • LLM.int8() 8-bit Matrix Multiplication for Transformers at Scale
  • SmoothQuant Accurate and Efficient Post-Training Quantization for Large Language Models

Adversarial Attacking

  • Curiosity-driven Red-teaming for Large Language Models
  • Red Teaming Language Models with Language Models
  • EXPLORE, ESTABLISH, EXPLOIT: RED-TEAMING LANGUAGE MODELS FROM SCRATCH

对话模型

  • LaMDA: Language Models for Dialog Applications
  • Sparrow: Improving alignment of dialogue agents via targeted human judgements
  • BlenderBot 3: a deployed conversational agent that continually learns to responsibly engage
  • How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation
  • DialogStudio: Towards Richest and Most Diverse Unified Dataset Collection for Conversational AI
  • Enhancing Chat Language Models by Scaling High-quality Instructional Conversations
  • DiagGPT: An LLM-based Chatbot with Automatic Topic Management for Task-Oriented Dialogue

คนอื่น

  • Pretraining on the Test Set Is All You Need 哈哈作者你是懂讽刺文学的
  • Learnware: Small Models Do Big
  • The economic potential of generative AI
  • A PhD Student's Perspective on Research in NLP in the Era of Very Large Language Models
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด