decryptprompt
إذا كان الوصول المفاجئ لـ LLM يجعلك تشعر بالإحباط ، فيمكنك أن تقرأ أيضًا اختر استراتيجيات بقاء الأسلحة الخاصة بك لأكاديمي الذكاء الاكتئاب في الدليل المنزلي. ستار للاستمرار في التحديث ~
ملخص الموارد LLM
- نماذج مفتوحة المصدر وقوائم المراجعة
- تفكير مفتوح المصدر ، وضبط دقيق ، وكيل ، خرقة ، أطر propmt
- مفتوح المصدر SFT ، RLHF ، مجموعات بيانات قبل
- ملخص التطبيق في مختلف مجالات AIGC
- البرامج التعليمية السريعة والمدونات الكلاسيكية ومقابلات مؤتمر الذكاء الاصطناعي
اقرأ الأوراق مع مدونتك
- فك تشفير السلسلة المطالبة 1.
- فك تشفير السلسلة السريعة 2. تجميد الموجه الدقيق ضبط LM: T5 و PET & LM-BFF
- فك تشفير السلسلة المهمة 3.
- فك تشفير السلسلة المطالبة 4. ضبط تعليمات الترقية: Flan/T0/instructGPT/tkinstruct
- فك تشفير سلسلة propt 5. APE+Self = تطبيق رمز البناء التلقائي لمجموعة التعليمات
- فك تشفير السلسلة المهمة 6.
- سلسلة Decrypt Form Series 7. محاذاة التفضيل RLHF-Openai · DeepMind · تحليل مقارن الإنسان
- فك تشفير السلسلة السريعة 8.
- فك تشفير السلسلة 9
- فك تشفير السلسلة السريعة 10. COT: استكشاف مبدأ سلسلة التفكير COT
- فك تشفير السلسلة السريعة 11. COT: يمكن أيضًا COT النماذج الصغيرة أيضًا COT ، ويتم استكمال النقص الفطري بعد الولادة
- فك تشفير السلسلة المطالبة 12. LLM Agent Zero Zero Fine Tuning Paresigm React & Self Ask
- فك تشفير السلسلة المطالبة 13. حل صقل تعليمات وكيل LLM: Toolformer و Gorilla
- فك تشفير السلسلة المرحلية 14. تصميم تطبيق Search الخاص بـ LLM Agent: WebGPT & WebGLM & WebCPM
- سلسلة Decrypting Form Series 15. تصميم تطبيق قاعدة بيانات وكيل LLM: DIN & C3 & SQL-Palm & Bird
- فك تشفير السلسلة السريعة 16. أقل البيانات في تجربة محاذاة LLM ، كلما كان ذلك أفضل؟ Ltd & Lima & Alpagasus
- فك تشفير السلسلة المطالبة 17. حل محاذاة LLM وترقية WizardLM & Backtranslation & Self Self
- فك تشفير السلسلة السريعة 18. عالم وكيل LLM مع الوكلاء فقط
- فك تشفير السلسلة السريعة 19. التطبيقات في مجال تحليل البيانات لوكيل LLM: COPILOT و INSIGHTPILOT
- فك تشفير السلسلة السريعة 20. إعادة الحديث عن RAG على تحسين التنوع
- فانكبيطور سلسلة المطالبة 21
- فك تشفير السلسلة 22. انعكاس Rag: هل تخلت عن الضغط أو الذكاء؟
- فك تشفير السلسلة السريعة 23. مخطط الدماغ الكامل للتصنيف الكبير للهلوسة وإسناده وإسناده وتخفيف
- فك تشفير سلسلة propt 24. استراتيجيات التدريب لحلول RLHF الجديدة: SLIC-HF & DPO & RRHF & RSO
- فك تشفير سلسلة propt 25. عينة من مخطط تحسين RLHF: RLAIF والسلمون
- فك تشفير السلسلة السريعة 26. التفكير البشري مقابل التفكير النموذج
- فك تشفير سلسلة propt 27. كيفية تقليل فقدان القدرة العامة في تجربة محاذاة LLM
- فك تشفير السلسلة المذهلة 28. الوكيل المالي لوكيل LLM: Finmem & Finagent
- فك تشفير السلسلة السريعة 29. حلول واجهة برمجة التطبيقات (LLM) الواقعة في العالم الواقعي: Toolllm & Anytool
- فك تشفير السلسلة المذهلة 30. وكيل ركوب الأمواج الخاص بوكيل LLM
- فك تشفير السلسلة 31. التعلم المستمر لوكيل LLM لخفة الحركة
- فك تشفير السلسلة 32. مهمة فهم جدول LLM - وسيط النص
- تفكيك السلسلة السريعة 33. مهمة فهم المخطط LLM - الفصل متعدد الوسائط
- فك تشفير سلسلة propt 34. يتطلب تدريب RLHF نهجًا مختلفًا: خطوة بخطوة وخطوة
- فك تشفير سلسلة PORPT 35. توحيد موجه قيد التقدم! أسياخ ورقة DSPY وأمثلة رمز
- فك تشفير السلسلة 36.
- فك تشفير السلسلة السريعة 37. استراتيجيات متعددة لقرارات مسبق RAG عند الاتصال بالإنترنت
- فك تشفير السلسلة 38. سياسة توجيه متعددة الوكلاء
- فك تشفير سلسلة propt 39. RAG تعمل على تحسين عملية الجدولة الدقيقة بمساعدة LLM
- فك تشفير سلسلة propt 40
- فك تشفير سلسلة propt 41. هل Graphrag حقًا رصاصة فضية؟
- فك تشفير سلسلة propt 42. مسار LLM إلى سلسلة التفكير المعقدة الديناميكية
- فك تشفير سلسلة propt 43.
- فك تشفير سلسلة propt 44. وضع استكشاف خرقة؟ وضع التفكير العميق؟
- فك تشفير السلسلة السريعة 45. استكشف الرقابة القابلة للتطوير LLM - أيهما أفضل في النقاش واللعبة
- فك تشفير سلسلة propt 46. أمثلة رمز الإخراج المنظمة LLM
- فك تشفير سلسلة propt 47. بعض تحليلات الميزات لـ O1 Long Teens
ملخص الأوراق
قائمة الورق
- https://github.com/dongguanting/in-context-learning_paperlist
- https://github.com/thunlp/promptpapers
- https://github.com/timothyxxx/chain-of-whoughtspapers
- https://github.com/thunlp/toollearningpapers
- https://github.com/mlgroupjlu/llm-eval-survey
- https://github.com/thu-coai/paperforonlg
- https://github.com/khuangaf/awesome-chart-spressing
سلسلة تفكير (order_chain_of_thought)
- الاستخدام الأساسي والمتقدم
- 【صفر طلقة】 نماذج لغة كبيرة هي أسباب صفرية
- 【سرير طلق قليلة】 سلسلة من الفكر تثير التفكير في نماذج اللغة الكبيرة
- 【التنافس الذاتي】 يحسن سلسلة التفكير في نماذج اللغة
- 【أقل إلى حد ما ، يتيح المطالبة بالتفكير المعقد في نماذج اللغة الكبيرة
- 【tot】 شجرة الأفكار: حل المشكلات المتعمدة مع نماذج اللغة الكبيرة
- 【Plan and Soluting】 Prompting: تحسين التفكير في سلسلة الأفكار من قبل نماذج اللغة الكبيرة
- 【تحقق من الإطار الفكر الذي يحسن المعرفة
- 【حصلت على】 ما وراء سلسلة الفكر والمعرّم الفكر في نماذج اللغة الكبيرة
- 【Tomt】 شجرة الاختلاف: الجمع بين التفكير السريع والبطيء للتفكير البصري متعدد القوانين
- 【Lambada】: التسلسل للخلف للتفكير الآلي في اللغة الطبيعية
- 【AOT】 خوارزمية الأفكار: تعزيز استكشاف الأفكار في نماذج اللغة الكبيرة
- 【حصلت على】 الرسم البياني للأفكار: حل المشكلات التفصيلية مع نماذج اللغة الكبيرة
- 【PHP】 تلميح التدريجي يحسن التفكير في نماذج اللغة الكبيرة
- 【htt】 يمكن أن تتعلم نماذج اللغة الكبيرة القواعد
- 【Divse】 تنوع الفكر يحسن قدرات التفكير في نماذج اللغة الكبيرة
- 【cogtree】 من المجمع إلى البسيط: كشف الشجرة المعرفية للتفكير مع نماذج اللغة الصغيرة
- 【step-back】 خلف خطوة إلى الوراء: استحضار التفكير عبر التجريد في نماذج اللغة الكبيرة
- 【Opro】 نماذج لغة كبيرة كمُحسّنات
- bot bot】 المخزن المؤقت للأفكار: التفكير المنطقي الفكر مع نماذج اللغة الكبيرة
- مجردة التفكير يجعل نماذج اللغة أسباب أفضل
- 【symbcot】 التفكير المنطقي المؤمن عبر سلسلة الرمز الرمزي الفكر
- 【Xot】 كل شيء من الأفكار: تحدي قانون Penrose Triangle لتوليد الفكر
- 【IoT】 تكرار الفكر: الاستفادة من الحوار الداخلي للتفكير في نموذج اللغة الكبيرة المستقلة
- 【النقطة】 على مخطط الفكر
- 【ROT】 عكس الفكر: تعزيز نماذج اللغة الكبيرة مع الاحماء العكسي الموجهة إلى التفضيل.
- التفكير إلى الأمام والخلف: التخطيط الفعال للخلف مع نماذج لغة كبيرة
- 【kr】】 k level easure: إنشاء معتقدات أعلى من الترتيب في نماذج اللغة الكبيرة للتفكير الاستراتيجي
- 【الاكتشاف الذاتي】 الاكتشاف الذاتي: نماذج اللغة الكبيرة هياكل التفكير ذاتية
- 【نظرية العقل】 إلى أي مدى تقع النماذج اللغوية الكبيرة من المنحين مع نظرية العقل؟
- 【PC-subq】 استراتيجيات مطالبة بتمكين نماذج اللغة الكبيرة لاستنتاج السببية من الارتباط
- التفكير العكسي يجعل LLMs أسباب أقوى
- اتجاهات حل مشاكل سرير الأطفال غير التقليدية
- تحلل المطالبة بنهج معياري لحل المهام المعقدة
- المطالبة المتتالية لتحلل الأسئلة المعقدة
- COT [الرياضيات ، رمز ، جدولي ، ضمان الجدولة]
- حل مشاكل التفكير الكمي مع نماذج اللغة
- أظهر عملك: scratchpads للحساب الوسيط مع نماذج اللغة
- حل مشاكل كلمات الرياضيات مع التغذية المرتدة والنتائج
- CODERL: إتقان توليد الكود من خلال النماذج المسبقة وتعلم التعزيز العميق
- T-SCIQ: تدريس التفكير متعدد الوسائط الفكر عبر إشارات نموذج اللغة الكبيرة للإجابة على أسئلة العلوم
- التعلم تحريرات رمز تحسين الأداء
- سلسلة التعليمات البرمجية: التفكير مع محاكي رمز تنشيط نموذج اللغة
- تحليل المبدأ
- سلسلة من الفكر تمكن المحولات من حل المشاكل التسلسلية بطبيعتها
- نحو فهم سلسلة الفكرة: دراسة تجريبية لما يهم
- النص والأنماط: لسلسلة الفكر الفعالة ، يستغرق الأمر اثنين إلى التانغو
- نحو الكشف عن الغموض وراء سلسلة الفكر: منظور نظريًا
- يمكن أن يصرف نماذج اللغة الكبيرة بسهولة عن طريق السياق غير ذي صلة
- سلسلة من التفكير المفكر دون المطالبة
- استقرائي أم استنتاجي؟ إعادة التفكير في قدرات المنطق الأساسي لـ LLMS
- ما وراء سلسلة الأفكار: دراسة استقصائية عن نماذج سلسلة X لـ LLMS
- إلى سرير أم لا لتول؟ تساعد سلسلة الأفكار بشكل أساسي على الرياضيات والتفكير الرمزي
- لماذا تفكر خطوة بخطوة؟ المنطق يخرج من مكان التجربة
- الاتساق الداخلي والتراجع الذاتي في نماذج اللغة الكبيرة: مسح
- رأس التكرار: دراسة ميكانيكية لسلسلة الأفكار
- تأثير طول خطوة التفكير على نماذج اللغة الكبيرة
- هل تقوم نماذج اللغة الكبيرة بأداء التفكير المتعدد الكامنة دون استغلال اختصارات؟
- سلسلة فكية مضغوطة: التفكير الفعال من خلال تمثيلات كثيفة
- هل تفكر LLMS حقًا خطوة بخطوة في التفكير الضمني؟
- تقطير سرير نماذج صغيرة
- متخصصة نماذج لغة أصغر نحو التفكير متعدد الخطوات
- تعليم نماذج اللغة الصغيرة للعقل
- نماذج اللغة الكبيرة تعتبر المعلمين
- تقطير قدرات التفكير في نماذج لغة أصغر
- مجموعة COT: تحسين الصفر والتعلم القليلة من نماذج اللغة من خلال سلسلة من الفكرة الرقيقة
- نظام التقطير 2 في النظام 1
- البناء التلقائي/اختيار عينات سرير الأطفال
- Autocot: سلسلة من الفكر التلقائي الذي يدفع في نماذج اللغة الكبيرة
- المطالبة النشط مع سلسلة الأفكار لنماذج اللغة الكبيرة
- المطالبة القائمة على التعقيد للتفكير متعدد الخطوات
- التعلم قدرة سرير الأطفال
- نماذج اللغة الكبيرة يمكن أن تطرح ذاتيا
- سلسلة تدريب الفكرة عبر الاستدلال المتغير الكامن
- نجم هادئ: يمكن أن تعلمنا نماذج اللغة أن يفكروا قبل التحدث
- النجمة: عقلانية تعليم ذاتي المنطق مع التفكير
- V-Star: تحديات التدريب للمناطق التي يتم تعليمها على أنفسهم
- فكر قبل أن تتحدث: تدريب نماذج اللغة مع الرموز الموقوفة
- الحوارات الاصطناعية الموجه ذاتيا والمراجعات التقرير الفني
- آحرون
- Olagpt تمكين LLMs مع قدرات حل المشكلات التي تشبه الإنسان
- تحدي المهام الكبيرة على المدى الكبير وما إذا كانت سلسلة الفكرة يمكنها حلها
- نماذج اللغات الكبيرة هي أسباب أفضل مع التحسين الذاتي
- Neadupsource مركز مركزي لبيانات التفكير النموذجية الكبرى
- اثنين من الإخفاقات في الاتساق الذاتي في التفكير متعدد الخطوات من LLMS
RLHF
- DeepMind
- تدريس نماذج اللغة لدعم الإجابات مع اقتباسات تم التحقق منها
- عصفور ، تحسين محاذاة وكلاء الحوار عبر الأحكام البشرية الهدف
- أخذ عينات الرفض الإحصائي يحسن تحسين التفضيل
- التدريب الذاتي المعزز (REST) لنمذجة اللغة
- Slic-HF: معايرة احتمال التسلسل مع التعليقات البشرية
- معايرة احتمال التسلسل يحسن توليد اللغة الشرطية
- تصميم المكافآت مع نماذج اللغة
- الإجابة النهائية RL حل مشاكل الكلمات الرياضيات مع العملية والنتائج التعليقات القائمة على النتائج
- حل مشاكل كلمات الرياضيات مع ردود الفعل القائمة على العملية والنتائج
- ما وراء البيانات البشرية: توسيع نطاق التدريب الذاتي لحل المشكلات مع نماذج اللغة
- Bond: محاذاة LLMs مع أفضل التقطير من N
- RL على البيانات الاصطناعية غير الصحيحة تعمل
- التحقق من التحديدات: مكافأة النمذجة كتنبؤ القادم
- نماذج لغة التدريب على التصحيح الذاتي عبر التعلم التعزيز
- Openai
- PPO: خوارزميات تحسين السياسة القريبة
- تعلم التعزيز العميق للتفضيل البشري
- نماذج لغة صقلها من التفضيلات البشرية
- تعلم تلخيص من ردود الفعل البشرية
- instructGPT: تدريب نماذج اللغة لمتابعة التعليمات مع التعليقات البشرية
- تحجيم قوانين نموذج المكافأة على التحسين
- تعميم ضعيف إلى قوي: استنباط قدرات قوية مع ضعف الإشراف
- PRM: دعنا نتحقق خطوة بخطوة
- تحديات التدريب لحل مشاكل كلمات الرياضيات [الاعتماد المسبق لـ PRM]
- مدونة Openai Super Malignment
- يساعد نقاد LLM في التقاط LLM Bugs
- تعمل ألعاب verififier على تحسين وضوح مخرجات LLM
- المكافآت القائمة على القواعد لسلامة نموذج اللغة
- نماذج ذاتية للمساعدة لمساعدة المقيمين البشريين
- الإنسان
- مساعد لغة عامة كمختبر للمحاذاة
- قياس التقدم في الإشراف القابل للتطوير أو نماذج اللغة الكبيرة
- نماذج لغة الجمهور الأحمر لتقليل أساليب الأذى وسلوكيات التحجيم والدروس المستفادة
- تدريب مساعد مفيد وغير ضار مع التعلم التعزيز من ردود الفعل البشرية
- دستوري من الذكاء الاصطناعى من ردود الفعل من الذكاء الاصطناعى
- نماذج اللغة المسبقة مع تفضيلات الإنسان
- القدرة على التصحيح الذاتي الأخلاقي في نماذج اللغة الكبيرة
- العوامل النائمة: تدريب LLMs الخادعة التي تستمر من خلال Trainin السلامة
- Allenai ، RL4LM: هو التعلم التعزيز (ليس) لمعايير معالجة اللغة الطبيعية
- خطة التحسين
- RRHF: ترتيب الاستجابات لمحاذاة نماذج اللغة مع التعليقات البشرية بدون دموع
- سلسلة من بعد فوات الأوان تتوافق مع نماذج اللغة مع ردود الفعل
- ALPACAFARM: إطار محاكاة للطرق التي تتعلم من ردود الفعل البشرية
- الطوف: مكافأة تصنف Finetuning لمحاذاة نموذج الأساس التوليدي
- RLAIF: توسيع نطاق التعلم التعزيز من ردود الفعل البشرية مع ملاحظات الذكاء الاصطناعي
- تدريب نماذج اللغة المحاذاة اجتماعيا في المجتمع البشري المحاكاة
- المطر: يمكن أن تتوافق نماذج لغتك على أنفسهم دون أن تتساقط
- القاضي التوليدي لتقييم المحاذاة
- النظر من خلال التفضيلات: كشف الاستحواذ على التعليقات لمحاذاة نماذج اللغة الكبيرة
- سمك السلمون: التحالف الذاتي مع نماذج المكافآت متابعة مبدأ
- نموذج لغة كبير
- تحسين التفضيلات
- تفضيل ترتيب التحسين لمحاذاة الإنسان
- طريق طويل: التحقيق في الارتباطات الطول في RLHF
- تمكين نماذج اللغة من تعلم تحسين الذات ضمنيًا من البيانات
- تساعد مجموعات نموذج المكافأة في التخفيف
- تعلم ميزة مثالية من التفضيلات وخطأها للمكافأة
- الترافعة الفائقة: تعزيز نماذج اللغة مع ردود فعل عالية الجودة
- الحافز: الدافع الجوهري من ردود الفعل الذكاء الاصطناعي
- تثبيت RLHF من خلال نموذج ميزة وبروفة انتقائية
- Shepherd: ناقد لتوليد نموذج اللغة
- تعلم توليد أفضل من LLM الخاص بك
- تعطي ردود الفعل البشرية ذات الحبيبات الدقيقة مكافآت أفضل للتدريب على نموذج اللغة
- التحديد الذاتي للنماذج اللغوية التي تعتمد على المبدأ من الصفر مع الحد الأدنى من الإشراف البشري
- تحسين التفضيل المباشر: نموذج لغتك هو سرا نموذج مكافأة
- Hir the the Wisdom of Eaftsight تجعل نماذج اللغة أفضل تعليمات متابعين
- Aligner: تحقيق محاذاة فعالة من خلال تصحيح ضعيف إلى قوي
- نهج الحد الأدنى من العوامل التعليمية للتعلم من التعليقات البشرية
- الباندا: التكيف التفضيلي لتعزيز قدرة المجال لـ LLMS
- البحث ضعيف إلى قوي: محاذاة نماذج لغة كبيرة من خلال البحث على نماذج اللغة الصغيرة
- يعيّن الاستقراء الضعيف إلى القوي المحاذاة
- هل DPO متفوقة على PPO لمحاذاة LLM؟ دراسة شاملة
- تحسين التفضيل المباشر على مستوى الرمز
- سيمبو: تحسين التفضيل البسيط مع مكافأة خالية من المرجع
- Autodetect: نحو إطار موحد للكشف عن الضعف الآلي في نماذج اللغة الكبيرة
- نماذج لغة مكافأة التلوي
- HelpSteer: مجموعة بيانات المساعدة متعددة الجوزات لـ SteerLM
- الاستبطان العودية: تعليم عوامل نموذج اللغة كيفية التنصت الذاتي
- تعزيز قدرات التفكير المتعدد الخطوات لنماذج اللغة من خلال تحسين الوظيفة Q مباشرة
- DeepSeekmath: دفع حدود التفكير الرياضي في نماذج اللغة المفتوحة
- Glore: متى وأين وكيفية تحسين التفكير في LLM عبر التحسينات العالمية والمحلية
- Reft: التفكير مع الضبط الدقيق المعزز
- SCPO: تحسين تفضيلات الأداء الذاتي
- RL استكشاف
- فهم آثار RLHF على تعميم LLM والتنوع
- طريق طويل: التحقيق في الارتباطات الطول في RLHF
- التأثير المتدلي للمكافأة (في) الاتساق على RLHF
- المشاكل المفتوحة والقيود الأساسية للتعلم التعزيز من ردود الفعل البشرية
- ردود الفعل البشرية ليست معيار ذهبي
- النماذج اللغوية الكبيرة بعد التدريب على منهج البيانات
- نماذج اللغة تقاوم المحاذاة
Post Train (مع COT ، RL)
- تحجيم الاستنتاج
- تحليل تجريبي للاستدلال المثلي لحل المشكلات مع نماذج اللغة
- هل المزيد من مكالمات LM كل ما تحتاجه؟ نحو خصائص التحجيم لأنظمة الذكاء الاصطناعي المركبة
- قرود اللغة الكبيرة: حساب الاستدلال التحجيم مع أخذ العينات المتكررة
- يمكن أن يكون حساب وقت اختبار وقت الاختبار على النحو الأمثل أكثر فعالية من معلمات نموذج التحجيم
- س*: تحسين التفكير متعدد الخطوات لـ LLMS مع التخطيط التداولي
- التخطيط في اللغة الطبيعية يحسن البحث عن LLM عن توليد الكود
- REST-MCTS ∗: LLM تدريب ذاتي عن طريق البحث عن مكافأة الشجرة الموجهة
- يمكن لبحث الأشجار الذي يشبه ألفازيرو توجيه فك تشفير نموذج اللغة الكبيرة والتدريب
- أصغر ، أضعف ، ولكن أفضل: تدريب أسباب LLM عبر أخذ العينات المثلى
- الفعالية المدهشة للتدريب وقت الاختبار للتفكير التجريدي
- تحجيم الاستدلال لتوليد استرجاع طويل السياق
- نحو تحسين الذات لـ LLMS عبر الخيال والبحث والانتقاد
- بطيئة التفكير سرير
- رحلة النسخ المتماثل O1: تقرير مررز استراتيجي - الجزء 1
- Marco-O1: نحو نماذج التفكير المفتوح للحلول المفتوحة
- دراسة مقارنة حول أنماط التفكير في نموذج OP Openai
- تقليد ، استكشاف ، وذات الذات: تقرير استنساخ عن أنظمة التفكير البطيء التفكير
- Dualformer: التفكير السريع والبطيء في التعلم مع آثار التفكير العشوائي
- تدريب نماذج لغة كبيرة على السبب في مساحة كامنة مستمرة
- ما وراء A ∗: تخطيط أفضل مع المحولات عبر Bootstrapping Dynamics
- رفاهية O1: تكرار O1 للترميز
- تحجيم البحث والتعلم: خريطة طريق لإعادة إنتاج O1 من منظور التعلم التعزيز
- Sky-T1: قم بتدريب نموذج معاينة O1 الخاص بك ضمن 450 دولارًا
- تجاه المنطق 2 في LLMS: تعلم كيفية التفكير مع سلسلة الفوقية الفكر
تعليمات صرف ومواءمة (تعليمة_التعليم)
- الحل الكلاسيكي
- فلان: نماذج اللغة المحفورة بالحيوية هي متعلمين صفري
- Flan-T5: نماذج لغة التحجيم التعليمية المليئة بالتعليمات
- Ext5: نحو التحجيم المتطرف متعدد المهام للتعلم النقل
- الإرشاد GPT: نماذج لغة التدريب لمتابعة التعليمات مع التعليقات البشرية
- T0: تمكين المهام المتعددة المدعوين تمكين تعميم المهام صفر الرصاص
- التعليمات الطبيعية: التعميم عبر المهام عبر تعليمات التعهيد الجماعي اللغوي الطبيعي
- tk-instruct: super-naturalinstructions: التعميم عبر التعليمات التعريفية على 1600+ مهمة NLP
- Zeroprompt: تحجيم ما قبل التدريب المستند إلى 1000 مهمة يحسن تعميم الصفر
- تعليمات غير طبيعية: نماذج لغة ضبط مع (تقريبًا) لا عمل بشري
- instructeval نحو التقييم الشامل لنماذج اللغة الكبيرة التي تم ضبطها
- قانون تحجيم بيانات SFT
- ليما: أقل من ذلك بالنسبة للمحاذاة
- ربما تكون هناك حاجة فقط إلى 0.5 ٪ بيانات: استكشاف أولي لضبط تعليمات بيانات التدريب المنخفض
- Alpagasus: تدريب ألبكة أفضل مع بيانات أقل
- تعليمات GPT-4: نموذج 200-instruction لضبط المصغرة 4
- تعليمات التعليم: اختيار بيانات التعليمات عالي الجودة لنماذج اللغة الكبيرة
- ضبط التعليمات المرئية مع فلامنغو مهذبة
- استكشاف تأثير تحجيم بيانات التعليم على نماذج اللغة الكبيرة: دراسة تجريبية حول حالات استخدام العالم الحقيقي
- تحجيم العلاقة على تعلم التفكير الرياضي مع نماذج اللغة الكبيرة
- عندما يلتقي التحجيم ، يلتقي LLM Finetuning: تأثير البيانات والنموذج والطريقة المعدنية
- مخطط محاذاة/صقل جديد
- WizardLM: تمكين نماذج اللغة الكبيرة لمتابعة التعليمات المعقدة
- أن تصبح بنية ذاتية: تقديم معايير التوقف المبكر للحد الأدنى من ضبط الأدوات
- التحالف الذاتي مع تعليمات الخلفية
- يفي بخطوط الخبرة بضبط التعليمات: مزيج رابح لنماذج اللغة الكبيرة
- الماعز: يتفوق Llama المضبوط على GPT-4 على المهام الحسابية
- report2model: إنشاء نماذج قابلة للنشر من تعليمات اللغة الطبيعية
- الرأي: نمذجة تحيزات صريحة في تعليمات LLMS
- تحسين التفاوض على نموذج اللغة مع اللعب الذاتي والتعلم داخل السياق من منظمة العفو الدولية
- تعميم منهجي يشبه الإنسان من خلال شبكة عصبية للتعلم التلوي
- Magicoder: رمز المصدر هو كل ما تحتاجه
- ما وراء البيانات البشرية: توسيع نطاق التدريب الذاتي لحل المشكلات مع نماذج اللغة
- ضبط تعليمات التمثيل التوليدي
- inscl: نموذج تعليمي مستمر فعال البيانات لضبط نماذج اللغة الكبيرة مع التعليمات
- التسلسل الهرمي للتعليم: تدريب LLMS لتحديد أولويات التعليمات المميزة
- Magpie: توليف بيانات المحاذاة من نقطة الصفر عن طريق دفع محاذاة LLMs مع لا شيء
- توليد بيانات التعليمات
- APE: نماذج اللغة الكبيرة هي مهندسين موجهين على مستوى الإنسان
- تخصيص الذات: مواءمة نموذج اللغة مع تعليمات تم إنشاؤها ذاتيا
- IPrompt: شرح أنماط البيانات في اللغة الطبيعية عبر التحمل التلقائي القابل للتفسير
- التعلم المقلوب: خمن التعليم! التعلم المقلوب يجعل نماذج اللغة متعلمين أقوى صفرية
- توجيه عدد قليل من الطلقة القليلة التي تدفعها نماذج اللغة الكبيرة
- تحريض التعليمات: من أمثلة قليلة إلى أوصاف مهمة اللغة الطبيعية.
- المعرفة ذاتية غير خاضعة للإشراف محاذاة موجهة.
- GPT الإشراف الذاتي للحصول على مشروح لبيانات أفضل
- تصميمات مجموعة Flan وتصميم البيانات والأساليب
- النماذج التوليدية المستهلكة للذات تغضب
- Instructeval: تقييم منهجي لطرق اختيار التعليمات
- الكتابة فوق التحيز المسبق مع بيانات التحويل
- تحسين تضمينات النص مع نماذج لغة كبيرة
- Magpie: توليف بيانات المحاذاة من نقطة الصفر عن طريق دفع محاذاة LLMs مع لا شيء
- تحجيم إنشاء البيانات الاصطناعية مع 1،000،000،000 شخص
- إطلاق العنان قدرة التفكير على LLMs عبر تخليق أسئلة قابلة للتطوير من نقطة الصفر
- دراسة استقصائية حول تخليق البيانات وزيادة نماذج اللغة الكبيرة
- AgentInstruct: نحو التدريس التوليدي مع تدفقات الوكيل
- كشف النقاب عن العيوب: استكشاف العيوب في البيانات الاصطناعية واستراتيجيات التخفيف لنماذج اللغة الكبيرة
- كيفية تقليل فقدان القدرات العامة
- كيف تتأثر القدرة في نماذج اللغة الكبيرة من خلال تكوين بيانات صقل خاضع للإشراف
- صقل LLM على مرحلتين مع تخصص أقل والمزيد من التعميم
- تجربة صقل/تقرير تجريبي
- الحسناء: استكشاف تأثير تحجيم بيانات التعليم على نماذج اللغة الكبيرة: دراسة تجريبية حول حالات الاستخدام في العالم الحقيقي
- Baize: Baize: نموذج دردشة مفتوح المصدر مع ضبط فعال معلمة على بيانات CHAT الذاتية
- دراسة مقارنة بين المعلمة الكاملة والصقل الدقيق القائم على لورا على بيانات التعليمات الصينية لـ LM الكبيرة
- استكشاف قدرة chatgpt على ترتيب المحتوى: دراسة أولية حول الاتساق مع التفضيلات البشرية
- نحو أفضل تعليمات متابعة نماذج اللغة للصينيين: التحقيق في تأثير بيانات التدريب والتقييم
- LLMs للضبط الدقيق للمؤسسة: المبادئ التوجيهية والتوصيات العملية
- آحرون
- التعميم المتقاطع من خلال التعدد في المهام
- التعميم عبر المهام عبر تعليمات التعهيد الجماعي اللغوي الطبيعي
- UnifiedSKG: توحيد ومهام المعرفة منظم مع نماذج لغة من النص إلى نص نص
- ProdeSource: بيئة تنمية متكاملة ومستودع لمطالبات اللغة الطبيعية
- رولم: القياس ، والاستنباط ، وتعزيز قدرات لعب الأدوار لنماذج اللغة الكبيرة
LLM Agent دع أداة استخدام النموذج (LLM_AGENT)
- الوكيل AI: مسح آفاق التفاعل متعدد الوسائط
- دراسة استقصائية على العوامل المستقلة القائمة على نموذج اللغة
- وكلاء LLM الشخصية: رؤى ومسح حول القدرة والكفاءة والأمن
- الحل العام على أساس propt
- رد فعل: تآزر التفكير والتمثيل في نماذج اللغة
- الملعب الذاتي: قياس وتضييق فجوة التكوين في نماذج اللغة
- MRKL Systema المعيار ، العمارة العصبية العصبية التي تجمع بين نماذج اللغة الكبيرة ومصادر المعرفة الخارجية والتفكير المنفصل
- PAL: نماذج اللغة بمساعدة البرنامج
- الفن: التفكير التلقائي متعدد الخطوات واستخدام الأدوات لنماذج اللغة الكبيرة
- rewoo: فصل التفكير من الملاحظات لنماذج اللغة المعززة الفعالة
- الاسترجاع المتداخل مع سلسلة من الأفكار للأسئلة متعددة الخطوات كثيفة المعرفة
- Charmeleon: التفكير التكوين والتشغيل مع نماذج لغة كبيرة
- سلسلة من التفكير المؤمن
- الانعكاس: وكلاء اللغة مع تعلم التعزيز اللفظي
- التحقق والمحرر: إطار عمل يعزز المعرفة
- RETGPT: توصيل نماذج اللغة الكبيرة مع واجهات برمجة التطبيقات في العالم الحقيقي
- chatcot: سلسلة مفكر في سلسلة الأفكار على نماذج اللغة الكبيرة القائمة على الدردشة
- instructTods: نماذج لغوية كبيرة لأنظمة الحوار الموجهة نحو المهمة الشاملة
- TPTU: تخطيط المهام واستخدام الأدوات لوكلاء الذكاء الاصطناعى القائم على نموذج اللغة
- Controllm: زيادة نماذج اللغة مع الأدوات عن طريق البحث على الرسوم البيانية
- الانعكاس: عامل مستقل مع ذاكرة ديناميكية وانعكاس ذاتي
- الآليون: إطار لتوليد الوكيل التلقائي
- Gitagent: تسهيل العامل المستقل مع Github عن طريق تمديد الأداة
- PREACT: التنبؤ في المستقبل في React يعزز القدرة على تخطيط الوكيل
- TOLLLM: تسهيل نماذج لغة كبيرة لإتقان 16000+ واجهات برمجة التطبيقات في العالم الحقيقي-anytool: عكس عاكس ذاتي ، عوامل هرمية لمكالمات API واسعة النطاق
- AIOS: نظام تشغيل وكيل LLM
- برنامج التحويل البرمجي LLM وهو برنامج التحويل البرمجي LLM للاتصال بالوظيفة المتوازية
- إعادة التأهيل: إعادة كتابة دعوة للأدوات لاسترجاع أدوات الرصاص الصفري
- الحل العام على أساس التثبيت الدقيق
- تالم: نماذج اللغة المعززة للأداة
- Toolformer: يمكن أن تعلّم نماذج اللغة أنفسهم لاستخدام الأدوات
- أدوات التعلم مع نماذج الأساس
- صانع الأدوات: نماذج لغة كبيرة كصانع أدوات
- TaskMatrix.ai: المهام المكتملة من خلال توصيل نماذج الأساس بملايين واجهات برمجة التطبيقات
- AgentTuning: تمكين AIBSATION APORATION لـ LLMS
- Swiftsage: عامل توليدي ذو تفكير سريع وبطيء للمهام التفاعلية المعقدة
- التفاعل الناري: نحو صقل وكيل اللغة
- Pangu-Agent: عميل عام للضبط مع التفكير المنظم
- REST يلتقي React: تحسين الذات لعامل LLM المنطق متعدد الخطوات
- استخدام الأداة الفعالة مع تفكير سلسلة التجسيد
- الوكيل-فلان: تصميم البيانات وطرق ضبط الوكيل الفعال لنماذج اللغة الكبيرة
- Agentohana: تصميم بيانات موحدة وأنابيب تدريب لتعلم الوكيل الفعال
- الوكيل لوموس: التدريب الموحد والمعيار لوكلاء اللغة مفتوحة المصدر
- Toolgen: استرجاع الأدوات الموحدة والاتصال عبر الجيل
- استدعاء مخطط النموذج
- Hugginggpt: حل مهام الذكاء الاصطناعي مع ChatGpt وأصدقائها في Huggingface
- الغوريلا: نموذج لغة كبير مرتبط بأبواع واجهات برمجة التطبيقات الضخمة
- Openagi: عندما تلتقي LLM خبراء المجال
- الحقل الرأسي
- تحليل البيانات
- DS-Agent: علم البيانات الآلي من خلال تمكين نماذج اللغة الكبيرة مع التفكير القائم على الحالة
- Insightlens: اكتشاف واستكشاف رؤى من سياقات المحادثة في تحليل البيانات التي تعمل بالطاقة النموذجية الكبيرة
- تعمية البيانات: تجميد مليارات البيانات والبشر مع سير العمل المستقل
- عرض InsightPilot: نظام استكشاف البيانات الآلي ذات القدرة الآلية LLM
- TaskWeaver: إطار عمل الوكيل الأول للكود
- العلوم الاجتماعية الآلية: نماذج اللغة كعالم ومواضيع
- مترجم البيانات: وكيل LLM لعلوم البيانات
- تمويل
- Weaverbird: تمكين اتخاذ القرارات المالية مع نموذج اللغة الكبيرة وقاعدة المعرفة ومحرك البحث
- Fingpt: نماذج لغة مالية مفتوحة المصدر
- FINMEM: وكيل تداول LLM المحسّن بالأداء مع ذاكرة وتصميم أحرف الطبقات
- ألفافين: قياس التحليل المالي باستخدام إطار سلسلة الأسهم المحسنة للبحث
- وكيل مؤسسة متعددة الوسائط للتداول المالي: أدوات توجيهي ، متنوع ، وعمومي
- هل يمكن أن تغلب نماذج اللغة الكبيرة على وول ستريت؟ كشف النقاب عن إمكانات الذكاء الاصطناعي في اختيار الأسهم
- تعزيز اكتشاف الشذوذ في الأسواق المالية مع إطار عمل متعدد الوكلاء يعتمد على LLM
- TRADINGGPT: نظام متعدد الوكلاء مع ذاكرة الطبقات والأحرف المتميزة لتحسين أداء التداول المالي
- FINROBOT: منصة وكيل AI مفتوحة المصدر للتطبيقات المالية باستخدام نماذج لغة كبيرة
- LLMFactor: استخراج العوامل المربحة من خلال مطالبات للتنبؤ بحركة الأسهم القابلة للتفسير
- Alpha-GPT: تعدين Alpha Interactive Human-AI للاستثمار الكمي
- التقدم الكشف عن الشذوذ: البيانات المالية غير الدلالية التي تشفر مع LLMS
- Tradexpert: إحداث ثورة في التداول مع مزيج من LLMs الخبراء
- Finvision: إطار عمل متعدد الوكلاء للتنبؤ بسوق الأسهم
- منظمة العفو الدولية في تحليل الاستثمار: LLMS لتصنيف أسهم الأسهم
- AAPM: نماذج أسعار الأصول القائمة على نموذج اللغة اللغوية
- الطب الحيوي
- Genegpt: زيادة نماذج اللغة الكبيرة مع أدوات المجال لتحسين الوصول إلى المعلومات الطبية الحيوية
- Chemcrow زيادة نماذج اللغة الكبيرة مع أدوات الكيمياء
- توليد تفسيرات في إجابة الأسئلة الطبية عن طريق التوقع تعظيم الاستدلال على الأدلة
- مستشفى الوكيل: محاكاة من المستشفى مع عوامل طبية يمكن تطورها
- دمج معرفة الكيمياء في نماذج اللغة الكبيرة عبر الهندسة الفوري
- وكيل الويب/الهاتف المحمول
- autowebglm: bootstrap وتعزيز وكيل التنقل على الويب القائم على نموذج اللغة
- موقع ويب حقيقي مع التخطيط ، وفهم السياق الطويل ، وتوليف البرنامج
- MIND2WEB: نحو وكيل عمومي على الويب
- MINIWOB ++ تعلم التعزيز على واجهات الويب باستخدام استكشاف موجه سير العمل
- Webarena: بيئة واقعية واقعية تمنح عوامل مستقلة
- autocrawler: وكيل ويب فهم تدريجي لتوليد زاحف الويب
- WebLinx: التنقل في العالم الحقيقي مع حوار متعدد المنعطفات
- WebVoyager: بناء وكيل ويب من طرف إلى طرف مع نماذج كبيرة متعددة الوسائط
- Cogagent: نموذج لغة مرئية لوكلاء واجهة المستخدم الرسومية
- Amplob-Agent-V2: مساعد تشغيل الأجهزة المحمولة مع التنقل الفعال عبر تعاون متعدد الوكلاء
- WebCanvas: وضع علامات على وكلاء الويب في البيئات عبر الإنترنت
- فجر عميل واجهة المستخدم الرسومية: دراسة حالة أولية مع استخدام الكمبيوتر 3.5 Claud
- مهندس البرمجيات
- وكلاء في هندسة البرمجيات: المسح والمناظر الطبيعية والرؤية
- Chatdev: وكلاء التواصل لتطوير البرمجيات
- آخر
- مختبر الوكيل: استخدام وكلاء LLM كمساعدين للبحث
- Researchagent: توليد فكرة البحث التكراري عبر الأدبيات العلمية مع نماذج اللغة الكبيرة
- Webshop: نحو تفاعل ويب في العالم الحقيقي مع وكلاء اللغة الأساس
- Toolkengpt: زيادة نماذج اللغة المجمدة مع أدوات ضخمة عبر تضمينات الأداة
- Pointllm: تمكين نماذج اللغة الكبيرة لفهم السحب النقطية
- سؤال قانوني قابل للتفسير طويل الإجابة على نماذج لغة كبيرة من أجل الاسترجاع
- Carexpert: الاستفادة من النماذج اللغوية الكبيرة للإجابة على أسئلة المحادثة داخل السيارة
- الاختلاف: أتمتة الاكتشاف العلمي من خلال تفكير الرسم البياني ذكي متعدد الوكلاء
- يقيم
- Evaluating Verifiability in Generative Search Engines
- Auto-GPT for Online Decision Making: Benchmarks and Additional Opinions
- API-Bank: A Benchmark for Tool-Augmented LLMs
- ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs
- Automatic Evaluation of Attribution by Large Language Models
- Benchmarking Large Language Models in Retrieval-Augmented Generation
- ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems
- Agent-as-a-Judge: Evaluate Agents with Agents
- MultiAgent
- GENERATIVE AGENTS
- LET MODELS SPEAK CIPHERS: MULTIAGENT DEBATE THROUGH EMBEDDINGS
- War and Peace (WarAgent): Large Language Model-based Multi-Agent Simulation of World Wars
- Small LLMs Are Weak Tool Learners: A Multi-LLM Agent
- Merge, Ensemble, and Cooperate! A Survey on Collaborative Strategies in the Era of Large Language Models
- Generative Agents: Interactive Simulacra of Human Behavior
- AgentVerse: Facilitating Multi-Agent Collaboration and Exploring Emergent Behaviors in Agents
- System-1.x: Learning to Balance Fast and Slow Planning with Language Models
- Agents Thinking Fast and Slow:A Talker-Reasoner Architecture
- Generative Agent Simulations of 1,000 People
- Advanced Reasoning and Learning for Autonomous AI Agents
- 多智能体系统
- Internet of Agents: Weaving a Web of Heterogeneous Agents for Collaborative Intelligence
- MULTI-AGENT COLLABORATION: HARNESSING THE POWER OF INTELLIGENT LLM AGENTS
- Magentic-One: A Generalist Multi-Agent System for Solving Complex Tasks
- 任务型智能体协作
- METAAGENTS: SIMULATING INTERACTIONS OF HUMAN BEHAVIORS FOR LLM-BASED TASK-ORIENTED COORDINATION VIA COLLABORATIVE
- CAMEL: Communicative Agents for "Mind" Exploration of Large Scale Language Model Society
- Exploring Large Language Models for Communication Games: An Empirical Study on Werewolf
- Communicative Agents for Software Development
- MedAgents: Large Language Models as Collaborators for Zero-shot Medical Reasoning
- METAGPT: META PROGRAMMING FOR A MULTI-AGENT COLLABORATIVE FRAMEWORK
- 智能体路由
- One Agent To Rule Them All: Towards Multi-agent Conversational AI
- A Multi-Agent Conversational Recommender System
- 基座模型路由&Ensemble
- Large Language Model Routing with Benchmark Datasets
- LLM-BL ENDER: Ensembling Large Language Models with Pairwise Ranking and Generative Fusion
- RouteLLM: Learning to Route LLMs with Preference Data
- More Agents Is All You Need
- Routing to the Expert: Efficient Reward-guided Ensemble of Large Language Models
- 自主学习和探索进化
- AppAgent: Multimodal Agents as Smartphone Users
- Investigate-Consolidate-Exploit: A General Strategy for Inter-Task Agent Self-Evolution
- LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error
- Empowering Large Language Model Agents through Action Learning
- Trial and Error: Exploration-Based Trajectory Optimization for LLM Agents
- OS-COPILOT: TOWARDS GENERALIST COMPUTER AGENTS WITH SELF-IMPROVEMENT
- LLAMA RIDER: SPURRING LARGE LANGUAGE MODELS TO EXPLORE THE OPEN WORLD
- PAST AS A GUIDE: LEVERAGING RETROSPECTIVE LEARNING FOR PYTHON CODE COMPLETION
- AutoGuide: Automated Generation and Selection of State-Aware Guidelines for Large Language Model Agents
- A Survey on Self-Evolution of Large Language Models
- ExpeL: LLM Agents Are Experiential Learners
- ReAct Meets ActRe: When Language Agents Enjoy Training Data Autonomy
- PROACTIVE AGENT: SHIFTING LLM AGENTS FROM REACTIVE RESPONSES TO ACTIVE ASSISTANCE
- From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning
- آخر
- LLM+P: Empowering Large Language Models with Optimal Planning Proficiency
- Inference with Reference: Lossless Acceleration of Large Language Models
- RecallM: An Architecture for Temporal Context Understanding and Question Answering
- LLaMA Rider: Spurring Large Language Models to Explore the Open World
- LLMs Can't Plan, But Can Help Planning in LLM-Modulo Frameworks
خرقة
- 经典论文
- WebGPT：Browser-assisted question-answering with human feedback
- WebGLM: Towards An Efficient Web-Enhanced Question Answering System with Human Preferences
- WebCPM: Interactive Web Search for Chinese Long-form Question Answering
- REPLUG: Retrieval-Augmented Black-Box Language Models
- RETA-LLM: A Retrieval-Augmented Large Language Model Toolkit
- Atlas: Few-shot Learning with Retrieval Augmented Language Models
- RRAML: Reinforced Retrieval Augmented Machine Learning
- FRESHLLMS: REFRESHING LARGE LANGUAGE MODELS WITH SEARCH ENGINE AUGMENTATION
- 微调
- RLCF：Aligning the Capabilities of Large Language Models with the Context of Information Retrieval via Contrastive Feedback
- RA-DIT: RETRIEVAL-AUGMENTED DUAL INSTRUCTION TUNING
- CHAIN-OF-NOTE: ENHANCING ROBUSTNESS IN RETRIEVAL-AUGMENTED LANGUAGE MODELS
- RAFT: Adapting Language Model to Domain Specific RAG
- Rich Knowledge Sources Bring Complex Knowledge Conflicts: Recalibrating Models to Reflect Conflicting Evidence
- 其他论文
- Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation
- PDFTriage: Question Answering over Long, Structured Documents
- Walking Down the Memory Maze: Beyond Context Limit through Interactive Reading
- Active Retrieval Augmented Generation
- kNN-LM Does Not Improve Open-ended Text Generation
- Can Retriever-Augmented Language Models Reason? The Blame Game Between the Retriever and the Language Model
- DORIS-MAE: Scientific Document Retrieval using Multi-level Aspect-based Queries
- Factuality Enhanced Language Models for Open-Ended Text Generation
- KwaiAgents: Generalized Information-seeking Agent System with Large Language Models
- Complex Claim Verification with Evidence Retrieved in the Wild
- Retrieval-Augmented Generation for Large Language Models: A Survey
- ChatQA: Building GPT-4 Level Conversational QA Models
- RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture
- Benchmarking Large Language Models in Retrieval-Augmented Generation
- T-RAG: Lessons from the LLM Trenches
- ARAGOG: Advanced RAG Output Grading
- ActiveRAG: Revealing the Treasures of Knowledge via Active Learning
- OpenResearcher: Unleashing AI for Accelerated Scientific Research
- Contextual.ai-RAG2.0
- Mindful-RAG: A Study of Points of Failure in Retrieval Augmented Generation
- Memory3 : Language Modeling with Explicit Memory
- 优化检索
- IAG: Induction-Augmented Generation Framework for Answering Reasoning Questions
- HyDE：Precise Zero-Shot Dense Retrieval without Relevance Labels
- PROMPTAGATOR : FEW-SHOT DENSE RETRIEVAL FROM 8 EXAMPLES
- Query Rewriting for Retrieval-Augmented Large Language Models
- Query2doc: Query Expansion with Large Language Models
- Query Expansion by Prompting Large Language Models
- Anthropic Contextual Retrieval
- Multi-Level Querying using A Knowledge Pyramid
- A Survey of Query Optimization in Large Language Models
- تصنيف
- A Setwise Approach for Effective and Highly Efficient Zero-shot Ranking with Large Language Models
- RankVicuna: Zero-Shot Listwise Document Reranking with Open-Source Large Language Models
- Improving Passage Retrieval with Zero-Shot Question Generation
- Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting
- RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs
- Ranking Manipulation for Conversational Search Engines
- Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents
- Opensource Large Language Models are Strong Zero-shot Query Likelihood Models for Document Ranking
- T2Ranking: A large-scale Chinese Benchmark for Passage Ranking
- Learning to Filter Context for Retrieval-Augmented Generation
- 传统搜索方案
- ASK THE RIGHT QUESTIONS:ACTIVE QUESTION REFORMULATION WITH REINFORCEMENT LEARNING
- Query Expansion Techniques for Information Retrieval a Survey
- Learning to Rewrite Queries
- Managing Diversity in Airbnb Search
- 新向量模型用于Recall和Ranking
- Augmented Embeddings for Custom Retrievals
- BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation
- 网易为RAG设计的BCE Embedding技术报告
- BGE Landmark Embedding: A Chunking-Free Embedding Method For Retrieval Augmented Long-Context Large Language Models
- D2LLM: Decomposed and Distilled Large Language Models for Semantic Search
- Piccolo2: General Text Embedding with Multi-task Hybrid Loss Training
- 优化推理结果
- Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting
- 动态RAG（When to Search & Search Plan）
- SELF-RAG: LEARNING TO RETRIEVE, GENERATE, AND CRITIQUE THROUGH SELF-REFLECTION
- Self-Knowledge Guided Retrieval Augmentation for Large Language Models
- Self-DC: When to retrieve and When to generate Self Divide-and-Conquer for Compositional Unknown Questions
- Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs
- Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity
- REAPER: Reasoning based Retrieval Planning for Complex RAG Systems
- When to Retrieve: Teaching LLMs to Utilize Information Retrieval Effectively
- PlanRAG: A Plan-then-Retrieval Augmented Generation for Generative Large Language Models as Decision Makers
- ONEGEN: EFFICIENT ONE-PASS UNIFIED GENERATION AND RETRIEVAL FOR LLMS
- Probing-RAG: Self-Probing to Guide Language Models in Selective Document Retrieval
- Graph RAG
- GRAPH Retrieval-Augmented Generation: A Survey
- From Local to Global: A Graph RAG Approach to Query-Focused Summarization
- GRAG: Graph Retrieval-Augmented Generation
- GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning
- THINK-ON-GRAPH: DEEP AND RESPONSIBLE REASONING OF LARGE LANGUAGE MODEL ON KNOWLEDGE GRAPH
- LightRAG: Simple and Fast Retrieval-Augmented Generation
- THINK-ON-GRAPH: DEEP AND RESPONSIBLE REASON- ING OF LARGE LANGUAGE MODEL ON KNOWLEDGE GRAPH
- StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization
- Multistep RAG
- SYNERGISTIC INTERPLAY BETWEEN SEARCH AND LARGE LANGUAGE MODELS FOR INFORMATION RETRIEVAL
- Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions
- Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy
- RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation
- IM-RAG: Multi-Round Retrieval-Augmented Generation Through Learning Inner Monologues
- Demonstrate-Search-Predict: Composing retrieval and language models for knowledge-intensive NLP
- Search-in-the-Chain: Towards Accurate, Credible and Traceable Large Language Models for Knowledge-intensive Tasks
- MindSearch 思·索: Mimicking Human Minds Elicits Deep AI Searcher
- RQ-RAG: LEARNING TO REFINE QUERIES FOR RETRIEVAL AUGMENTED GENERATION
- AutoPRM: Automating Procedural Supervision for Multi-Step Reasoning via Controllable Question Decomposition
- Timeline RAG
- Unfolding the Headline: Iterative Self-Questioning for News Retrieval and Timeline Summarization
Other Prompt Engineer(prompt_engineer)
- Calibrate Before Use: Improving Few-Shot Performance of Language Models
- In-Context Instruction Learning
- LEARNING PERFORMANCE-IMPROVING CODE EDITS
- Boosting Theory-of-Mind Performance in Large Language Models via Prompting
- Generated Knowledge Prompting for Commonsense Reasoning
- RECITATION-AUGMENTED LANGUAGE MODELS
- kNN PROMPTING: BEYOND-CONTEXT LEARNING WITH CALIBRATION-FREE NEAREST NEIGHBOR INFERENCE
- EmotionPrompt: Leveraging Psychology for Large Language Models Enhancement via Emotional Stimulus
- Causality-aware Concept Extraction based on Knowledge-guided Prompting
- LARGE LANGUAGE MODELS AS OPTIMIZERS
- Prompts As Programs: A Structure-Aware Approach to Efficient Compile-Time Prompt Optimization
- Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V
- RePrompt: Automatic Prompt Editing to Refine AI-Generative Art Towards Precise Expressions
- MedPrompt: Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine
- DSPy Assertions: Computational Constraints for Self-Refining Language Model Pipelines
- Prompts as Auto-Optimized Training Hyperparameters: Training Best-in-Class IR Models from Scratch with 10 Gold Labels
- In-Context Learning for Extreme Multi-Label Classification
- Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs
- DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines
- CONNECTING LARGE LANGUAGE MODELS WITH EVOLUTIONARY ALGORITHMS YIELDS POWERFUL PROMP OPTIMIZERS
- TextGrad: Automatic "Differentiation" via Text
- Task Facet Learning: A Structured Approach to Prompt Optimization
- LangGPT: Rethinking Structured Reusable Prompt Design Framework for LLMs from the Programming Language
- PAS: Data-Efficient Plug-and-Play Prompt Augmentation System
- Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models
- From Pen to Prompt: How Creative Writers Integrate AI into their Writing Practice
- Does Prompt Formatting Have Any Impact on LLM Performance?
- AUTO-DEMO PROMPTING: LEVERAGING GENERATED OUTPUTS AS DEMONSTRATIONS FOR ENHANCED BATCH PROMPTING
- PROMPTBREEDER: SELF-REFERENTIAL SELF-IMPROVEMENT VIA PROMPT EVOLUTION
大模型图表理解和生成
- استطلاع
- Table Meets LLM: Can Large Language Models Understand Structured Table Data? A Benchmark and Empirical Study
- Large Language Models(LLMs) on Tabular Data: Prediction, Generation, and Understanding - A Survey
- Exploring the Numerical Reasoning Capabilities of Language Models: A Comprehensive Analysis on Tabular Data
- اِسْتَدْعَى
- Large Language Models are Versatile Decomposers: Decompose Evidence and Questions for Table-based Reasoning
- Tab-CoT: Zero-shot Tabular Chain of Thought
- Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding
- fintuning
- TableLlama: Towards Open Large Generalist Models for Tables
- TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios
- multimodal
- MMC: Advancing Multimodal Chart Understanding with Large-scale Instruction Tuning
- ChartLlama: A Multimodal LLM for Chart Understanding and Generation
- ChartAssisstant: A Universal Chart Multimodal Language Model via Chart-to-Table Pre-training and Multitask Instruction Tuning
- ChartInstruct: Instruction Tuning for Chart Comprehension and Reasoning
- ChartX & ChartVLM: A Versatile Benchmark and Foundation Model for Complicated Chart Reasoning
- MATCHA : Enhancing Visual Language Pretraining with Math Reasoning and Chart Derendering
- UniChart: A Universal Vision-language Pretrained Model for Chart Comprehension and Reasoning
- TinyChart: Efficient Chart Understanding with Visual Token Merging and Program-of-Thoughts Learning
- Tables as Texts or Images: Evaluating the Table Reasoning Ability of LLMs and MLLMs
- TableVQA-Bench: A Visual Question Answering Benchmark on Multiple Table Domains
- TabPedia: Towards Comprehensive Visual Table Understanding with Concept Synergy
LLM+KG
- ملخص
- Unifying Large Language Models and Knowledge Graphs: A Roadmap
- Large Language Models and Knowledge Graphs: Opportunities and Challenges
- 知识图谱与大模型融合实践研究报告2023
- KG用于大模型推理
- Using Large Language Models for Zero-Shot Natural Language Generation from Knowledge Graphs
- MindMap: Knowledge Graph Prompting Sparks Graph of Thoughts in Large Language Models
- Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge Graph Question Answering
- Domain Specific Question Answering Over Knowledge Graphs Using Logical Programming and Large Language Models
- BRING YOUR OWN KG: Self-Supervised Program Synthesis for Zero-Shot KGQA
- StructGPT: A General Framework for Large Language Model to Reason over Structured Data
- 大模型用于KG构建
- Enhancing Knowledge Graph Construction Using Large Language Models
- LLM-assisted Knowledge Graph Engineering: Experiments with ChatGPT
- ITERATIVE ZERO-SHOT LLM PROMPTING FOR KNOWLEDGE GRAPH CONSTRUCTION
- Exploring Large Language Models for Knowledge Graph Completion
Humanoid Agents
- HABITAT 3.0: A CO-HABITAT FOR HUMANS, AVATARS AND ROBOTS
- Humanoid Agents: Platform for Simulating Human-like Generative Agents
- Voyager: An Open-Ended Embodied Agent with Large Language Models
- Shaping the future of advanced robotics
- AUTORT: EMBODIED FOUNDATION MODELS FOR LARGE SCALE ORCHESTRATION OF ROBOTIC AGENTS
- ROBOTIC TASK GENERALIZATION VIA HINDSIGHT TRAJECTORY SKETCHES
- ALFWORLD: ALIGNING TEXT AND EMBODIED ENVIRONMENTS FOR INTERACTIVE LEARNING
- MINEDOJO: Building Open-Ended Embodied Agents with Internet-Scale Knowledge
- LEGENT: Open Platform for Embodied Agents
pretrain_data & pretrain
- DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining
- The Pile: An 800GB Dataset of Diverse Text for Language Modeling
- CCNet: Extracting High Quality Monolingual Datasets fromWeb Crawl Data
- WanJuan: A Comprehensive Multimodal Dataset for Advancing English and Chinese Large Models
- CLUECorpus2020: A Large-scale Chinese Corpus for Pre-training Language Model
- In-Context Pretraining: Language Modeling Beyond Document Boundaries
- Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance
- Zyda: A 1.3T Dataset for Open Language Modeling
- Entropy Law: The Story Behind Data Compression and LLM Performance
- Data, Data Everywhere: A Guide for Pretraining Dataset Construction
- Data curation via joint example selection further accelerates multimodal learning
- IMPROVING PRETRAINING DATA USING PERPLEXITY CORRELATIONS
- AI models collapse when trained on recursively generated data
领域模型SFT(domain_llms)
- تمويل
- BloombergGPT： A Large Language Model for Finance
- FinVis-GPT: A Multimodal Large Language Model for Financial Chart Analysis
- CFGPT: Chinese Financial Assistant with Large Language Model
- CFBenchmark: Chinese Financial Assistant Benchmark for Large Language Model
- InvestLM: A Large Language Model for Investment using Financial Domain Instruction Tuning
- BBT-Fin: Comprehensive Construction of Chinese Financial Domain Pre-trained Language Model, Corpus and Benchmark
- PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance
- The FinBen: An Holistic Financial Benchmark for Large Language Models
- XuanYuan 2.0: A Large Chinese Financial Chat Model with Hundreds of Billions Parameters
- Towards Trustworthy Large Language Models in Industry Domains
- When AI Meets Finance (StockAgent): Large Language Model-based Stock Trading in Simulated Real-world Environments
- A Survey of Large Language Models for Financial Applications: Progress, Prospects and Challenges
- 生物医疗
- MedGPT: Medical Concept Prediction from Clinical Narratives
- BioGPT：Generative Pre-trained Transformer for Biomedical Text Generation and Mining
- PubMed GPT: A Domain-specific large language model for biomedical text
- ChatDoctor：Medical Chat Model Fine-tuned on LLaMA Model using Medical Domain Knowledge
- Med-PaLM：Large Language Models Encode Clinical Knowledge[V1,V2]
- SMILE: Single-turn to Multi-turn Inclusive Language Expansion via ChatGPT for Mental Health Support
- Zhongjing: Enhancing the Chinese Medical Capabilities of Large Language Model through Expert Feedback and Real-world Multi-turn Dialogue
- آخر
- Galactia：A Large Language Model for Science
- Augmented Large Language Models with Parametric Knowledge Guiding
- ChatLaw Open-Source Legal Large Language Model
- MediaGPT : A Large Language Model For Chinese Media
- KITLM: Domain-Specific Knowledge InTegration into Language Models for Question Answering
- EcomGPT: Instruction-tuning Large Language Models with Chain-of-Task Tasks for E-commerce
- TableGPT: Towards Unifying Tables, Nature Language and Commands into One GPT
- LLEMMA: AN OPEN LANGUAGE MODEL FOR MATHEMATICS
- MEDITAB: SCALING MEDICAL TABULAR DATA PREDICTORS VIA DATA CONSOLIDATION, ENRICHMENT, AND REFINEMENT
- PLLaMa: An Open-source Large Language Model for Plant Science
- ADAPTING LARGE LANGUAGE MODELS VIA READING COMPREHENSION
LLM超长文本处理(long_input)
- 位置编码、注意力机制优化
- Unlimiformer: Long-Range Transformers with Unlimited Length Input
- Parallel Context Windows for Large Language Models
- 苏剑林, NBCE：使用朴素贝叶斯扩展LLM的Context处理长度
- Structured Prompting: Scaling In-Context Learning to 1,000 Examples
- Vcc: Scaling Transformers to 128K Tokens or More by Prioritizing Important Tokens
- Scaling Transformer to 1M tokens and beyond with RMT
- TRAIN SHORT, TEST LONG: ATTENTION WITH LINEAR BIASES ENABLES INPUT LENGTH EXTRAPOLATION
- Extending Context Window of Large Language Models via Positional Interpolation
- LongNet: Scaling Transformers to 1,000,000,000 Tokens
- https://kaiokendev.github.io/til#extending-context-to-8k
- 苏剑林,Transformer升级之路：10、RoPE是一种β进制编码
- 苏剑林,Transformer升级之路：11、将β进制位置进行到底
- 苏剑林,Transformer升级之路：12、无限外推的ReRoPE？
- 苏剑林,Transformer升级之路：15、Key归一化助力长度外推
- EFFICIENT STREAMING LANGUAGE MODELS WITH ATTENTION SINKS
- Ring Attention with Blockwise Transformers for Near-Infinite Context
- YaRN: Efficient Context Window Extension of Large Language Models
- LM-INFINITE: SIMPLE ON-THE-FLY LENGTH GENERALIZATION FOR LARGE LANGUAGE MODELS
- EFFICIENT STREAMING LANGUAGE MODELS WITH ATTENTION SINKS
- 上文压缩排序方案
- Lost in the Middle: How Language Models Use Long Contexts
- LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models
- LongLLMLingua: Accelerating and Enhancing LLMs in Long Context Scenarios via Prompt Compression
- Learning to Compress Prompts with Gist Tokens
- Unlocking Context Constraints of LLMs: Enhancing Context Efficiency of LLMs with Self-Information-Based Content Filtering
- LongAgent: Scaling Language Models to 128k Context through Multi-Agent Collaboration
- PCToolkit: A Unified Plug-and-Play Prompt Compression Toolkit of Large Language Models
- Are Long-LLMs A Necessity For Long-Context Tasks?
- 训练和模型架构方案
- Never Train from Scratch: FAIR COMPARISON OF LONGSEQUENCE MODELS REQUIRES DATA-DRIVEN PRIORS
- Soaring from 4K to 400K: Extending LLM's Context with Activation Beacon
- Never Lost in the Middle: Improving Large Language Models via Attention Strengthening Question Answering
- Focused Transformer: Contrastive Training for Context Scaling
- Effective Long-Context Scaling of Foundation Models
- ON THE LONG RANGE ABILITIES OF TRANSFORMERS
- Efficient Long-Range Transformers: You Need to Attend More, but Not Necessarily at Every Layer
- POSE: EFFICIENT CONTEXT WINDOW EXTENSION OF LLMS VIA POSITIONAL SKIP-WISE TRAINING
- LONGLORA: EFFICIENT FINE-TUNING OF LONGCONTEXT LARGE LANGUAGE MODELS
- LongAlign: A Recipe for Long Context Alignment of Large Language Models
- Data Engineering for Scaling Language Models to 128K Context
- MEGALODON: Efficient LLM Pretraining and Inference with Unlimited Context Length
- Make Your LLM Fully Utilize the Context
- Untie the Knots: An Efficient Data Augmentation Strategy for Long-Context Pre-Training in Language Models
- 效率优化
- Efficient Attention: Attention with Linear Complexities
- Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention
- HyperAttention: Long-context Attention in Near-Linear Time
- FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
- With Greater Text Comes Greater Necessity: Inference-Time Training Helps Long Text Generation
LLM长文本生成（long_output）
- Re3 : Generating Longer Stories With Recursive Reprompting and Revision
- RECURRENTGPT: Interactive Generation of (Arbitrarily) Long Text
- DOC: Improving Long Story Coherence With Detailed Outline Control
- Weaver: Foundation Models for Creative Writing
- Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models
- Into the Unknown Unknowns: Engaged Human Learning through Participation in Language Model Agent Conversations
NL2SQL
- 大模型方案
- DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with Self-Correction
- C3: Zero-shot Text-to-SQL with ChatGPT
- SQL-PALM: IMPROVED LARGE LANGUAGE MODEL ADAPTATION FOR TEXT-TO-SQL
- BIRD Can LLM Already Serve as A Database Interface? A BIg Bench for Large-Scale Database Grounded Text-to-SQL
- A Case-Based Reasoning Framework for Adaptive Prompting in Cross-Domain Text-to-SQL
- ChatDB: AUGMENTING LLMS WITH DATABASES AS THEIR SYMBOLIC MEMORY
- A comprehensive evaluation of ChatGPT's zero-shot Text-to-SQL capability
- Few-shot Text-to-SQL Translation using Structure and Content Prompt Learning
- Tool-Assisted Agent on SQL Inspection and Refinement in Real-World Scenarios
- Domain Knowledge Intensive
- Towards Knowledge-Intensive Text-to-SQL Semantic Parsing with Formulaic Knowledge
- Bridging the Generalization Gap in Text-to-SQL Parsing with Schema Expansion
- Towards Robustness of Text-to-SQL Models against Synonym Substitution
- FinQA: A Dataset of Numerical Reasoning over Financial Data
- آحرون
- RESDSQL: Decoupling Schema Linking and Skeleton Parsing for Text-to-SQL
- MIGA: A Unified Multi-task Generation Framework for Conversational Text-to-SQL
主流LLMS和预训练
- GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL
- PaLM: Scaling Language Modeling with Pathways
- PaLM 2 Technical Report
- GPT-4 Technical Report
- Backpack Language Models
- LLaMA: Open and Efficient Foundation Language Models
- Llama 2: Open Foundation and Fine-Tuned Chat Models
- Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning
- OpenBA: An Open-sourced 15B Bilingual Asymmetric seq2seq Model Pre-trained from Scratch
- Mistral 7B
- Ziya2: Data-centric Learning is All LLMs Need
- MEGABLOCKS: EFFICIENT SPARSE TRAINING WITH MIXTURE-OF-EXPERTS
- TUTEL: ADAPTIVE MIXTURE-OF-EXPERTS AT SCALE
- Phi1- Textbooks Are All You Need
- Phi1.5- Textbooks Are All You Need II: phi-1.5 technical report
- Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone
- Gemini: A Family of Highly Capable Multimodal Models
- In-Context Pretraining: Language Modeling Beyond Document Boundaries
- LLAMA PRO: Progressive LLaMA with Block Expansion
- QWEN TECHNICAL REPORT
- Fewer Truncations Improve Language Modeling
- ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools
- Phi-4 Technical Report
- Byte Latent Transformer: Patches Scale Better Than Tokens
- Qwen2.5 Technical Report
- DeepSeek-V3 Technical Report
- Mixtral of Experts
Code Generation
- Code Generation with AlphaCodium: From Prompt Engineering to Flow Engineering
- Codeforces as an Educational Platform for Learning Programming in Digitalization
- Competition-Level Code Generation with AlphaCode
- CODECHAIN: TOWARDS MODULAR CODE GENERATION THROUGH CHAIN OF SELF-REVISIONS WITH REPRESENTATIVE SUB-MODULES
- AI Coders Are Among Us: Rethinking Programming Language Grammar Towards Efficient Code Generation
降低模型幻觉(reliability)
- استطلاع
- Large language models and the perils of their hallucinations
- Survey of Hallucination in Natural Language Generation
- Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models
- A Survey of Hallucination in Large Foundation Models
- A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions
- Calibrated Language Models Must Hallucinate
- Why Does ChatGPT Fall Short in Providing Truthful Answers?
- Prompt or Tunning
- R-Tuning: Teaching Large Language Models to Refuse Unknown Questions
- PROMPTING GPT-3 TO BE RELIABLE
- ASK ME ANYTHING: A SIMPLE STRATEGY FOR PROMPTING LANGUAGE MODELS
- On the Advance of Making Language Models Better Reasoners
- RefGPT: Reference → Truthful & Customized Dialogues Generation by GPTs and for GPTs
- Rethinking with Retrieval: Faithful Large Language Model Inference
- GENERATE RATHER THAN RETRIEVE: LARGE LANGUAGE MODELS ARE STRONG CONTEXT GENERATORS
- Large Language Models Struggle to Learn Long-Tail Knowledge
- Decoding Strategy
- Trusting Your Evidence: Hallucinate Less with Context-aware Decoding
- SELF-REFINE:ITERATIVE REFINEMENT WITH SELF-FEEDBACK
- Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference
- Inference-Time Intervention: Eliciting Truthful Answers from a Language Model
- Enabling Large Language Models to Generate Text with Citations
- Factuality Enhanced Language Models for Open-Ended Text Generation
- KL-Divergence Guided Temperature Sampling
- KCTS: Knowledge-Constrained Tree Search Decoding with Token-Level Hallucination Detection
- CONTRASTIVE DECODING IMPROVES REASONING IN LARGE LANGUAGE MODEL
- Contrastive Decoding: Open-ended Text Generation as Optimization
- Probing and Detection
- Automatic Evaluation of Attribution by Large Language Models
- QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization
- Zero-Resource Hallucination Prevention for Large Language Models
- LLM Lies: Hallucinations are not Bugs, but Features as Adversarial Examples
- Language Models (Mostly) Know What They Know
- LM vs LM: Detecting Factual Errors via Cross Examination
- Do Language Models Know When They're Hallucinating References?
- SELFCHECKGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models
- SELF-CONTRADICTORY HALLUCINATIONS OF LLMS: EVALUATION, DETECTION AND MITIGATION
- Self-consistency for open-ended generations
- Improving Factuality and Reasoning in Language Models through Multiagent Debate
- Selective-LAMA: Selective Prediction for Confidence-Aware Evaluation of Language Models
- Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs
- Reviewing and Calibration
- Truth-o-meter: Collaborating with llm in fighting its hallucinations
- RARR: Researching and Revising What Language Models Say, Using Language Models
- CRITIC: LARGE LANGUAGE MODELS CAN SELFCORRECT WITH TOOL-INTERACTIVE CRITIQUING
- VALIDATING LARGE LANGUAGE MODELS WITH RELM
- PURR: Efficiently Editing Language Model Hallucinations by Denoising Language Model Corruptions
- Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback
- Adaptive Chameleon or Stubborn Sloth: Unraveling the Behavior of Large Language Models in Knowledge Clashes
- Woodpecker: Hallucination Correction for Multimodal Large Language Models
- Zero-shot Faithful Factual Error Correction
- LARGE LANGUAGE MODELS CANNOT SELF-CORRECT REASONING YET
- Training Language Models to Self-Correct via Reinforcement Learning
大模型评估（evaluation）
- 事实性评估
- TRUSTWORTHY LLMS: A SURVEY AND GUIDELINE FOR EVALUATING LARGE LANGUAGE MODELS' ALIGNMENT
- TrueTeacher: Learning Factual Consistency Evaluation with Large Language Models
- TRUE: Re-evaluating Factual Consistency Evaluation
- FACTSCORE: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation
- KoLA: Carefully Benchmarking World Knowledge of Large Language Models
- When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories
- FACTOOL: Factuality Detection in Generative AI A Tool Augmented Framework for Multi-Task and Multi-Domain Scenarios
- LONG-FORM FACTUALITY IN LARGE LANGUAGE MODELS
- 检测任务
- Detecting Pretraining Data from Large Language Models
- Scalable Extraction of Training Data from (Production) Language Models
- Rethinking Benchmark and Contamination for Language Models with Rephrased Samples
推理优化(inference)
- Fast Transformer Decoding: One Write-Head is All You Need
- Fast Inference from Transformers via Speculative Decoding
- GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
- Skeleton-of-Thought: Large Language Models Can Do Parallel Decoding
- SkipDecode: Autoregressive Skip Decoding with Batching and Caching for Efficient LLM Inference
- BatchPrompt: Accomplish more with less
- You Only Cache Once: Decoder-Decoder Architectures for Language Models
- XGrammar: Flexible and Efficient Structured Generation Engine for Large Language Models
- Precise Length Control in Large Language Models
- Top-nσ: Not All Logits Are You Need
- Prompt Cache: Modular Attention Reuse for Low-Latency Inference
模型知识编辑黑科技(model_edit)
- ROME：Locating and Editing Factual Associations in GPT
- Transformer Feed-Forward Layers Are Key-Value Memories
- MEMIT: Mass-Editing Memory in a Transformer
- MEND：Fast Model Editing at Scale
- Editing Large Language Models: Problems, Methods, and Opportunities
- Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch
- Automata-based constraints for language model decoding
- SGLang: Efficient Execution of Structured Language Model Programs
模型合并和剪枝(model_merge)
- Blending Is All You Need: Cheaper, Better Alternative to Trillion-Parameters LLM
- DARE Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch
- EDITING MODELS WITH TASK ARITHMETIC
- TIES-Merging: Resolving Interference When Merging Models
- LM-Cocktail: Resilient Tuning of Language Models via Model Merging
- SLICEGPT: COMPRESS LARGE LANGUAGE MODELS BY DELETING ROWS AND COLUMNS
- Checkpoint Merging via Bayesian Optimization in LLM Pretrainin
- Arcee's MergeKit: A Toolkit for Merging Large Language Models
MOE
- Tricks for Training Sparse Translation Models
- ST-MoE: Designing Stable and Transferable Sparse Expert Models
- Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
- GLaM: Efficient Scaling of Language Models with Mixture-of-Experts
- GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding
- OUTRAGEOUSLY LARGE NEURAL NETWORKS: THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER
- DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale
- Dense-to-Sparse Gate for Mixture-of-Experts
- Efficient Large Scale Language Modeling with Mixtures of Experts
Multimodal
- InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning
- Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models
- LLava Visual Instruction Tuning
- MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models
- BLIVA: A Simple Multimodal LLM for Better Handling of Text-Rich Visual Questions
- mPLUG-Owl : Modularization Empowers Large Language Models with Multimodality
- LVLM eHub: A Comprehensive Evaluation Benchmark for Large VisionLanguage Models
- Mirasol3B: A Multimodal Autoregressive model for time-aligned and contextual modalities
- PaLM-E: An Embodied Multimodal Language Model
- TabLLM: Few-shot Classification of Tabular Data with Large Language Models
- AnyGPT: Unified Multimodal LLM with Discrete Sequence Modeling
- Sora tech report
- Towards General Computer Control: A Multimodal Agent for Red Dead Redemption II as a Case Study
- المعرفة التعريفي
- Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models
- Large OCR Model:An Empirical Study of Scaling Law for OCR
- ON THE HIDDEN MYSTERY OF OCR IN LARGE MULTIMODAL MODELS
- PreFLMR: Scaling Up Fine-Grained Late-Interaction Multi-modal Retrievers
- Many-Shot In-Context Learning in Multimodal Foundation Models
- Adding Conditional Control to Text-to-Image Diffusion Models
- Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs
- ShowUI: One Vision-Language-Action Model for GUI Visual Agent
ملخص
- A Survey of Large Language Models
- Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing
- Paradigm Shift in Natural Language Processing
- Pre-Trained Models: Past, Present and Future
- What Language Model Architecture and Pretraining objects work best for zero shot generalization
- Towards Reasoning in Large Language Models: A Survey
- Reasoning with Language Model Prompting: A Survey
- An Overview on Language Models: Recent Developments and Outlook
- A Survey of Large Language Models[6.29更新版]
- Unifying Large Language Models and Knowledge Graphs: A Roadmap
- Augmented Language Models: a Survey
- Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey
- Challenges and Applications of Large Language Models
- The Rise and Potential of Large Language Model Based Agents: A Survey
- Large Language Models for Information Retrieval: A Survey
- AI Alignment: A Comprehensive Survey
- Trends in Integration of Knowledge and Large Language Models: A Survey and Taxonomy of Methods, Benchmarks, and Applications
- Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook
- A Survey on Language Models for Code
- Model-as-a-Service (MaaS): A Survey
大模型能力探究
- In Context Learning
- LARGER LANGUAGE MODELS DO IN-CONTEXT LEARNING DIFFERENTLY
- How does in-context learning work? A framework for understanding the differences from traditional supervised learning
- Why can GPT learn in-context? Language Model Secretly Perform Gradient Descent as Meta-Optimizers
- Rethinking the Role of Demonstrations What Makes incontext learning work?
- Trained Transformers Learn Linear Models In-Context
- In-Context Learning Creates Task Vectors
- FUNCTION VECTORS IN LARGE LANGUAGE MODELS
- 涌现能力
- Sparks of Artificial General Intelligence: Early experiments with GPT-4
- Emerging Ability of Large Language Models
- LANGUAGE MODELS REPRESENT SPACE AND TIME
- Are Emergent Abilities of Large Language Models a Mirage?
- 能力评估
- IS CHATGPT A GENERAL-PURPOSE NATURAL LANGUAGE PROCESSING TASK SOLVER?
- Can Large Language Models Infer Causation from Correlation?
- Holistic Evaluation of Language Model
- Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond
- Theory of Mind May Have Spontaneously Emerged in Large Language Models
- Beyond The Imitation Game: Quantifying And Extrapolating The Capabilities Of Language Models
- Do Models Explain Themselves? Counterfactual Simulatability of Natural Language Explanations
- Demystifying GPT Self-Repair for Code Generation
- Evidence of Meaning in Language Models Trained on Programs
- Can Explanations Be Useful for Calibrating Black Box Models
- On the Robustness of ChatGPT: An Adversarial and Out-of-distribution Perspective
- Language acquisition: do children and language models follow similar learning stages?
- Language is primarily a tool for communication rather than thought
- 领域能力
- Capabilities of GPT-4 on Medical Challenge Problems
- Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine
- Understanding LLM Embeddings for Regression
Prompt Tunning范式
- Tunning Free Prompt
- GPT2: Language Models are Unsupervised Multitask Learners
- GPT3: Language Models are Few-Shot Learners
- LAMA: Language Models as Knowledge Bases?
- AutoPrompt: Eliciting Knowledge from Language Models
- Fix-Prompt LM Tunning
- T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
- PET-TC(a): Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
- PET-TC(b): PETSGLUE It's Not Just Size That Matters Small Language Models are also few-shot learners
- GenPET: Few-Shot Text Generation with Natural Language Instructions
- LM-BFF: Making Pre-trained Language Models Better Few-shot Learners
- ADEPT: Improving and Simplifying Pattern Exploiting Training
- Fix-LM Prompt Tunning
- Prefix-tuning: Optimizing continuous prompts for generation
- Prompt-tunning: The power of scale for parameter-efficient prompt tuning
- P-tunning: GPT Understands Too
- WARP: Word-level Adversarial ReProgramming
- LM + Prompt Tunning
- P-tunning v2: Prompt Tuning Can Be Comparable to Fine-tunning Universally Across Scales and Tasks
- PTR: Prompt Tuning with Rules for Text Classification
- PADA: Example-based Prompt Learning for on-the-fly Adaptation to Unseen Domains
- Fix-LM Adapter Tunning
- LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
- LST: Ladder Side-Tuning for Parameter and Memory Efficient Transfer Learning
- Parameter-Efficient Transfer Learning for NLP
- INTRINSIC DIMENSIONALITY EXPLAINS THE EFFECTIVENESS OF LANGUAGE MODEL FINE-TUNING
- DoRA: Weight-Decomposed Low-Rank Adaptation
- Representation Tuning
- ReFT: Representation Finetuning for Language Models
Timeseries LLM
- TimeGPT-1
- Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook
- TIME-LLM: TIME SERIES FORECASTING BY REPROGRAMMING LARGE LANGUAGE MODELS
- Large Language Models Are Zero-Shot Time Series Forecasters
- TEMPO: PROMPT-BASED GENERATIVE PRE-TRAINED TRANSFORMER FOR TIME SERIES FORECASTING
- Generative Pre-Training of Time-Series Data for Unsupervised Fault Detection in Semiconductor Manufacturing
- Lag-Llama: Towards Foundation Models for Time Series Forecasting
- PromptCast: A New Prompt-based Learning Paradigm for Time Series Forecasting
Quanization
- AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
- LLM-QAT: Data-Free Quantization Aware Training for Large Language Models
- LLM.int8() 8-bit Matrix Multiplication for Transformers at Scale
- SmoothQuant Accurate and Efficient Post-Training Quantization for Large Language Models
Adversarial Attacking
- Curiosity-driven Red-teaming for Large Language Models
- Red Teaming Language Models with Language Models
- EXPLORE, ESTABLISH, EXPLOIT: RED-TEAMING LANGUAGE MODELS FROM SCRATCH
对话模型
- LaMDA: Language Models for Dialog Applications
- Sparrow: Improving alignment of dialogue agents via targeted human judgements
- BlenderBot 3: a deployed conversational agent that continually learns to responsibly engage
- How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation
- DialogStudio: Towards Richest and Most Diverse Unified Dataset Collection for Conversational AI
- Enhancing Chat Language Models by Scaling High-quality Instructional Conversations
- DiagGPT: An LLM-based Chatbot with Automatic Topic Management for Task-Oriented Dialogue
آحرون
- Pretraining on the Test Set Is All You Need 哈哈作者你是懂讽刺文学的
- Learnware: Small Models Do Big
- The economic potential of generative AI
- A PhD Student's Perspective on Research in NLP in the Era of Very Large Language Models
