LLaMA Paper List

Llama-Paper-List

مجموعة من الأوراق باستخدام Llama كنموذج العمود الفقري.

المساهمين

جدول المحتويات

• ورقة لاما الأصلية
• النظرية ذات الصلة مع لاما
• لاما مع كفاءة المعلمة
• Llama لضبطها في مهام المصب
• LLAMA جنبا إلى جنب مع متعدد الوسائط
• لاما مع استرجاع
• لاما باستخدام التعلم التعزيز
• التحليل الكمي للااما
• دفع لاما

أوراق

ورقة لاما الأصلية

• لاما: نماذج لغة الأساس المفتوحة والفعالة. Arxiv 2023. ورقة. شفرة
  Hugo Touvron ، Thibaut Lavril ، Gautier Izacard ، Xavier Martinet ، Marie-Anne Lachaux ، Timothée Lacroix ، Baptiste Rozière ، Naman Geyal ، Eric Hambro ، Faisal Azhar ، Aurelien Rodriguez ، Armand Joulin ، Edouard Gravel.
• Llama 2: Open Foundation ونماذج الدردشة التي تم ضبطها. META AI 2023. ورقة. شفرة
  Hugo Touvron ، Louis Martin ، Kevin Stone et al.
• قطيع لاما 3 من النماذج. Arxiv 2024. ورقة. شفرة
  Abhimanyu Dubey ، Abhinav Jauhri ، Abhinav Pandey et al.

النظرية ذات الصلة مع لاما

• نماذج اللغة الكبيرة هي خبراء السلاسل الزمنية صفرية. Neups 2023. ورقة. شفرة
  نيت جروفير ، مارك فينزي ، شيكاي تشيو ، أندرو جوردون ويلسون
• تدريب النماذج اللغوية الحساسية. Neups 2022. ورقة.
  الأردن هوفمان ، سيباستيان بورجيود ، آرثر مينش ، إيلينا بوخاتسكايا ، تريفور كاي ، إليزا راذرفورد ، دييغو دي لاساس ، ليزا آن هيندريكس ، جوهانس ويلبل ، إيدان كلارك ، توم هينيغان ، إريك نولاند ، كاتي ميليكان ، جورج فان دايس. أوريليا جاي ، سيمون أوسيندرو ، كارين سيمونيان ، إريك إلسن ، جاك دبليو راي ، أوريول فينالس ، لوران سيفري
• الجذر يعني تطبيع الطبقة المربعة. Neupips 2019. ورقة. شفرة
  بياو تشانغ ، ريكو سينريتش
• متغيرات GLU تحسين المحول. Arxiv 2020. ورقة. شفرة
  نام شازير
• roformer: محول محسن مع التضمين الموضع الدوار. Arxiv 2021. ورقة. شفرة
  Jianlin Su ، Yu Lu ، Shengfeng Pan ، أحمد مورتادها ، بو ون ، يونفينج ليو
• تنظيم انحلال الوزن المنفصل. ICLR 2019. ورقة. شفرة
  إيليا لوششيلوف ، فرانك هوتير
• لا يحتاج الاهتمام الذاتي $ o (n^2) $ ذاكرة. Arxiv 2021. ورقة. شفرة
  ماركوس ن. رابي وتشارلز ستاتس
• Flashattention: اهتمام سريع وفعال الذاكرة مع الوعي IO. Arxiv 2022. ورقة. شفرة
  Tri Dao ، Daniel Y. Fu ، Stefano Ermon ، Atri Rudra ، Christopher Ré
• تقليل إعادة صياغة التنشيط في نماذج المحولات الكبيرة. Arxiv 2022. ورقة.
  فيجاي كورثيكانتي ، جاريد كاسبر ، سانغكوج ليم ، لورانس مكافي ، مايكل أندرش ، محمد شويبي ، برايان كاتانزارو

لاما مع كفاءة المعلمة

• Llama-Adapter: صقل فعال لنماذج اللغة مع اهتمام صفر. Arxiv 2023. ورقة. شفرة
  Zhang ، Renrui و Han ، Jiaming and Zhou ، Aojun و Hu ، Xiangfei و Yan ، Shilin and Lu ، Pan and Li ، Hongsheng and Gao ، Peng and Qiao ، Yu
• LLAMA-ADAPTER V2: نموذج تعليمات بصرية فعال المعلمة. Arxiv 2023. ورقة. شفرة
  Peng Gao ، Jiaming Han ، Renrui Zhang ، Ziyi Lin ، Shijie Geng ، Aojun Zhou ، Wei Zhang ، Pan Lu ، Conghui He ، Xiangyu Yue ، Hongsheng Li ، Yu Qiao
• LLM-ADAPTERS: عائلة محول لضبط نماذج اللغة الكبيرة الموفرة للمعلمة. Arxiv 2023. ورقة.
  Zhiqiang Hu ، Yihuai Lan ، Lei Wang ، Wanyu Xu ، Ee-Peng Lim ، Roy Ka-Wei Lee ، Lidong Bing ، Xing Xu ، Soujanya Poria
• نهج التقليم البسيط والفعال لنماذج اللغة الكبيرة. Arxiv 2023. ورقة. شفرة
  Mingjie Sun ، Zhuang Liu ، Anna Bair ، J. Zico Kolter
• LLM-Pruner: على التقليم الهيكلي لنماذج اللغة الكبيرة. Arxiv 2023. ورقة. شفرة
  Xinyin MA ، Gongfan Fang ، Xinchao Wang

Llama لضبطها في مهام المصب

• الرسم البياني للأفكار: حل المشكلات التفصيلية مع نماذج اللغة الكبيرة. AAAI 2024. ورقة. شفرة.
  Maciej Besta ، Nils Blach ، ales Kubicek et al.
• إلى أي مدى يمكن أن تذهب الجمال؟ استكشاف حالة تعليمات توليف الموارد المفتوحة. Neups 2023. ورقة. شفرة
  Yizhong Wang ، Hamish Ivison ، Pradeep Dasigi et al.
• التحديد الذاتي الذي يحركه المبدأ لنماذج اللغة من نقطة الصفر مع الحد الأدنى من الإشراف على الإنسان. Neups 2023. ورقة. شفرة
  Zhiqing Sun ، Yikang Shen ، Qinhong Zhou et al.
• ChatDoctor: نموذج الدردشة الطبية تم ضبطه بشكل جيد على نموذج اللغة Meta-Ai (Llama) باستخدام المعرفة بالمجال الطبي. Arxiv 2023. ورقة.
  Yunxiang Li ، Zihan Li ، Kai Zhang ، Ruilong Dan ، Steve Jiang ، you Zhang
• نص فعال وفعال ترميز لاما الصينية والألبكة. Arxiv 2023. ورقة. شفرة
  Yiming Cui ، Ziqing Yang ، شين ياو
• PMC-llama: مزيد من التحويلات لاما على الأوراق الطبية. Arxiv 2023. ورقة.
  Chaoyi Wu ، Xiaoman Zhang ، Ya Zhang ، Yanfeng Wang ، Weidi Xie
• د. لاما: تحسين نماذج اللغة الصغيرة على PubMedQA عبر زيادة البيانات التوليدية. Arxiv 2023. ورقة.
  Zhen Guo ، Peiqi Wang ، Yanwei Wang ، Shangdi Yu
• الماعز: يتفوق Llama المضبوط على GPT-4 على المهام الحسابية. Arxiv 2023. ورقة.
  Tiedong Liu ، Bryan Kian Hsiang Low
• WizardLM: تمكين نماذج اللغة الكبيرة لمتابعة التعليمات المعقدة. Arxiv 2023. ورقة. شفرة
  Can Xu ، Qingfeng Sun ، Kai Zheng ، Xiubo Geng ، Pu Zhao ، Jiazhan Feng ، Chongyang Tao ، Daxin Jiang
• تعزيز نماذج لغة الدردشة عن طريق توسيع نطاق المحادثات التعليمية عالية الجودة. Arxiv 2023. ورقة. شفرة
  Ning Ding ، Yulin Chen ، Bokai Xu ، Yujia Qin ، Zhi Zheng ، Shengding Hu ، Zhiyuan Liu ، Maosong Sun ، Bowen Zhou
• Longform: تحسين ضبط التعليمات لتوليد النص الطويل مع استخراج الجسم. Arxiv 2023. ورقة. شفرة
  عبد الله كوكسال ، تيمو شيك ، آنا كورهونين ، هينريش شوتز
• محاكاة مستخدم التعلم داخل السياق لأنظمة الحوار الموجهة نحو المهمة. Arxiv 2023. ورقة. شفرة
  Silvia Terragni ، Modestas Filipavicius ، Nghia Khau ، Bruna Guedes ، André Manso ، Roland Mathis
• NetGPT: بنية شبكة Native-AA AI تتجاوز تقديم الخدمات التوليدية الشخصية. Arxiv 2023. ورقة. شفرة
  Yuxuan Chen ، Rongpeng Li ، Zhifeng Zhao ، Chenghui Peng ، Jianjun Wu ، Ekram Hossain ، Honggang Zhang
• على الهندسة المعمارية لدلاك فقط من أجل تكامل النموذج الكلام إلى النص واللغة الكبيرة. Arxiv 2023. ورقة. شفرة
  Jian Wu ، Yashesh Gaur ، Zhuo Chen ، Long Zhou ، Yimeng Zhu ، Tianrui Wang ، Jinyu Li ، Shujie Liu ، Bo Ren ، Linquan Liu ، Yu Wu

LLAMA جنبا إلى جنب مع متعدد الوسائط

• MMMU: معايير الفهم متعدد الوسائط الضخمة متعددة الوسائط ومعيار التفكير للخبراء AGI. CVPR 2024. ورقة. شفرة
  Xiang Yue ، Yuansheng NI ، Kai Zhang et al.

لاما مع استرجاع

• Polyglot أم لا؟ قياس استرجاع المعرفة الموسمية متعددة اللغات من نماذج لغة الأساس. Arxiv 2023. ورقة. شفرة
  تيم شوت ، دانييل فورمان ، شريشتا بهات
• REWOO: تفوق التفكير من الملاحظات على ورقة نماذج اللغة المعززة الفعالة . شفرة
  Binfeng Xu ، Zhiyuan Peng ، Bowen Lei ، Subhabrata Mukherjee ، Yuchen Liu ، Dongkuan Xu
• الاهتمام التاريخي: طول السياق اللانهائي للوصول العشوائي للمحولات. Arxiv 2023. ورقة. شفرة
  أميركييفان موهتاشامي ، مارتن جاجي

لاما باستخدام التعلم التعزيز

• ليما: أقل هو أكثر للمحاذاة. Arxiv 2023. ورقة. شفرة
  Chunting Zhou ، Pengfei Liu ، Puxin Xu ، Srini Iyer ، Jiao Sun ، Yuning Mao ، Xuezhe Ma ، Avia Efrat ، Ping Yu ، Lili Yu ، Susan Zhang ، Gargi Ghosh ، Mike Lewis ، Luke Zettlemy ، Omer Levy
• RRHF: ترتيب الاستجابات لمحاذاة نماذج اللغة مع التعليقات البشرية دون دموع. ورق. شفرة
  Zheng Yuan ، Hongyi Yuan ، Chuanqi Tan ، Wei Wang ، Songfang Huang ، Fei Huang

التحليل الكمي للااما

• SPQR: تمثيل متناثر مسبق لضغط وزن LLM شبه الخسارة. Arxiv 2023. ورقة. شفرة
  تيم ديتميرز ، روسلان سفيركشيفسكي ، فاج إيجيازاريان ، دينيس كوزنديليف ، إلياس فرانتار ، صالح آشكوبوس ، ألكساندر بورزونوف ، تورستن هيفلر ، دان أليستاره
• Squeezellm: الكمية الكثيفة والقرعة. Arxiv 2023. ورقة. شفرة
  Sehoon Kim ، Coleman Hooper ، Amir Gholami ، Zhen Dong ، Xiuyu Li ، Sheng Shen ، Michael W. Mahoney ، Kurt Keutzer

دفع لاما

• دفع نماذج لغة كبيرة للتكيف مع المجال الصفر في التعرف على الكلام. . Arxiv 2023. ورقة.
  Yuang Li ، Yu Wu ، Jinyu Li ، Shujie Liu

كيفية المساهمة

المساهمات مرحب بها! يرجى الرجوع إلى المساهمة. md للحصول على إرشادات المساهمة.