LLaMA Paper List

ใบพัด

คอลเลกชันของเอกสารที่ใช้ Llama เป็นโมเดลกระดูกสันหลัง

ผู้มีส่วนร่วม

สารบัญ

• กระดาษลามาดั้งเดิม
• ทฤษฎีที่เกี่ยวข้องกับ Llama
• Llama ที่มีประสิทธิภาพพารามิเตอร์
• ปรับแต่ง Llama ในงานดาวน์สตรีม
• Llama รวมกับ multi-modal
• Llama พร้อมการดึง
• Llama โดยใช้การเรียนรู้การเสริมแรง
• การวิเคราะห์เชิงปริมาณของ Llama
• กระตุ้น Llama

เอกสาร

กระดาษลามาดั้งเดิม

• LLAMA: โมเดลภาษาที่เปิดกว้างและมีประสิทธิภาพ Arxiv 2023. กระดาษ รหัส
  Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez
• Llama 2: Foundation Open และรุ่นแชทที่ปรับแต่งได้ Meta AI 2023. กระดาษ รหัส
  Hugo Touvron, Louis Martin, Kevin Stone และคณะ
• Llama 3 Herd of Models Arxiv 2024. กระดาษ รหัส
  Abhimanyu Dubey, Abhinav Jauhri, Abhinav Pandey และคณะ

ทฤษฎีที่เกี่ยวข้องกับ Llama

• แบบจำลองภาษาขนาดใหญ่เป็นนักพยากรณ์อนุกรมเวลาแบบไม่มีการยิง Neurips 2023. กระดาษ รหัส
  Nate Gruver, Marc Finzi, Shikai Qiu, Andrew Gordon Wilson
• การฝึกอบรมแบบจำลองภาษาขนาดใหญ่ที่ดีที่สุด Neurips 2022. กระดาษ
  Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan Aurelia Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae, Oriol Vinyals, Laurent Sifre
• การทำให้เป็นมาตรฐานของชั้นสี่เหลี่ยมจัตุรัส Neurips 2019. กระดาษ รหัส
  Biao Zhang, Rico Sennrich
• ตัวแปร Glu ปรับปรุงหม้อแปลง Arxiv 2020. กระดาษ รหัส
  Noam Shazeer
• Roformer: หม้อแปลงที่ปรับปรุงด้วยการฝังตำแหน่งโรตารี่ Arxiv 2021. กระดาษ รหัส
  Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen, Yunfeng Liu
• ลดน้ำหนักการสลายตัวของน้ำหนัก ICLR 2019. กระดาษ รหัส
  Ilya Loshchilov, Frank Hutter
• ความสนใจในตนเองไม่จำเป็นต้องมี $ o (n^2) $ หน่วยความจำ. Arxiv 2021. กระดาษ รหัส
  Markus N. Rabe และ Charles Staats
• Flashattention: ความสนใจที่รวดเร็วและมีประสิทธิภาพอย่างรวดเร็วด้วยการรับรู้ของ IO Arxiv 2022. กระดาษ รหัส
  Tri Dao, Daniel Y. Fu, Stefano Ermon, Atri Rudra, Christopher Ré
• ลดการเปิดใช้งานการเปิดใช้งานในแบบจำลองหม้อแปลงขนาดใหญ่ Arxiv 2022. กระดาษ
  Vijay Korthikanti, Jared Casper, Sangkug Lym, Lawrence McAfee, Michael Andersch, Mohammad Shoeybi, Bryan Catanzaro

Llama ที่มีประสิทธิภาพพารามิเตอร์

• LLAMA-ADAPTER: การปรับแต่งแบบจำลองภาษาอย่างมีประสิทธิภาพด้วยความสนใจเป็นศูนย์ Arxiv 2023. กระดาษ รหัส
  Zhang, Renrui และ Han, Jiaming และ Zhou, Aojun และ Hu, Xiangfei และ Yan, Shilin และ Lu, Pan และ Li, Hongsheng และ Gao, Peng และ Qiao, Yu
• LLAMA-ADAPTER V2: รูปแบบคำสั่งการมองเห็นที่มีประสิทธิภาพพารามิเตอร์ Arxiv 2023. กระดาษ รหัส
  Peng Gao, Jiaming Han, Renrui Zhang, Ziyi Lin, Shijie Geng, Aojun Zhou, Wei Zhang, Pan Lu, Conghui HE, Xiangyu Yue, Hongsheng Li, Yu Qiao
• LLM-Adapters: ตระกูลอะแดปเตอร์สำหรับการปรับแต่งพารามิเตอร์แบบปรับแต่งแบบจำลองภาษาขนาดใหญ่ Arxiv 2023. กระดาษ
  Zhiqiang Hu, Yihuai Lan, Lei Wang, Wanyu Xu, Ee-Peng Lim, Roy Ka-Wei Lee, Lidong Bing, Xing Xu, Soujanya Poria
• วิธีการตัดแต่งกิ่งที่เรียบง่ายและมีประสิทธิภาพสำหรับแบบจำลองภาษาขนาดใหญ่ Arxiv 2023. กระดาษ รหัส
  Mingjie Sun, Zhuang Liu, Anna Bair, J. Zico Kolter
• LLM-Pruner: ในการตัดแต่งโครงสร้างของแบบจำลองภาษาขนาดใหญ่ Arxiv 2023. กระดาษ รหัส
  Xinyin Ma, Gongfan Fang, Xinchao Wang

ปรับแต่ง Llama ในงานดาวน์สตรีม

• กราฟแห่งความคิด: การแก้ปัญหาอย่างละเอียดเกี่ยวกับแบบจำลองภาษาขนาดใหญ่ Aaai 2024. กระดาษ รหัส.
  Maciej Besta, Nils Blach, Ales Kubicek และคณะ
• อูฐจะไปได้ไกลแค่ไหน? สำรวจสถานะของการปรับแต่งการเรียนการสอนบนทรัพยากรที่เปิดอยู่ Neurips 2023. กระดาษ รหัส
  Yizhong Wang, Hamish Ivison, Pradeep Dasigi และคณะ
• การจัดตำแหน่งตนเองของแบบจำลองภาษาที่ขับเคลื่อนด้วยหลักการตั้งแต่เริ่มต้นด้วยการกำกับดูแลของมนุษย์น้อยที่สุด Neurips 2023. กระดาษ รหัส
  Zhiqing Sun, Yikang Shen, Qinhong Zhou และคณะ
• Chatdoctor: รูปแบบการแชททางการแพทย์ปรับแต่งในรูปแบบภาษาขนาดใหญ่ Meta-AI (Llama) โดยใช้ความรู้ด้านการแพทย์ Arxiv 2023. กระดาษ
  Yunxiang Li, Zihan Li, Kai Zhang, Ruilong Dan, Steve Jiang, You Zhang
• การเข้ารหัสข้อความที่มีประสิทธิภาพและมีประสิทธิภาพสำหรับ Llama และ Alpaca จีน Arxiv 2023. กระดาษ รหัส
  Yiming Cui, Ziqing Yang, Xin Yao
• PMC-LLAMA: Finetuning Llama เพิ่มเติมเกี่ยวกับเอกสารการแพทย์ Arxiv 2023. กระดาษ
  Chaoyi Wu, Xiaoman Zhang, Ya Zhang, Yanfeng Wang, Weidi Xie
• Dr. Llama: การปรับปรุงรูปแบบภาษาขนาดเล็กบน PubMedQa ผ่านการเพิ่มข้อมูลกำเนิด Arxiv 2023. กระดาษ
  Zhen Guo, Peiqi Wang, Yanwei Wang, Shangdi Yu
• แพะ: Llama ที่ปรับแต่งได้ดีกว่า GPT-4 ในงานเลขคณิต Arxiv 2023. กระดาษ
  Tiedong Liu, Bryan Kian Hsiang Low
• Wizardlm: เพิ่มขีดความสามารถของแบบจำลองภาษาขนาดใหญ่เพื่อทำตามคำแนะนำที่ซับซ้อน Arxiv 2023. กระดาษ รหัส
  Can Xu, Qingfeng Sun, Kai Zheng, Xiubo Geng, Pu Zhao, Jiazhan Feng, Chongyang Tao, Daxin Jiang
• เพิ่มรูปแบบภาษาแชทโดยการปรับขนาดการสนทนาการเรียนการสอนคุณภาพสูง Arxiv 2023. กระดาษ รหัส
  Ning Ding, Yulin Chen, Bokai Xu, Yujia Qin, Zhi Zheng, Shengding Hu, Zhiyuan Liu, Maosong Sun, Bowen Zhou
• Longform: การปรับแต่งคำสั่งให้เหมาะสมสำหรับการสร้างข้อความยาวด้วยการสกัดคลังข้อมูล Arxiv 2023. กระดาษ รหัส
  Abdullatif Köksal, Timo Schick, Anna Korhonen, Hinrich Schütze
• ตัวจำลองผู้ใช้การเรียนรู้ในบริบทสำหรับระบบโต้ตอบที่มุ่งเน้นงาน Arxiv 2023. กระดาษ รหัส
  Silvia Terragni, Modestas Filipavicius, Nghia Khau, Bruna Guedes, André Manso, Roland Mathis
• NetGPT: สถาปัตยกรรมเครือข่ายพื้นเมือง-AI นอกเหนือจากการจัดเตรียมบริการกำเนิดส่วนบุคคล Arxiv 2023. กระดาษ รหัส
  Yuxuan Chen, Rongpeng Li, Zhifeng Zhao, Chenghui Peng, Jianjun Wu, Ekram Hossain, Honggang Zhang
• เกี่ยวกับสถาปัตยกรรมแบบถอดรหัสเท่านั้นสำหรับการรวมรูปแบบการพูดและการรวมรูปแบบภาษาขนาดใหญ่ Arxiv 2023. กระดาษ รหัส
  Jian Wu, Yashesh Gaur, Zhuo Chen, Long Zhou, Yimeng Zhu, Tianrui Wang, Jinyu Li, Shujie Liu, Bo Ren, Linquan Liu, Yu Wu

Llama รวมกับ multi-modal

• MMMU: ความเข้าใจที่หลากหลายหลายรูปแบบและมาตรฐานการใช้เหตุผลสำหรับ AGI ผู้เชี่ยวชาญ CVPR 2024. กระดาษ รหัส
  Xiang Yue, Yuansheng Ni, Kai Zhang และคณะ

Llama พร้อมการดึง

• polyglot หรือไม่? การวัดการดึงความรู้สารานุกรมหลายภาษาจากแบบจำลองภาษาพื้นฐาน Arxiv 2023. กระดาษ รหัส
  Tim Schott, Daniel Furman, Shreshta Bhat
• REWOO: การแยกเหตุผลจากการสังเกตสำหรับกระดาษแบบจำลองภาษาที่มีประสิทธิภาพ รหัส
  Binfeng Xu, Zhiyuan Peng, Bowen Lei, Subhabrata Mukherjee, Yuchen Liu, Dongkuan Xu
• ความสนใจในสถานที่สำคัญ: ความยาวบริบทที่ไม่มีที่สิ้นสุดแบบสุ่มสำหรับหม้อแปลง Arxiv 2023. กระดาษ รหัส
  Amirkeivan Mohtashami, Martin Jaggi

Llama โดยใช้การเรียนรู้การเสริมแรง

• ลิมา: น้อยกว่าสำหรับการจัดตำแหน่งมากขึ้น Arxiv 2023. กระดาษ รหัส
  Chunting Zhou, Pengfei Liu, Puxin Xu, Srini Iyer, Jiao Sun, Yuning Mao, Xuezhe Ma, Avia Efrat, Ping Yu, Lili Yu, Susan Zhang, Gargi Ghosh, Mike Lewis, Luke Zettlemoyer
• RRHF: อันดับการตอบสนองต่อแบบจำลองภาษากับความคิดเห็นของมนุษย์โดยไม่ต้องน้ำตา กระดาษ. รหัส
  เจิ้งหยวน, ฮงยี่หยวน, Chuanqi Tan, Wei Wang, Songfang Huang, Fei Huang

การวิเคราะห์เชิงปริมาณของ Llama

• SPQR: การเป็นตัวแทนที่เบาบางสำหรับการบีบอัดน้ำหนัก LLM ที่ไม่มีการสูญเสีย Arxiv 2023. กระดาษ รหัส
  Tim Dettmers, Ruslan Svirschevski, Vage Egiazarian, Denis Kuznedelev, Elias Frantar, Saleh Ashkboos, Alexander Borzunov, Torsten Hoefler, Dan Alistarh
• Squeezellm: ปริมาณที่หนาแน่นและสพริส Arxiv 2023. กระดาษ รหัส
  Sehoon Kim, Coleman Hooper, Amir Gholami, Zhen Dong, Xiuyu Li, Sheng Shen, Michael W. Mahoney, Kurt Keutzer

กระตุ้น Llama

• กระตุ้นให้โมเดลภาษาขนาดใหญ่สำหรับการปรับโดเมนแบบไม่มีการยิงในการจดจำคำพูด - Arxiv 2023. กระดาษ
  Yuang Li, Yu Wu, Jinyu Li, Shujie Liu

วิธีการมีส่วนร่วม

ยินดีต้อนรับ! โปรดดูที่การสนับสนุน MD สำหรับแนวทางการบริจาค