llama-paper-list
백본 모델로 LLAMA를 사용한 논문 모음.
기고자
목차
- 원래 라마 종이
- 라마와 관련된 이론
- 매개 변수 효율을 가진 LLAMA
- 다운 스트림 작업에 대한 Llama를 미세 조정합니다
- Llama는 멀티 모달과 결합되었습니다
- 검색된 라마
- 강화 학습을 사용하는 라마
- 라마의 정량 분석
- 라마 프롬프트
서류
원래 라마 종이
- 라마 : 개방적이고 효율적인 기초 언어 모델. Arxiv 2023. 종이. 암호
Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Gravel, Guillaume LaMple. - LLAMA 2 : 오픈 파운데이션 및 미세 조정 된 채팅 모델. 메타 AI 2023. 종이. 암호
Hugo Touvron, Louis Martin, Kevin Stone et al. - 라마 3 모델의 무리. Arxiv 2024. 종이. 암호
Abhimanyu Dubey, Abhinav Jauhri, Abhinav Pandey et al.
라마와 관련된 이론
- 대형 언어 모델은 제로 샷 시계열 예측 자입니다. Neurips 2023. 종이. 암호
Nate Gruver, Marc Finzi, Shikai Qiu, Andrew Gordon Wilson - 훈련 컴퓨팅 최적의 대형 언어 모델. Neurips 2022. 종이.
Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland, Katie Millican, George Den DeMoce, Boorece, Booreche, Boorsche, van den den de Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae, Oriol Vinyals, Laurent Sifre - 뿌리 평균 제곱 층 정규화. Neurips 2019. 종이. 암호
Biao Zhang, Rico Sennrich - GLU 변형은 변압기를 향상시킵니다. Arxiv 2020. 종이. 암호
노암 시저 - ROFORMER : 로터리 위치 임베딩이있는 향상된 변압기. Arxiv 2021. 종이. 암호
Jianlin SU, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen, Yunfeng Liu - 분리 된 무게 붕괴 정규화. ICLR 2019. 종이. 암호
Ilya Loshchilov, Frank Hutter - 자기 변환은 필요하지 않습니다 $ o (n^2) $ 메모리. Arxiv 2021. 종이. 암호
Markus N. Rabe와 Charles Staats - FlashAttention : IO 인식에 대한 빠르고 메모리 효율적인 정확한주의. Arxiv 2022. 종이. 암호
Tri Dao, Daniel Y. Fu, Stefano Ermon, Atri Rudra, Christopher Ré - 대형 변압기 모델에서 활성화 재 계산 감소. Arxiv 2022. 종이.
Vijay Korthikanti, Jared Casper, Sangkug Lym, Lawrence McAfee, Michael Andersch, Mohammad Shoeybi, Bryan Catanzaro
매개 변수 효율을 가진 LLAMA
- Llama-Adapter : 관심이없는 언어 모델의 효율적인 미세 조정. Arxiv 2023. 종이. 암호
Zhang, Renrui and Han, Jiaming and Zhou, Aojun and Hu, Xiangfei and Yan, Shilin and Lu, Pan and Li, Hongsheng and Gao, Peng and Qiao, Yu - LLAMA-ADAPTER v2 : 매개 변수 효율적인 시각적 명령 모델. Arxiv 2023. 종이. 암호
Peng Gao, Jiagming Han, Renrui Zhang, Ziyi Lin, Shijie Geng, Aojun Zhou, Wei Zhang, Pan Lu, Conghui HE, Xiangyu Yue, Hongsheng Li, Yu Qiao - LLM-ADAPTERS : 대형 언어 모델의 매개 변수 효율적인 미세 조정을위한 어댑터 패밀리. Arxiv 2023. 종이.
Zhiqiang Hu, Yihuai Lan, Lei Wang, Wanyu Xu, Ee-Peng Lim, Roy Ka-Wei Lee, Lidong Bing, Xing Xu, Soujanya Poria - 대형 언어 모델에 대한 간단하고 효과적인 가지 치기 접근법. Arxiv 2023. 종이. 암호
Mingjie Sun, Zhuang Liu, Anna Bair, J. Zico Kolter - LLM-Pruner : 대형 언어 모델의 구조적 가지 치기. Arxiv 2023. 종이. 암호
Xinyin MA, Gongfan Fang, Xinchao Wang
다운 스트림 작업에 대한 Llama를 미세 조정합니다
- 생각의 그래프 : 대형 언어 모델로 정교한 문제를 해결합니다. AAAI 2024. 종이. 암호.
Maciej Besta, Nils Blach, Ales Kubicek et al. - 낙타는 얼마나 멀리 갈 수 있습니까? 개방형 자원에 대한 교육 상태를 탐색합니다. Neurips 2023. 종이. 암호
Yizhong Wang, Hamish Ivison, Pradeep Dasigi et al. - 최소한의 인간 감독으로 처음부터 언어 모델의 원칙 중심의 자기 정렬. Neurips 2023. 종이. 암호
Zhiqing Sun, Yikang Shen, Qinhong Zhou et al. - ChatDoctor : 의료 도메인 지식을 사용하여 대형 언어 모델 Meta-AI (LLAMA)에서 미세 조정 된 의료 채팅 모델. Arxiv 2023. 종이.
Yunxiang Li, Zihan Li, Kai Zhang, Ruilong Dan, Steve Jiang, You Zhang - 중국 라마와 알파카에 대한 효율적이고 효과적인 텍스트 인코딩. Arxiv 2023. 종이. 암호
Yiming Cui, Ziqing Yang, Xin Yao - PMC-Llama : 의료 서류에 대한 추가 요금 라마. Arxiv 2023. 종이.
Chaoyi Wu, Xiaoman Zhang, Ya Zhang, Yanfeng Wang, Weidi Xie - Dr. Llama : 생성 데이터 증강을 통해 PubMedqa의 작은 언어 모델 향상. Arxiv 2023. 종이.
Zhen Guo, Peiqi Wang, Yanwei Wang, Shangdi Yu - 염소 : 미세 조정 된 LLAMA는 산술 작업에서 GPT-4보다 우수합니다. Arxiv 2023. 종이.
Tiedong Liu, Bryan Kian Hsiang Low - Wizardlm : 대형 언어 모델이 복잡한 지침을 따를 수 있도록 권한을 부여합니다. Arxiv 2023. 종이. 암호
Can Xu, Qingfeng Sun, Kai Zheng, Xiubo Geng, Pu Zhao, Jiazhan Feng, Chongyang Tao, Daxin Jiang - 고품질 교육 대화를 확장하여 채팅 언어 모델 향상. Arxiv 2023. 종이. 암호
Ning Ding, Yulin Chen, Bokai Xu, Yujia Qin, Zhi Zheng, Shengding Hu, Zhiyuan Liu, Maosong Sun, Bowen Zhou - Longform : 코퍼스 추출을 통해 긴 텍스트 생성을위한 명령어 튜닝 최적화. Arxiv 2023. 종이. 암호
Abdullatif Köksal, Timo Schick, Anna Korhonen, Hinrich Schütze - 작업 지향 대화 상자 시스템에 대한 텍스트 내 학습 사용자 시뮬레이터. Arxiv 2023. 종이. 암호
Silvia Terragni, Modestas Filipavicius, Nghia Khau, Bruna Guedes, André Manso, Roland Mathis - NETGPT : 개인화 된 생성 서비스를 프로비저닝하는 것 이외의 네트워크 아키텍처. Arxiv 2023. 종이. 암호
Yuxuan Chen, Rongpeng Li, Zhifeng Zhao, Chenghui Peng, Jianjun Wu, Ekram Hossain, Honggang Zhang - 음성-텍스트 및 대형 언어 모델 통합을위한 디코더 전용 아키텍처. Arxiv 2023. 종이. 암호
Jian Wu, Yashesh Gaur, Zhuo Chen, Long Zhou, Yimeng Zhu, Tianrui Wang, Jinyu Li, Shujie Liu, Bo Ren, Linquan Liu, Yu Wu
Llama는 멀티 모달과 결합되었습니다
- MMMU : 전문가 AGI에 대한 대규모 다 분야의 멀티 모드 이해 및 추론 벤치 마크. CVPR 2024. 종이. 암호
Xiang Yue, Yuansheng NI, Kai Zhang et al.
검색된 라마
- Polyglot입니까? 기초 언어 모델에서 다국어 백과 사전 지식 검색 측정. Arxiv 2023. 종이. 암호
Tim Schott, Daniel Furman, Shreshta Bhat - Rewoo : 효율적인 증강 언어 모델 논문에 대한 관찰에서 추론을 분리합니다 . 암호
Binfeng Xu, Zhiyuan Peng, Bowen Lei, Subhabrata Mukherjee, Yuchen Liu, Dongkuan Xu - 획기적인 관심 : 변압기의 임의의 무한 컨텍스트 길이. Arxiv 2023. 종이. 암호
Amirkeivan Mohtashami, Martin Jaggi
강화 학습을 사용하는 라마
- 리마 : 정렬에 대한 것이 적습니다. Arxiv 2023. 종이. 암호
Chunting Zhou, Pengfei Liu, Puxin Xu, Srini Iyer, Jiao Sun, Yuning Mao, Xuezhe MA, Avia Efrat, Ping Yu, Lili Yu, Susan Zhang, Gargi Ghosh, Mike Lewis, Luke Zettlemoyer, Omer Levy - RRHF : 언어 모델을 인간 피드백과 눈물로 정렬하는 응답 순위. 종이. 암호
Zheng Yuan, Hongyi Yuan, Chuanqi Tan, Wei Wang, Songfang Huang, Fei Huang
라마의 정량 분석
- SPQR : 거의 손이없는 LLM 중량 압축에 대한 희소 정량 표현. Arxiv 2023. 종이. 암호
Tim Dettmers, Ruslan Svirschevski, Vage Egiazarian, Denis Kuznedelev, Elias Frantar, Saleh Ashkboos, Alexander Borzunov, Torsten Hoefler, Dan Alistarh - squeezellm : 조밀 한 뿌리 다 양자. Arxiv 2023. 종이. 암호
Sehoon Kim, Coleman Hooper, Amir Gholami, Zhen Dong, Xiuyu Li, Sheng Shen, Michael W. Mahoney, Kurt Keutzer
라마 프롬프트
- 음성 인식에서 제로 샷 도메인 적응에 대한 대형 언어 모델을 제기합니다. . Arxiv 2023. 종이.
Yuang Li, Yu Wu, Jinyu Li, Shujie Liu
기여하는 방법
기부금을 환영합니다! 기여 가이드 라인은 Contributing.md를 참조하십시오.
