DecryptPrompt 다운로드 - DecryptPrompt 소스 코드 다운로드

암호화

LLM이 갑자기 도착하면 좌절감을 느끼면 홈 디렉토리에서 우울한 AI 학자에 대한 무기 생존 전략을 선택할 수도 있습니다. 계속 업데이트 할 별 ~

LLM 리소스 요약

오픈 소스 모델 및 검토 목록
오픈 소스 추론, 미세 튜닝, 에이전트, 래그, PropMT 프레임 워크
오픈 소스 SFT, RLHF, 프리 트레인 데이터 세트
AIGC의 다양한 분야에서의 적용 요약
프롬프트 튜토리얼, 클래식 블로그 및 AI 컨퍼런스 인터뷰

블로그로 논문을 읽으십시오

프롬프트 시리즈를 해독합니다.
프롬프트 시리즈 2를 해독합니다. 프롬프트 프롬프트 미세 튜닝 LM : T5 & PET & LM-BFF
프롬프트 시리즈를 해독합니다.
프롬프트 시리즈 4. 업그레이드 명령 튜닝 : FLAN/T0/ORTRUCTGPT/TKINSTRUCT
Propt Series 5의 해독
프롬프트 시리즈 6. LORA 명령 미세 조정 버튼 세부 사항 - 진정하십시오.
해독 프롬프트 시리즈 7. 선호도 정렬 RLHF- 오페나이 · 심해 · 인간 비교 분석
프롬프트 시리즈 8. LLM이 매우 긴 입력을 지원할 수 있도록 훈련 필요 없음 : 지식 기반 및 무제한 및 PCW & NBCE
프롬프트 해독 시리즈 9. COT : 모델 복잡한 추론-기준 사고 체인 및 고급 재생
프롬프트 시리즈 암호 해독 10. COT : 사고 체인 코트의 원리 탐사
프롬프트 시리즈 11. COT를 해독합니다. COT : 소형 모델도 침대 할 수 있으며 타고난 결함은 출생 후 보충됩니다.
프롬프트 시리즈를 해독합니다. LLM 에이전트 제로 미세 조정 패러다임 반응 및 자체 요청
프롬프트 시리즈 해독 13. LLM 에이전트 명령 미세 조정 솔루션 : Toolformer & Gorilla
프롬프트 시리즈의 해독 14. LLM 에이전트의 검색 응용 프로그램 설계 : WebGpt & WebGLM & WebCPM
프롬프트 시리즈 디스 클라이닝 시리즈 15. LLM 에이전트의 데이터베이스 응용 프로그램 설계 : DIN & C3 & SQL-PALM & BIRD
프롬프트 시리즈 16을 해독합니다. LLM 정렬 경험의 데이터가 적을수록 좋습니다. Ltd & Lima & Alpagasus
Prompt Series 17. LLM 정렬 솔루션을 해독하고 Wizardlm & Back Translation & Self-Align을 업그레이드합니다.
프롬프트 시리즈 18. LLM 에이전트의 세계만이 에이전트 만 해독
Prompt Series 19. LLM 에이전트의 데이터 분석 분야의 응용 프로그램 : Data-Copilot & InsightPilot
프롬프트 시리즈의 해독.
해독 프롬프트 시리즈 21. 리콜 정보 밀도 및 품질에 대한 래그의 재구
해독 프롬프트 시리즈 22. RAG의 반사 : 압축 또는 지능을 포기 했습니까?
프롬프트 시리즈 해독 23. 큰 모델 환각 분류 및 기여 및 탐지 및 완화 솔루션의 완전한 뇌도
Propt Series 24의 해독. 새로운 RLHF 솔루션을위한 교육 전략 : SLIC-HF & DPO & RRHF & RSO
RLHF 개선 체계의 샘플 라벨링 : RLAIF & Salmon의 샘플 라벨링을 해독합니다.
프롬프트 시리즈의 해독
Propt Series 27의 해독
프롬프트 시리즈 28. LLM 에이전트의 재무 대리인을 해독합니다 : Finmem & Finagent
프롬프트 시리즈 29. LLM 에이전트의 대규모 실제 API 솔루션을 해독
Prompt Series 30. LLM 에이전트의 인터넷 서핑 에이전트를 해독합니다.
해독 프롬프트 시리즈 31. LLM 에이전트의 민첩성에 대한 지속적인 학습
프롬프트 해독 시리즈 32. LLM의 테이블 이해 작업 - 텍스트 모달
프롬프트 해독 시리즈 33. LLM 차트 이해 작업 - 멀티 모달 장
Propt Series 34를 해독합니다. RLHF 교육은 다른 접근 방식을 취합니다. 단계별 및 그 너머
Propt Series 35를 해독합니다. 프롬프트 표준화가 진행 중입니다! DSPY 종이 꼬치 및 코드 예제
프롬프트 시리즈 36. 프롬프트 구조적 쓰기 및 최적화 알고리즘 Uniprompt
Prompt Series 37의 해독
프롬프트 시리즈 디스 클라이닝 시리즈 38. 다중 에이전트 라우팅 정책
Propt Series 39의 해독
Propt Series 40. LLM 추론 스케일링 법을 해독합니다
Propt Series 41을 해독하는 데 그래프 크래그가 실제로은 총알입니까?
Propt 시리즈 42. LLM의 역동적 인 복잡한 사고 체인으로의 해독
Propt Series 43. LLM Self Critics를 해독합니다
Propt 시리즈 44를 해독합니다. Rag Exploration Mode? 깊은 사고 모드?
프롬프트 시리즈 45를 해독합니다. LLM 확장 가능한 감독 탐색 - 토론과 게임에서 더 좋습니다.
Propt Series 46. LLM 구조화 된 출력 코드 예제 및 원리 분석의 해독
Propt Series 47의 해독. O1 Long Thought의 일부 기능 분석

논문의 요약

종이 목록

https://github.com/dongguanting/in-context-learning_paperlist
https://github.com/thunlp/promptpapers
https://github.com/timothyxxx/chain-of-thoughtspapers
https://github.com/thunlp/toollearningpapers
https://github.com/mlgroupjlu/llm-eval-survey
https://github.com/thu-coai/paperforonlg
https://github.com/khuangaf/awesome-chart-understanding

사고 체인 (prompt_chain_of_thought)

기본 및 고급 사용
- 【Zero-Shot-Cot】 대형 언어 모델은 제로 샷 추론입니다
- 【소수의 샷 코트 -sh 큰 언어 모델에서 추론을 유발하는 사고의 사슬
- consonceence ons ons 언어 모델에서 사고 추론의 사슬을 향상시킵니다
- promping은 대형 언어 모델에서 복잡한 추론을 가능하게합니다
- 【TOT TREK OF THOKSE : 대형 언어 모델로 고의적 인 문제 해결
- Plan and-olding -and 프롬프트 : 대형 언어 모델에 의한 제로 샷 사슬의 추론 개선
- ∎ 검증 및 편집자 : 지식이 강화 된 사슬의 프레임 워크
- 【대형 언어 모델에서 생각하고 효과적으로 생각한 추론을 넘어서는 것 이상의 chain를 얻었습니다
- 【Tomt】 믹스 트리 생각 : 멀티 홉 시각적 추론을 위해 빠르고 느린 생각을 결합합니다.
- lambada ada : 자연어로 자동 추론을위한 후진 연쇄
- 【aot】 생각의 알고리즘 : 대형 언어 모델에서 아이디어 탐색 강화
- 【생각의 그래프 : 큰 언어 모델로 정교한 문제 해결
- PHP】 Progressive-Hint Prompting은 대형 언어 모델에서 추론을 향상시킵니다
- HTT t 대형 언어 모델은 규칙을 배울 수 있습니다
- divse divse】 생각의 다양성은 큰 언어 모델의 추론 능력을 향상시킵니다.
- 【Cogtree og 복잡한 것부터 간단한 것까지 : 작은 언어 모델로 추론을위한인지 나무를 풀기
- sep-back ack 한 걸음 물러서서 : 큰 언어 모델에서 추상화를 통한 추론의 유발
- OPRO】 최적화로서 대형 언어 모델
- bot Bot er 생각의 버퍼 : 큰 언어 모델을 사용한 사고를받은 추론
- 추상적 인 생각은 언어 모델을 더 나은 추론 자로 만듭니다
- symbcot b 상징적 인 사슬을 통한 충실한 논리적 추론
- 【xot】 생각의 모든 것 : 사고 세대를위한 펜로즈 삼각형의 법칙을 무시
- 【IoT】 생각의 반복 : 자율적 인 큰 언어 모델 추론을위한 내부 대화 활용
- 【생각의 다이어그램에서 점 the
- rot rot vers 사고의 역전 : 선호도 유도 역 추론 워밍업으로 대형 언어 모델 향상.
- 앞뒤로 생각 : 대형 언어 모델로 효과적인 후진 계획
- Kr 【KR】 K 차원의 추론 : 전략적 추론을위한 대형 언어 모델에 대한 고차 신념 확립
- self 【자기 발견 -d 자체 발견 : 대형 언어 모델 자체 방당 추론 구조
- 【【이론 -of 대형 언어 모델이 이론을 가진 사람은 얼마나 멀리 떨어져 있습니까?
- PC-SUBQ -s 대형 언어 모델이 상관 관계에서 인과 관계를 유추 할 수 있도록하는 전략을 제기합니다.
- 역전 사고로 인해 LLM이 더 강한 추론을합니다
비 전통적인 침대 문제 해결 방향
- 복잡한 작업을 해결하기위한 모듈 식 접근법을 분해했습니다
- 복잡한 질문을 분해하기위한 연속적인 프롬프트
COT [수학, 코드, 표, QA]
- 언어 모델의 정량적 추론 문제 해결
- 작업 표시 : 언어 모델로 중간 계산을위한 스크래치 패드
- 프로세스 및 결과 기반 피드백으로 수학 단어 문제를 해결합니다
- Coderl : 사전에 걸린 모델과 심층 강화 학습을 통한 코드 생성 마스터 링
- T-SCIQ : 과학 질문 답변을위한 대형 언어 모델 신호를 통한 다중 모드 체인 추론 교육
- 학습 성능 개선 코드 편집
- 코드 체인 : 언어 모델을 사용한 코드 에뮬레이터로 추론
원칙 분석
- 사고 체인은 트랜스포머가 본질적으로 일련의 문제를 해결하도록 권한을 부여합니다.
- 생각을 이해하기 위해 추론 : 중요한 것에 대한 경험적 연구
- 텍스트와 패턴 : 효과적인 사고의 경우 Tango까지 2 개가 필요합니다.
- 사고의 뒤에 미스터리를 드러내는 것 : 이론적으로 관점
- 큰 언어 모델은 관련없는 맥락에 의해 쉽게 산만해질 수 있습니다.
- 프롬프트없이 생각한 추론
- 귀납적이거나 연역적입니까? LLM의 기본 추론 능력을 다시 생각합니다
- 생각을 넘어서서 : LLM에 대한 X 체인 패러다임 조사
- 코트로 침대하지 않습니까? 생각의 사슬은 주로 수학 및 상징적 추론에 도움이됩니다
- 왜 단계별로 생각합니까? 추론은 경험의 지역에서 나옵니다
- 대형 언어 모델의 내부 일관성 및 셀프 피드백 : 설문 조사
- 반복 헤드 : 생각의 사슬에 대한 기계적인 연구
- 대형 언어 모델에 대한 추론 단계 길이의 영향
- 대형 언어 모델은 바로 가기를 이용하지 않고 잠재적 인 멀티 홉 추론을 수행합니까?
- 압축 사고 체인 : 밀도가 높은 표현을 통한 효율적인 추론
- LLM은 실제로 암시 적 추론에서 단계별로 생각합니까?
작은 모델 침대 증류
- 다단계 추론을 향한 작은 언어 모델을 전문으로합니다
- 소규모 언어 모델을 가르치고 있습니다
- 대형 언어 모델은 추론 교사입니다
- 소규모 언어 모델로 추론 능력을 증류합니다
- COT COLLECTION : 사슬의 미세 조정을 통한 제로 샷 및 소수의 언어 모델 학습 개선
- 증류 시스템 2 로의 시스템 1
COT 샘플의 자동 구조/선택
- Autocot : 대형 언어 모델로 인한 자동 사고 체인
- 대형 언어 모델에 대한 사슬의 생각으로 활발한 프롬프트
- 다단계 추론을위한 복잡성 기반 프롬프트
침대 능력 학습
- 대형 언어 모델은 자체 개선 할 수 있습니다
- 잠재적 변수 추론을 통한 사슬의 훈련
- 조용한 별 : 언어 모델은 말하기 전에 생각하도록 가르 칠 수 있습니다.
- 스타 : 추론과 함께 스스로 가르치는 추론을 부츠 스트랩 추론
- V-STAR : 자기 가르치는 추론자를위한 검증 자
- 말하기 전에 생각 : 일시 정지 토큰으로 언어 모델을 훈련
- 자기 주도 합성 대화 및 개정 기술 보고서
기타
- Olagpt는 인간과 같은 문제 해결 능력으로 LLM을 강화합니다
- 큰 벤치 작업에 도전하고 생각한 사슬이이를 해결할 수 있는지 여부
- 대형 언어 모델은 자기 검증을 통해 더 나은 추론 자입니다
- 대형 언어 모델 추론 데이터에 대한 중앙 허브에 대한 생각
- LLM의 다단계 추론에서 두 가지 자기 일관성 실패

RLHF

심해
- 검증 된 따옴표로 답변을 지원하기위한 언어 모델을 가르치십시오
- 참새, 대상 인간 판단을 통한 대화 에이전트의 정렬 개선
- 통계적 거부 샘플링은 선호도 최적화를 향상시킵니다
- 언어 모델링을위한 강화 된 자기 훈련 (REST)
- SLIC-HF : 사람 피드백을 통한 시퀀스 우도 교정
- 교정 시퀀스 가능성은 조건부 언어 생성을 향상시킵니다
- 언어 모델로 보상 디자인
- 프로세스 및 결과 기반 피드백으로 수학 단어 문제 해결 최종 응답 RL
- 프로세스 및 결과 기반 피드백으로 수학 단어 문제를 해결합니다
- 인적 데이터를 넘어서 : 언어 모델로 문제 해결을위한 자체 훈련 스케일링
- 본드 : LLM을 최상의 증류와 정렬합니다
- 잘못된 합성 데이터에 대한 RL LLM 수학 추론의 효율성을 8 배
- 생성 검증 자 : 다음 번의 예측으로서의 보상 모델링
- 강화 학습을 통해 자기 수정을위한 언어 모델 교육
Openai
- PPO : 근위 정책 최적화 알고리즘
- 인간 선호도를위한 깊은 강화 학습
- 인간의 선호에서 미세 조정 언어 모델
- 인간의 피드백에서 요약하는 법을 배웁니다
- InstructGpt : 인간 피드백으로 지시를 따르는 언어 모델 교육
- 최적화에 대한 보상 모델에 대한 법률
- 약한 일반화 : 약한 감독으로 강력한 능력을 이끌어냅니다
- PRM : 단계별로 확인해 봅시다
- 수학 단어 문제를 해결하기위한 교육 검증 자 [PRM의 전분]
- Openai Super Alignment 블로그
- LLM 비평가들은 LLM 버그를 잡는 데 도움이됩니다
- Prover-Verifier 게임은 LLM 출력의 가독성을 향상시킵니다
- 언어 모델 안전에 대한 규칙 기반 보상
- 인간 평가자를 지원하기위한 자체 범죄 모델
인류
- 정렬 실험실로서 일반 언어 보조원
- 확장 가능한 감독 또는 대규모 언어 모델의 진행 상황을 측정합니다
- 피해 방법, 스케일링 행동 및 학습 한 교훈을 줄이기위한 빨간 팀 언어 모델
- 인간 피드백으로부터 강화 학습을 통해 도움이되고 무해한 조수 교육
- AI 피드백의 헌법 AI 무해함
- 인간의 선호도를 가진 사전 연상 언어 모델
- 큰 언어 모델에서 도덕적 자기 교정 능력
- 슬리퍼 에이전트 : 안전 트레인을 통해 지속되는기만 LLM 훈련
Allenai, RL4LM : 자연어 처리 벤치 마크를위한 강화 학습 (Not)
개선 계획
- RRHF : 눈물없이 인간 피드백으로 언어 모델을 조정하는 응답 순위
- 후시 체인은 언어 모델을 피드백과 정렬합니다
- Alpacafarm : 인간 피드백에서 배우는 방법을위한 시뮬레이션 프레임 워크
- RAFT : Generative Foundation 모델 정렬에 대한 보상 순위
- RLAIF : AI 피드백을 사용한 인간 피드백에서 강화 학습 스케일링
- 시뮬레이션 된 인간 사회에서 사회적으로 정렬 된 언어 모델을 훈련시킵니다
- RAIN : 언어 모델은 미세 조정없이 스스로 정렬 할 수 있습니다
- 정렬 평가를위한 생성 판사
- 선호도를 통한 피어링 : 대형 언어 모델 조정을위한 피드백 획득 방출
- 연어 : 원칙을 따르는 보상 모델과의 자기 정렬
- 대형 언어 모델 학습
- 적대적 선호도 최적화
- 인간 정렬에 대한 선호도 순위 최적화
- 갈 길 : RLHF의 길이 상관 관계 조사
- 언어 모델이 데이터에서 자기 개선을 암시 적으로 배울 수 있도록합니다
- 보상 모델 앙상블은 과도한 최적화를 완화하는 데 도움이됩니다
- 선호도에서 최적의 이점을 배우고 보상을 위해 착각
- Ultrafeedback : 고품질 피드백으로 언어 모델 향상
- 주제 : 인공 지능 피드백의 고유 동기
- 우위 모델 및 선택적 리허설을 통한 RLHF 안정화
- 목자 : 언어 모델 생성에 대한 비평가
- LLM보다 더 나은 생성을 배우는 학습
- 세밀한 인간 피드백은 언어 모델 훈련에 더 나은 보상을 제공합니다.
- 최소한의 인간 감독으로 처음부터 언어 모델의 원칙 중심의 자기 정렬
- 직접 선호도 최적화 : 언어 모델은 비밀리에 보상 모델입니다.
- 후시의 지혜가 언어 모델을 더 나은 교육 추종자로 만듭니다.
- ALIGNER : 약한 정정을 통한 효율적인 정렬 달성
- 인간의 피드백으로부터 학습을 강화하기위한 최소한의 접근
- Panda : LLM의 도메인 별 능력 향상을위한 선호도 적응
- 약한 검색 : 작은 언어 모델을 검색하여 대형 언어 모델을 정렬합니다.
- 약한 외삽 외삽 법안은 정렬을 촉진합니다
- LLM 정렬에 대한 DPO가 PPO보다 우수합니까? 포괄적 인 연구
- 토큰 수준의 직접 환경 설정 최적화
- SIMPO : 참조가없는 보상으로 간단한 선호도 최적화
- AutoDetect : 대형 언어 모델에서 자동화 된 약점 탐지를위한 통합 프레임 워크를 향해
- 메타 보상 언어 모델 : LLM-as-a-meta-judge와의 자체 개선 정렬
- HELPSTEER : SteeRlm 용 Multi-Attribute Helpfulness DataSet
- 재귀 적 내성 : 언어 모델 에이전트를 가르치는 방법 자기 개선 방법
- 직접 Q- 기능 최적화를 통한 언어 모델의 다단계 추론 능력 향상
- Deepseekmath : 오픈 언어 모델에서 수학적 추론의 한계를 추진
- Glore : Global 및 Local Refinements를 통해 LLM 추론을 개선하는시기, 어디서, 그리고 어떻게
- REFT : 강화 된 미세 조정으로 추론
- SCPO : 자기 일관성 선호도 최적화
RL 탐사
- LLM 일반화 및 다양성에 대한 RLHF의 영향 이해
- 갈 길 : RLHF의 길이 상관 관계 조사
- RLHF에 대한 보상 (In-)의 일관성이 떨어진다
- 인간 피드백으로부터 강화 학습의 개방 문제 및 근본적인 한계
- 인간의 피드백은 금 표준이 아닙니다
- 데이터 커리큘럼에서 대조적 인 대조적 인 큰 언어 모델
- 언어 모델은 정렬에 저항합니다

우체 기차 (COT, RL)

추론 스케일링
- 언어 모델로 문제 해결을위한 컴퓨팅 최적의 추론에 대한 경험적 분석
- 더 많은 LM 호출이 필요한 모든 것이 있습니까? 화합물 AI 시스템의 스케일링 특성으로
- 큰 언어 원숭이 : 스케일링 추론 반복 샘플링으로 계산됩니다
- LLM 테스트 시간 컴퓨팅 스케일링 최적의 모델 매개 변수보다 효과적 일 수 있습니다.
- Q*: 심의 계획으로 LLM의 다단계 추론 향상
- 자연어로 계획하면 LLM 코드 생성 검색이 향상됩니다.
- REST-MCTS * : 프로세스 보상 가이드 트리 검색을 통한 LLM 자체 훈련
- 알파 자로와 같은 트리 검색은 큰 언어 모델 디코딩 및 훈련을 안내 할 수 있습니다.
- 작고 약하지만 더 나은 : 컴퓨팅 최적 샘플링을 통해 LLM 추론을 훈련
- 추상 추론을위한 시험 시간 훈련의 놀라운 효과
- 장기 텍스트 검색 증강 생성에 대한 추론 스케일링
- 상상력, 검색 및 비판을 통해 LLM의 자기 개선을 향해
느린 생각 침대
- O1 복제 여정 : 전략적 진행 보고서 - 1 부
- 마르코 -O1 : 개방형 솔루션에 대한 개방 추론 모델을 향해
- OpenAI의 O1 모델의 추론 패턴에 대한 비교 연구
- 모방, 탐색 및 자기 개선 : 느리게 생각하는 추론 시스템에 대한 재생산 보고서
- Dualformer : 무작위 추론 흔적으로 학습하여 제어 가능한 빠르고 느린 생각
- 지속적인 잠재 공간에서 추론하기위한 대형 언어 모델 교육
- a *를 넘어서 : 검색 역학을 통한 변압기로 더 나은 계획 부트 스트랩
- O1-Coder : 코딩을위한 O1 복제
- 검색 및 학습의 스케일링 : 강화 학습 관점에서 O1을 재현하는 로드맵
- Sky-T1 : $ 450 이내에 자신의 O1 미리보기 모델을 훈련시킵니다
- LLM의 시스템 2 추론 : 메타 사슬로 생각하는 방법 배우기

교육용 미세 조정 및 정렬 (습기 _tunning)

클래식 솔루션
- FLAN : Finetuned Language 모델은 제로 샷 학습자입니다
- FLAN-T5 : 명령어가 결합 된 언어 모델 스케일링
- Ext5 : 전송 학습을위한 극단적 인 멀티 태스킹 스케일링을 향해
- 강의 -GPT : 인간 피드백으로 지시를 따르는 언어 모델 교육
- T0 : 멀티 태스킹 프롬프트 교육은 제로 샷 작업 일반화를 가능하게합니다
- 자연 지침 : 자연어 크라우드 소싱 지침을 통한 교차 일반화
- TK-Instruct : 초자연 변환 : 1600 개 이상의 NLP 작업에 대한 선언 지침을 통한 일반화
- ZEROPROMPT : 1,000 작업으로 프롬프트 기반 사전 여부를 스케일링하면 제로 샷 일반화가 향상됩니다.
- 부 자연스러운 지침 : (거의) 인간 노동이없는 언어 모델 조정
- 지시 조정 된 대형 언어 모델의 전체적인 평가를 향한 Instructeval
SFT 데이터 스케일링 법
- 리마 : 정렬에 대한 것이 적습니다
- 아마도 0.5% 데이터 만 필요할 수 있습니다 : 낮은 훈련 데이터 지침 튜닝의 예비 탐색
- Alpagasus : 데이터가 적은 더 나은 알파카를 훈련시킵니다
- 습국 -4 : 미세 조정 Minigpt-4를위한 200 가지 비 점수 패러다임
- 지침 마이닝 : 대형 언어 모델에 대한 고품질 교육 데이터 선택
- 정중 한 플라밍고로 시각적 지시 조정
- 대형 언어 모델에 대한 교육 데이터 스케일링의 영향 탐색 : 실제 사용 사례에 대한 경험적 연구
- 큰 언어 모델로 수학적 추론 학습에 대한 관계 스케일링 관계
- 스케일링이 LLM FINETUNING을 충족시킬 때 : 데이터, 모델 및 결합 방법의 효과
새로운 정렬/미세 조정 체계
- Wizardlm : 대형 언어 모델이 복잡한 지침을 따를 수 있도록 권한을 부여합니다
- 자기 강조 자극 : 최소한의 지침 튜닝을위한 초기 정지 기준 도입
- 지시 역 변환과의 자기 정렬
- 믹스 엑스 퍼트는 교육 튜닝을 충족시킵니다 : 대형 언어 모델을위한 승리 조합
- 염소 : 미세 조정 된 LLAMA는 산술 작업에서 GPT-4보다 우수합니다
- Prompt2Model : 자연어 지침에서 배포 가능한 모델을 생성합니다
- OpinionGpt : 명령 조정 된 LLM의 명시 적 편견 모델링
- AI 피드백에서 자체 플레이 및 컨텍스트 학습과의 언어 모델 협상 향상
- 메타 학습 신경망을 통한 인간과 유사한 체계적인 일반화
- Magicoder : 소스 코드 만 있으면됩니다
- 인적 데이터를 넘어서 : 언어 모델로 문제 해결을위한 자체 훈련 스케일링
- 생성 된 표현 명령 튜닝
- INSCL : 지침으로 대형 언어 모델을 미세 조정하기위한 데이터 효율적인 지속적인 학습 패러다임
- 명령 계층 : 권한있는 지침의 우선 순위를 정하는 LLM을 교육합니다
- MAGPIE : 정렬 된 LLM을 아무것도없이 송금하여 처음부터 정렬 데이터 합성
지시 데이터 생성
- APE : 대형 언어 모델은 인간 수준의 프롬프트 엔지니어입니다
- 자체 강조 : 자체 생성 지침과 언어 모델을 정렬합니다
- IPROMPT : 해석 가능한 자동 포기를 통해 자연어로 데이터 패턴 설명
- 뒤집힌 학습 : 교육을 추측하십시오! 뒤집힌 학습은 언어 모델을 강력하게 제로 샷 학습자로 만듭니다
- 대형 언어 모델에 대한 공정성이 소수의 샷 프롬프트
- 교육 유도 : 몇 가지 예에서 자연어 작업 설명까지.
- 자체 QA 감독되지 않은 지식 가이드 정렬.
- 더 나은 데이터 주석을위한 GPT 자체 감독
- FLAN 컬렉션은 데이터 및 방법을 설계합니다
- 자체 소수의 생성 모델은 화를냅니다
- InstructeVal : 교육 선택 방법의 체계적인 평가
- 미세 조정 데이터로 미리 처리 된 편견을 덮어 씁니다
- 큰 언어 모델로 텍스트 임베딩 개선
- MAGPIE : 정렬 된 LLM을 아무것도없이 송금하여 처음부터 정렬 데이터 합성
- 1,000,000,000 명의 페르소나로 합성 데이터 생성을 스케일링합니다
- 확장 가능한 질문 합성을 통한 LLM의 추론 능력을 처음부터 시작
- 대형 언어 모델에 대한 데이터 합성 및 증강에 대한 설문 조사
- Agentinstruct : 에이전트 흐름을 가진 생성 교육을 향해
- 결함 공개 : 대형 언어 모델에 대한 합성 데이터 및 완화 전략의 결함 탐색
일반적인 용량 손실을 줄이는 방법
- 대형 언어 모델의 능력이 감독 된 미세 조정 데이터 구성에 의해 영향을받는 방법
- 전문화가 적고 일반화가 적은 2 단계 LLM 미세 조정
미세 조정 경험/실험 보고서
- Belle : 대형 언어 모델에 대한 교육 데이터 스케일링의 영향 탐색 : 실제 사용 사례에 대한 경험적 연구
- Baize : Baize : 자체 chat 데이터에 대한 매개 변수 효율적인 튜닝이있는 오픈 소스 채팅 모델
- 큰 LM에 대한 중국어 지시 데이터에 대한 전체 패러라미터와 LORA 기반 미세 조정의 비교 연구
- chatgpt의 콘텐츠 순위 능력 탐색 : 인간의 선호와의 일관성에 대한 예비 연구
- 중국어에 대한 언어 모델에 따른 더 나은 교육을 향해 : 교육 데이터 및 평가의 영향 조사
- 엔터프라이즈를위한 미세 조정 LLM : 실제 지침 및 권장 사항
기타
- 멀티 태스킹 조정을 통한 교차 일반화
- 자연어 크라우드 소싱 지침을 통한 교차 작업 일반화
- Unifiedskg : 텍스트-텍스트 언어 모델을 통한 통일 및 멀티 태스킹 구조적 지식 접지
- 프롬프트 소스 : 자연어 프롬프트를위한 통합 개발 환경 및 저장소
- ROLELLM : 대형 언어 모델의 롤 플레잉 능력 향상, 벤치마킹, 유도 및 향상

LLM 에이전트는 모델 사용 도구 (LLM_AGENT)

AI 요원 : 복합 상호 작용의 수평선을 조사합니다
대형 언어 모델 기반 자율 에이전트에 대한 설문 조사
개인 LLM 에이전트 : 기능, 효율성 및 보안에 대한 통찰력 및 설문 조사
Propt를 기반으로하는 일반적인 솔루션
- 반응 : 언어 모델에서 시너지 효과와 행동
- 자체 문자 : 언어 모델에서 구성 성 차이 측정 및 좁아짐
- MRKL Systemsa 모듈 식, 대형 언어 모델, 외부 지식 소스 및 개별 추론을 결합한 신경 상징적 아키텍처
- PAL : 프로그램 보조 언어 모델
- 예술 : 대형 언어 모델의 자동 다단계 추론 및 도구 사용
- Rewoo : 효율적인 증강 언어 모델에 대한 관찰에서 추론을 분리합니다.
- 지식 집약적 인 다중 단계 질문에 대한 사슬의 추론과의 인터리브 검색
- 카멜레온 : 큰 언어 모델을 사용한 플러그 앤 플레이 구성 추론
- 충실한 생각의 사슬
- 반사 : 언어 강화 학습을 가진 언어 에이전트
- 검증 및 편집 : 지식이 강화 된 사슬의 사슬 프레임 워크
- RESTGPT : 대형 언어 모델을 실제 RESTFUL API와 연결합니다
- Satcot : 채팅 기반 대형 언어 모델에 대한 도구를 구입 한 추론
- InstructTods : 엔드 투 엔드 작업 중심 대화 시스템을위한 대형 언어 모델
- TPTU : 대형 언어 모델 기반 AI 에이전트의 작업 계획 및 도구 사용
- ControlLM : 그래프를 검색하여 도구로 언어 모델 증대
- 반사 : 역동적 인 기억과 자기 반성을 가진 자율 제
- 자동 에이전트 : 자동 에이전트 생성을위한 프레임 워크
- Gitagent : 공구 확장에 의한 Github를 사용하여 자율 에이전트를 촉진합니다
- PREACT : REACT의 미래 예측은 에이전트의 계획 능력을 향상시킵니다
- TOOLLLM : 16000+ 실제 API를 마스터하기 위해 대형 언어 모델을 용이하게 하는다-대규모 API 통화를위한 자체 반사적, 계층 적 에이전트
- AIOS : LLM 에이전트 운영 체제
- LLM 컴파일러 병렬 기능 호출을위한 LLM 컴파일러
- 다시 침입 : 제로 샷 도구 검색에 대한 도구 호출 재 작성
미세 조정에 기반한 일반적인 솔루션
- 탈름 : 도구 증강 언어 모델
- Toolformer : 언어 모델은 도구를 사용하도록 가르 칠 수 있습니다
- 기초 모델로 도구 학습
- 도구 메이커 : 도구 메이커로서 대형 언어 모델
- Taskmatrix.ai : 기초 모델을 수백만 개의 API와 연결하여 작업을 완료했습니다.
- 에이전트 튜닝 : LLM에 대한 일반화 된 에이전트 지원 가능
- Swiftsage : 복잡한 대화식 작업에 대한 빠르고 느린 생각을 가진 생성 에이전트
- FIREACT : 언어 에이전트 미세 조정을 향해
- Pangu-Agent : 구조화 된 추론을 가진 미세 조정 가능한 일반 요원
- REST는 반응을 충족시킵니다 : 다단계 추론 LLM 에이전트를위한 자체 개선
- 비율의 체인 추론과 함께 효율적인 도구 사용
- 에이전트 플랜 : 대형 언어 모델에 대한 효과적인 에이전트 튜닝 데이터 및 방법 설계
- Agentohana : 효과적인 에이전트 학습을위한 통합 데이터 및 교육 파이프 라인 설계
- 에이전트 루모스 : 오픈 소스 언어 에이전트를위한 통합 및 모듈 식 교육
- Toolgen : 통합 도구 검색 및 Generation을 통해 호출
모델 체계를 호출합니다
- Hugginggpt : Huggingface에서 Chatgpt 및 친구들과 AI 작업 해결
- 고릴라 : 대규모 API와 연결된 대형 언어 모델
- Openagi : LLM이 도메인 전문가를 만나면
수직 필드
- 데이터 분석
  - DS-Agent : 사례 기반 추론으로 대형 언어 모델을 강화하여 자동화 된 데이터 과학
  - 통찰력 : 대규모 모델 구동 데이터 분석에서 대화 맥락에서 통찰력 발견 및 탐구
  - 데이터 카필 로트 : 자율 워크 플로우를 가진 수십억 개의 데이터와 인간
  - InsightPilot의 데모 : LLM이 강화 된 자동 데이터 탐색 시스템
  - Taskweaver : 코드 우선 에이전트 프레임 워크
  - 자동화 된 사회 과학 : 과학자 및 과목으로서 언어 모델
  - 데이터 통역사 : 데이터 과학을위한 LLM 에이전트
- 재원
  - Weaverbird : 대형 언어 모델, 지식 기반 및 검색 엔진으로 재무 의사 결정 권한 강화
  - Fingpt : 오픈 소스 금융 대형 언어 모델
  - Finmem : 계층 메모리 및 캐릭터 디자인이있는 성능 향상 LLM 트레이딩 에이전트
  - Alphafin : 검색 강화 주식 체인 프레임 워크를 사용한 재무 분석 벤치마킹
  - 금융 거래를위한 멀티 모달 재단 에이전트 : 도구 강화, 다각화 및 일반 주의자
  - 대형 언어 모델이 월스트리트를 이길 수 있습니까? 재고 선택에서 AI의 잠재력을 공개합니다
  - LLM 기반 다중 에이전트 프레임 워크를 사용하여 금융 시장에서 이상 탐지 향상
  - TradingGpt : 계층 메모리가있는 다중 에이전트 시스템 및 향상된 금융 거래 성과를위한 고유 한 캐릭터
  - FINROBOT : 대형 언어 모델을 사용하는 금융 응용 프로그램을위한 오픈 소스 AI 에이전트 플랫폼
  - llmfactor : 설명 가능한 주식 운동 예측을위한 프롬프트를 통해 수익성있는 요소 추출
  - Alpha-GPT : 정량적 투자를위한 휴먼-아이 대화식 알파 마이닝
  - 비정상적 탐지 발전 : LLMS와 인코딩하는 비 미용 재무 데이터
  - Tradexpert : 전문가 LLM의 혼합과의 거래 혁명
  - Finvision : 주식 시장 예측을위한 다중 에이전트 프레임 워크
  - AI 투자 분석 : 주식 주식 등급에 대한 LLM
  - AAPM : 대형 언어 모델 기반 자산 가격 모델
- 생체 의학
  - Genegpt : 생의학 정보에 대한 액세스를 향상시키기위한 도메인 도구로 대형 언어 모델 증대
  - 화학 도구로 대형 언어 모델을 증강시키는 화학
  - 증거에 대한 기대 최대화 추론에 의한 의료 질문 응답에 대한 설명 생성
  - 에이전트 병원 : 진화 가능한 의료 요원이있는 병원의 시뮬 라 크럼
  - 신속한 엔지니어링을 통해 대형 언어 모델의 화학 지식 통합
- 웹/모바일 에이전트
  - Autowebglm : 대형 언어 모델 기반 웹 탐색 에이전트를 부트 스트랩 및 강화
  - 계획, 긴 맥락 이해 및 프로그램 합성이있는 실제 웹 에이전트
  - Mind2Web : 웹의 일반 대리인을 향해
  - 워크 플로 가이드 탐색을 사용하여 웹 인터페이스에서 미니 웨이브 ++ 강화 학습
  - WebArena : 자율적 인 에이전트를 설립하는 현실적인 웹 환경
  - Autocrawler : 웹 크롤러 생성을위한 진보적 인 이해 웹 에이전트
  - Weblinx : 다중 회전 대화가있는 실제 웹 사이트 탐색
  - WebVoyager : 대형 멀티 모달 모델을 갖춘 엔드 투 엔드 웹 에이전트 구축
  - Cogagent : GUI 에이전트를위한 시각적 언어 모델
  - Mobile-Agent-V2 : 다중 에이전트 협업을 통한 효과적인 내비게이션을 통한 모바일 장치 운영 보조원
  - WebCanvas : 온라인 환경에서 웹 에이전트 벤치마킹
  - GUI 에이전트의 새벽 : Claude 3.5 컴퓨터 사용과의 예비 사례 연구
- 소프트웨어 엔지니어
- 소프트웨어 엔지니어링 에이전트 : 설문 조사, 조경 및 비전
- ChatDev : 소프트웨어 개발을위한 커뮤니케이션 에이전트
- 다른
  - 에이전트 실험실 : LLM 에이전트를 연구 보조원으로 사용합니다
  - ResearchAgent : 큰 언어 모델을 가진 과학 문헌에 대한 반복 연구 아이디어 생성
  - Webshop : 기반 언어 에이전트와의 확장 가능한 실제 웹 상호 작용으로
  - ToolKengpt : 도구 임베딩을 통한 대규모 도구로 냉동 언어 모델 증대
  - Pointllm : 포인트 구름을 이해하도록 큰 언어 모델을 강화합니다
  - 해석 가능한 장애
  - Carexpert : 차량 내 대화 질문 답변을위한 대형 언어 모델 활용
  - SCIAGENTS : 다중 에이전트 지능형 그래프 추론을 통해 과학적 발견을 자동화합니다
평가하다
- 생성 검색 엔진에서 검증 가능성을 평가합니다
- Auto-GPT for Online Decision Making: Benchmarks and Additional Opinions
- API-Bank: A Benchmark for Tool-Augmented LLMs
- ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs
- Automatic Evaluation of Attribution by Large Language Models
- Benchmarking Large Language Models in Retrieval-Augmented Generation
- ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems
- Agent-as-a-Judge: Evaluate Agents with Agents
MultiAgent
- GENERATIVE AGENTS
- LET MODELS SPEAK CIPHERS: MULTIAGENT DEBATE THROUGH EMBEDDINGS
- War and Peace (WarAgent): Large Language Model-based Multi-Agent Simulation of World Wars
- Small LLMs Are Weak Tool Learners: A Multi-LLM Agent
- Merge, Ensemble, and Cooperate! A Survey on Collaborative Strategies in the Era of Large Language Models
- Generative Agents: Interactive Simulacra of Human Behavior
- AgentVerse: Facilitating Multi-Agent Collaboration and Exploring Emergent Behaviors in Agents
- System-1.x: Learning to Balance Fast and Slow Planning with Language Models
- Agents Thinking Fast and Slow:A Talker-Reasoner Architecture
- Generative Agent Simulations of 1,000 People
- Advanced Reasoning and Learning for Autonomous AI Agents
- 多智能体系统
  - Internet of Agents: Weaving a Web of Heterogeneous Agents for Collaborative Intelligence
  - MULTI-AGENT COLLABORATION: HARNESSING THE POWER OF INTELLIGENT LLM AGENTS
  - Magentic-One: A Generalist Multi-Agent System for Solving Complex Tasks
任务型智能体协作
- METAAGENTS: SIMULATING INTERACTIONS OF HUMAN BEHAVIORS FOR LLM-BASED TASK-ORIENTED COORDINATION VIA COLLABORATIVE
- CAMEL: Communicative Agents for "Mind" Exploration of Large Scale Language Model Society
- Exploring Large Language Models for Communication Games: An Empirical Study on Werewolf
- Communicative Agents for Software Development
- MedAgents: Large Language Models as Collaborators for Zero-shot Medical Reasoning
- METAGPT: META PROGRAMMING FOR A MULTI-AGENT COLLABORATIVE FRAMEWORK
智能体路由
- One Agent To Rule Them All: Towards Multi-agent Conversational AI
- A Multi-Agent Conversational Recommender System
基座模型路由&Ensemble
- Large Language Model Routing with Benchmark Datasets
- LLM-BL ENDER: Ensembling Large Language Models with Pairwise Ranking and Generative Fusion
- RouteLLM: Learning to Route LLMs with Preference Data
- More Agents Is All You Need
- Routing to the Expert: Efficient Reward-guided Ensemble of Large Language Models
自主学习和探索进化
- AppAgent: Multimodal Agents as Smartphone Users
- Investigate-Consolidate-Exploit: A General Strategy for Inter-Task Agent Self-Evolution
- LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error
- Empowering Large Language Model Agents through Action Learning
- Trial and Error: Exploration-Based Trajectory Optimization for LLM Agents
- OS-COPILOT: TOWARDS GENERALIST COMPUTER AGENTS WITH SELF-IMPROVEMENT
- LLAMA RIDER: SPURRING LARGE LANGUAGE MODELS TO EXPLORE THE OPEN WORLD
- PAST AS A GUIDE: LEVERAGING RETROSPECTIVE LEARNING FOR PYTHON CODE COMPLETION
- AutoGuide: Automated Generation and Selection of State-Aware Guidelines for Large Language Model Agents
- A Survey on Self-Evolution of Large Language Models
- ExpeL: LLM Agents Are Experiential Learners
- ReAct Meets ActRe: When Language Agents Enjoy Training Data Autonomy
- PROACTIVE AGENT: SHIFTING LLM AGENTS FROM REACTIVE RESPONSES TO ACTIVE ASSISTANCE
- From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning
다른
- LLM+P: Empowering Large Language Models with Optimal Planning Proficiency
- Inference with Reference: Lossless Acceleration of Large Language Models
- RecallM: An Architecture for Temporal Context Understanding and Question Answering
- LLaMA Rider: Spurring Large Language Models to Explore the Open World
- LLMs Can't Plan, But Can Help Planning in LLM-Modulo Frameworks

조각

经典论文
- WebGPT：Browser-assisted question-answering with human feedback
- WebGLM: Towards An Efficient Web-Enhanced Question Answering System with Human Preferences
- WebCPM: Interactive Web Search for Chinese Long-form Question Answering
- REPLUG: Retrieval-Augmented Black-Box Language Models
- RETA-LLM: A Retrieval-Augmented Large Language Model Toolkit
- Atlas: Few-shot Learning with Retrieval Augmented Language Models
- RRAML: Reinforced Retrieval Augmented Machine Learning
- FRESHLLMS: REFRESHING LARGE LANGUAGE MODELS WITH SEARCH ENGINE AUGMENTATION
미세 조정
- RLCF：Aligning the Capabilities of Large Language Models with the Context of Information Retrieval via Contrastive Feedback
- RA-DIT: RETRIEVAL-AUGMENTED DUAL INSTRUCTION TUNING
- CHAIN-OF-NOTE: ENHANCING ROBUSTNESS IN RETRIEVAL-AUGMENTED LANGUAGE MODELS
- RAFT: Adapting Language Model to Domain Specific RAG
- Rich Knowledge Sources Bring Complex Knowledge Conflicts: Recalibrating Models to Reflect Conflicting Evidence
其他论文
- Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation
- PDFTriage: Question Answering over Long, Structured Documents
- Walking Down the Memory Maze: Beyond Context Limit through Interactive Reading
- Active Retrieval Augmented Generation
- kNN-LM Does Not Improve Open-ended Text Generation
- Can Retriever-Augmented Language Models Reason? The Blame Game Between the Retriever and the Language Model
- DORIS-MAE: Scientific Document Retrieval using Multi-level Aspect-based Queries
- Factuality Enhanced Language Models for Open-Ended Text Generation
- KwaiAgents: Generalized Information-seeking Agent System with Large Language Models
- Complex Claim Verification with Evidence Retrieved in the Wild
- Retrieval-Augmented Generation for Large Language Models: A Survey
- ChatQA: Building GPT-4 Level Conversational QA Models
- RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture
- Benchmarking Large Language Models in Retrieval-Augmented Generation
- T-RAG: Lessons from the LLM Trenches
- ARAGOG: Advanced RAG Output Grading
- ActiveRAG: Revealing the Treasures of Knowledge via Active Learning
- OpenResearcher: Unleashing AI for Accelerated Scientific Research
- Contextual.ai-RAG2.0
- Mindful-RAG: A Study of Points of Failure in Retrieval Augmented Generation
- Memory3 : Language Modeling with Explicit Memory
优化检索
- IAG: Induction-Augmented Generation Framework for Answering Reasoning Questions
- HyDE：Precise Zero-Shot Dense Retrieval without Relevance Labels
- PROMPTAGATOR : FEW-SHOT DENSE RETRIEVAL FROM 8 EXAMPLES
- Query Rewriting for Retrieval-Augmented Large Language Models
- Query2doc: Query Expansion with Large Language Models
- Query Expansion by Prompting Large Language Models
- Anthropic Contextual Retrieval
- Multi-Level Querying using A Knowledge Pyramid
- A Survey of Query Optimization in Large Language Models
순위
- A Setwise Approach for Effective and Highly Efficient Zero-shot Ranking with Large Language Models
- RankVicuna: Zero-Shot Listwise Document Reranking with Open-Source Large Language Models
- Improving Passage Retrieval with Zero-Shot Question Generation
- Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting
- RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs
- Ranking Manipulation for Conversational Search Engines
- Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents
- Opensource Large Language Models are Strong Zero-shot Query Likelihood Models for Document Ranking
- T2Ranking: A large-scale Chinese Benchmark for Passage Ranking
- Learning to Filter Context for Retrieval-Augmented Generation
传统搜索方案
- ASK THE RIGHT QUESTIONS:ACTIVE QUESTION REFORMULATION WITH REINFORCEMENT LEARNING
- Query Expansion Techniques for Information Retrieval a Survey
- Learning to Rewrite Queries
- Managing Diversity in Airbnb Search
新向量模型用于Recall和Ranking
- Augmented Embeddings for Custom Retrievals
- BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation
- 网易为RAG设计的BCE Embedding技术报告
- BGE Landmark Embedding: A Chunking-Free Embedding Method For Retrieval Augmented Long-Context Large Language Models
- D2LLM: Decomposed and Distilled Large Language Models for Semantic Search
- Piccolo2: General Text Embedding with Multi-task Hybrid Loss Training
优化推理结果
- Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting
动态RAG（When to Search & Search Plan）
- SELF-RAG: LEARNING TO RETRIEVE, GENERATE, AND CRITIQUE THROUGH SELF-REFLECTION
- Self-Knowledge Guided Retrieval Augmentation for Large Language Models
- Self-DC: When to retrieve and When to generate Self Divide-and-Conquer for Compositional Unknown Questions
- Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs
- Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity
- REAPER: Reasoning based Retrieval Planning for Complex RAG Systems
- When to Retrieve: Teaching LLMs to Utilize Information Retrieval Effectively
- PlanRAG: A Plan-then-Retrieval Augmented Generation for Generative Large Language Models as Decision Makers
- ONEGEN: EFFICIENT ONE-PASS UNIFIED GENERATION AND RETRIEVAL FOR LLMS
- Probing-RAG: Self-Probing to Guide Language Models in Selective Document Retrieval
Graph RAG
- GRAPH Retrieval-Augmented Generation: A Survey
- From Local to Global: A Graph RAG Approach to Query-Focused Summarization
- GRAG: Graph Retrieval-Augmented Generation
- GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning
- THINK-ON-GRAPH: DEEP AND RESPONSIBLE REASONING OF LARGE LANGUAGE MODEL ON KNOWLEDGE GRAPH
- LightRAG: Simple and Fast Retrieval-Augmented Generation
- THINK-ON-GRAPH: DEEP AND RESPONSIBLE REASON- ING OF LARGE LANGUAGE MODEL ON KNOWLEDGE GRAPH
- StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization
Multistep RAG
- SYNERGISTIC INTERPLAY BETWEEN SEARCH AND LARGE LANGUAGE MODELS FOR INFORMATION RETRIEVAL
- Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions
- Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy
- RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation
- IM-RAG: Multi-Round Retrieval-Augmented Generation Through Learning Inner Monologues
- Demonstrate-Search-Predict: Composing retrieval and language models for knowledge-intensive NLP
- Search-in-the-Chain: Towards Accurate, Credible and Traceable Large Language Models for Knowledge-intensive Tasks
- MindSearch 思·索: Mimicking Human Minds Elicits Deep AI Searcher
- RQ-RAG: LEARNING TO REFINE QUERIES FOR RETRIEVAL AUGMENTED GENERATION
- AutoPRM: Automating Procedural Supervision for Multi-Step Reasoning via Controllable Question Decomposition
Timeline RAG
- Unfolding the Headline: Iterative Self-Questioning for News Retrieval and Timeline Summarization

Other Prompt Engineer(prompt_engineer)

Calibrate Before Use: Improving Few-Shot Performance of Language Models
In-Context Instruction Learning
LEARNING PERFORMANCE-IMPROVING CODE EDITS
Boosting Theory-of-Mind Performance in Large Language Models via Prompting
Generated Knowledge Prompting for Commonsense Reasoning
RECITATION-AUGMENTED LANGUAGE MODELS
kNN PROMPTING: BEYOND-CONTEXT LEARNING WITH CALIBRATION-FREE NEAREST NEIGHBOR INFERENCE
EmotionPrompt: Leveraging Psychology for Large Language Models Enhancement via Emotional Stimulus
Causality-aware Concept Extraction based on Knowledge-guided Prompting
LARGE LANGUAGE MODELS AS OPTIMIZERS
Prompts As Programs: A Structure-Aware Approach to Efficient Compile-Time Prompt Optimization
Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V
RePrompt: Automatic Prompt Editing to Refine AI-Generative Art Towards Precise Expressions
MedPrompt: Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine
DSPy Assertions: Computational Constraints for Self-Refining Language Model Pipelines
Prompts as Auto-Optimized Training Hyperparameters: Training Best-in-Class IR Models from Scratch with 10 Gold Labels
In-Context Learning for Extreme Multi-Label Classification
Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs
DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines
CONNECTING LARGE LANGUAGE MODELS WITH EVOLUTIONARY ALGORITHMS YIELDS POWERFUL PROMP OPTIMIZERS
TextGrad: Automatic "Differentiation" via Text
Task Facet Learning: A Structured Approach to Prompt Optimization
LangGPT: Rethinking Structured Reusable Prompt Design Framework for LLMs from the Programming Language
PAS: Data-Efficient Plug-and-Play Prompt Augmentation System
Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models
From Pen to Prompt: How Creative Writers Integrate AI into their Writing Practice
Does Prompt Formatting Have Any Impact on LLM Performance?
AUTO-DEMO PROMPTING: LEVERAGING GENERATED OUTPUTS AS DEMONSTRATIONS FOR ENHANCED BATCH PROMPTING
PROMPTBREEDER: SELF-REFERENTIAL SELF-IMPROVEMENT VIA PROMPT EVOLUTION

大模型图表理解和生成

조사
- Table Meets LLM: Can Large Language Models Understand Structured Table Data? A Benchmark and Empirical Study
- Large Language Models(LLMs) on Tabular Data: Prediction, Generation, and Understanding - A Survey
- Exploring the Numerical Reasoning Capabilities of Language Models: A Comprehensive Analysis on Tabular Data
즉각적인
- Large Language Models are Versatile Decomposers: Decompose Evidence and Questions for Table-based Reasoning
- Tab-CoT: Zero-shot Tabular Chain of Thought
- Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding
fintuning
- TableLlama: Towards Open Large Generalist Models for Tables
- TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios
multimodal
- MMC: Advancing Multimodal Chart Understanding with Large-scale Instruction Tuning
- ChartLlama: A Multimodal LLM for Chart Understanding and Generation
- ChartAssisstant: A Universal Chart Multimodal Language Model via Chart-to-Table Pre-training and Multitask Instruction Tuning
- ChartInstruct: Instruction Tuning for Chart Comprehension and Reasoning
- ChartX & ChartVLM: A Versatile Benchmark and Foundation Model for Complicated Chart Reasoning
- MATCHA : Enhancing Visual Language Pretraining with Math Reasoning and Chart Derendering
- UniChart: A Universal Vision-language Pretrained Model for Chart Comprehension and Reasoning
- TinyChart: Efficient Chart Understanding with Visual Token Merging and Program-of-Thoughts Learning
- Tables as Texts or Images: Evaluating the Table Reasoning Ability of LLMs and MLLMs
- TableVQA-Bench: A Visual Question Answering Benchmark on Multiple Table Domains
- TabPedia: Towards Comprehensive Visual Table Understanding with Concept Synergy

LLM+KG

개요
- Unifying Large Language Models and Knowledge Graphs: A Roadmap
- Large Language Models and Knowledge Graphs: Opportunities and Challenges
- 知识图谱与大模型融合实践研究报告2023
KG用于大模型推理
- Using Large Language Models for Zero-Shot Natural Language Generation from Knowledge Graphs
- MindMap: Knowledge Graph Prompting Sparks Graph of Thoughts in Large Language Models
- Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge Graph Question Answering
- Domain Specific Question Answering Over Knowledge Graphs Using Logical Programming and Large Language Models
- BRING YOUR OWN KG: Self-Supervised Program Synthesis for Zero-Shot KGQA
- StructGPT: A General Framework for Large Language Model to Reason over Structured Data
大模型用于KG构建
- Enhancing Knowledge Graph Construction Using Large Language Models
- LLM-assisted Knowledge Graph Engineering: Experiments with ChatGPT
- ITERATIVE ZERO-SHOT LLM PROMPTING FOR KNOWLEDGE GRAPH CONSTRUCTION
- Exploring Large Language Models for Knowledge Graph Completion

Humanoid Agents

HABITAT 3.0: A CO-HABITAT FOR HUMANS, AVATARS AND ROBOTS
Humanoid Agents: Platform for Simulating Human-like Generative Agents
Voyager: An Open-Ended Embodied Agent with Large Language Models
Shaping the future of advanced robotics
AUTORT: EMBODIED FOUNDATION MODELS FOR LARGE SCALE ORCHESTRATION OF ROBOTIC AGENTS
ROBOTIC TASK GENERALIZATION VIA HINDSIGHT TRAJECTORY SKETCHES
ALFWORLD: ALIGNING TEXT AND EMBODIED ENVIRONMENTS FOR INTERACTIVE LEARNING
MINEDOJO: Building Open-Ended Embodied Agents with Internet-Scale Knowledge
LEGENT: Open Platform for Embodied Agents

pretrain_data & pretrain

DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining
The Pile: An 800GB Dataset of Diverse Text for Language Modeling
CCNet: Extracting High Quality Monolingual Datasets fromWeb Crawl Data
WanJuan: A Comprehensive Multimodal Dataset for Advancing English and Chinese Large Models
CLUECorpus2020: A Large-scale Chinese Corpus for Pre-training Language Model
In-Context Pretraining: Language Modeling Beyond Document Boundaries
Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance
Zyda: A 1.3T Dataset for Open Language Modeling
Entropy Law: The Story Behind Data Compression and LLM Performance
Data, Data Everywhere: A Guide for Pretraining Dataset Construction
Data curation via joint example selection further accelerates multimodal learning
IMPROVING PRETRAINING DATA USING PERPLEXITY CORRELATIONS
AI models collapse when trained on recursively generated data

领域模型SFT(domain_llms)

재원
- BloombergGPT： A Large Language Model for Finance
- FinVis-GPT: A Multimodal Large Language Model for Financial Chart Analysis
- CFGPT: Chinese Financial Assistant with Large Language Model
- CFBenchmark: Chinese Financial Assistant Benchmark for Large Language Model
- InvestLM: A Large Language Model for Investment using Financial Domain Instruction Tuning
- BBT-Fin: Comprehensive Construction of Chinese Financial Domain Pre-trained Language Model, Corpus and Benchmark
- PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance
- The FinBen: An Holistic Financial Benchmark for Large Language Models
- XuanYuan 2.0: A Large Chinese Financial Chat Model with Hundreds of Billions Parameters
- Towards Trustworthy Large Language Models in Industry Domains
- When AI Meets Finance (StockAgent): Large Language Model-based Stock Trading in Simulated Real-world Environments
- A Survey of Large Language Models for Financial Applications: Progress, Prospects and Challenges
生物医疗
- MedGPT: Medical Concept Prediction from Clinical Narratives
- BioGPT：Generative Pre-trained Transformer for Biomedical Text Generation and Mining
- PubMed GPT: A Domain-specific large language model for biomedical text
- ChatDoctor：Medical Chat Model Fine-tuned on LLaMA Model using Medical Domain Knowledge
- Med-PaLM：Large Language Models Encode Clinical Knowledge[V1,V2]
- SMILE: Single-turn to Multi-turn Inclusive Language Expansion via ChatGPT for Mental Health Support
- Zhongjing: Enhancing the Chinese Medical Capabilities of Large Language Model through Expert Feedback and Real-world Multi-turn Dialogue
다른
- Galactia：A Large Language Model for Science
- Augmented Large Language Models with Parametric Knowledge Guiding
- ChatLaw Open-Source Legal Large Language Model
- MediaGPT : A Large Language Model For Chinese Media
- KITLM: Domain-Specific Knowledge InTegration into Language Models for Question Answering
- EcomGPT: Instruction-tuning Large Language Models with Chain-of-Task Tasks for E-commerce
- TableGPT: Towards Unifying Tables, Nature Language and Commands into One GPT
- LLEMMA: AN OPEN LANGUAGE MODEL FOR MATHEMATICS
- MEDITAB: SCALING MEDICAL TABULAR DATA PREDICTORS VIA DATA CONSOLIDATION, ENRICHMENT, AND REFINEMENT
- PLLaMa: An Open-source Large Language Model for Plant Science
- ADAPTING LARGE LANGUAGE MODELS VIA READING COMPREHENSION

LLM超长文本处理(long_input)

位置编码、注意力机制优化
- Unlimiformer: Long-Range Transformers with Unlimited Length Input
- Parallel Context Windows for Large Language Models
- 苏剑林, NBCE：使用朴素贝叶斯扩展LLM的Context处理长度
- Structured Prompting: Scaling In-Context Learning to 1,000 Examples
- Vcc: Scaling Transformers to 128K Tokens or More by Prioritizing Important Tokens
- Scaling Transformer to 1M tokens and beyond with RMT
- TRAIN SHORT, TEST LONG: ATTENTION WITH LINEAR BIASES ENABLES INPUT LENGTH EXTRAPOLATION
- Extending Context Window of Large Language Models via Positional Interpolation
- LongNet: Scaling Transformers to 1,000,000,000 Tokens
- https://kaiokendev.github.io/til#extending-context-to-8k
- 苏剑林,Transformer升级之路：10、RoPE是一种β进制编码
- 苏剑林,Transformer升级之路：11、将β进制位置进行到底
- 苏剑林,Transformer升级之路：12、无限外推的ReRoPE？
- 苏剑林,Transformer升级之路：15、Key归一化助力长度外推
- EFFICIENT STREAMING LANGUAGE MODELS WITH ATTENTION SINKS
- Ring Attention with Blockwise Transformers for Near-Infinite Context
- YaRN: Efficient Context Window Extension of Large Language Models
- LM-INFINITE: SIMPLE ON-THE-FLY LENGTH GENERALIZATION FOR LARGE LANGUAGE MODELS
- EFFICIENT STREAMING LANGUAGE MODELS WITH ATTENTION SINKS
上文压缩排序方案
- Lost in the Middle: How Language Models Use Long Contexts
- LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models
- LongLLMLingua: Accelerating and Enhancing LLMs in Long Context Scenarios via Prompt Compression
- Learning to Compress Prompts with Gist Tokens
- Unlocking Context Constraints of LLMs: Enhancing Context Efficiency of LLMs with Self-Information-Based Content Filtering
- LongAgent: Scaling Language Models to 128k Context through Multi-Agent Collaboration
- PCToolkit: A Unified Plug-and-Play Prompt Compression Toolkit of Large Language Models
- Are Long-LLMs A Necessity For Long-Context Tasks?
训练和模型架构方案
- Never Train from Scratch: FAIR COMPARISON OF LONGSEQUENCE MODELS REQUIRES DATA-DRIVEN PRIORS
- Soaring from 4K to 400K: Extending LLM's Context with Activation Beacon
- Never Lost in the Middle: Improving Large Language Models via Attention Strengthening Question Answering
- Focused Transformer: Contrastive Training for Context Scaling
- Effective Long-Context Scaling of Foundation Models
- ON THE LONG RANGE ABILITIES OF TRANSFORMERS
- Efficient Long-Range Transformers: You Need to Attend More, but Not Necessarily at Every Layer
- POSE: EFFICIENT CONTEXT WINDOW EXTENSION OF LLMS VIA POSITIONAL SKIP-WISE TRAINING
- LONGLORA: EFFICIENT FINE-TUNING OF LONGCONTEXT LARGE LANGUAGE MODELS
- LongAlign: A Recipe for Long Context Alignment of Large Language Models
- Data Engineering for Scaling Language Models to 128K Context
- MEGALODON: Efficient LLM Pretraining and Inference with Unlimited Context Length
- Make Your LLM Fully Utilize the Context
- Untie the Knots: An Efficient Data Augmentation Strategy for Long-Context Pre-Training in Language Models
效率优化
- Efficient Attention: Attention with Linear Complexities
- Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention
- HyperAttention: Long-context Attention in Near-Linear Time
- FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
- With Greater Text Comes Greater Necessity: Inference-Time Training Helps Long Text Generation

LLM长文本生成（long_output）

Re3 : Generating Longer Stories With Recursive Reprompting and Revision
RECURRENTGPT: Interactive Generation of (Arbitrarily) Long Text
DOC: Improving Long Story Coherence With Detailed Outline Control
Weaver: Foundation Models for Creative Writing
Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models
Into the Unknown Unknowns: Engaged Human Learning through Participation in Language Model Agent Conversations

NL2SQL

大模型方案
- DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with Self-Correction
- C3: Zero-shot Text-to-SQL with ChatGPT
- SQL-PALM: IMPROVED LARGE LANGUAGE MODEL ADAPTATION FOR TEXT-TO-SQL
- BIRD Can LLM Already Serve as A Database Interface? A BIg Bench for Large-Scale Database Grounded Text-to-SQL
- A Case-Based Reasoning Framework for Adaptive Prompting in Cross-Domain Text-to-SQL
- ChatDB: AUGMENTING LLMS WITH DATABASES AS THEIR SYMBOLIC MEMORY
- A comprehensive evaluation of ChatGPT's zero-shot Text-to-SQL capability
- Few-shot Text-to-SQL Translation using Structure and Content Prompt Learning
- Tool-Assisted Agent on SQL Inspection and Refinement in Real-World Scenarios
Domain Knowledge Intensive
- Towards Knowledge-Intensive Text-to-SQL Semantic Parsing with Formulaic Knowledge
- Bridging the Generalization Gap in Text-to-SQL Parsing with Schema Expansion
- Towards Robustness of Text-to-SQL Models against Synonym Substitution
- FinQA: A Dataset of Numerical Reasoning over Financial Data
기타
- RESDSQL: Decoupling Schema Linking and Skeleton Parsing for Text-to-SQL
- MIGA: A Unified Multi-task Generation Framework for Conversational Text-to-SQL

主流LLMS和预训练

GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL
PaLM: Scaling Language Modeling with Pathways
PaLM 2 Technical Report
GPT-4 Technical Report
Backpack Language Models
LLaMA: Open and Efficient Foundation Language Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning
OpenBA: An Open-sourced 15B Bilingual Asymmetric seq2seq Model Pre-trained from Scratch
Mistral 7B
Ziya2: Data-centric Learning is All LLMs Need
MEGABLOCKS: EFFICIENT SPARSE TRAINING WITH MIXTURE-OF-EXPERTS
TUTEL: ADAPTIVE MIXTURE-OF-EXPERTS AT SCALE
Phi1- Textbooks Are All You Need
Phi1.5- Textbooks Are All You Need II: phi-1.5 technical report
Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone
Gemini: A Family of Highly Capable Multimodal Models
In-Context Pretraining: Language Modeling Beyond Document Boundaries
LLAMA PRO: Progressive LLaMA with Block Expansion
QWEN TECHNICAL REPORT
Fewer Truncations Improve Language Modeling
ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools
Phi-4 Technical Report
Byte Latent Transformer: Patches Scale Better Than Tokens
Qwen2.5 Technical Report
DeepSeek-V3 Technical Report
Mixtral of Experts

Code Generation

Code Generation with AlphaCodium: From Prompt Engineering to Flow Engineering
Codeforces as an Educational Platform for Learning Programming in Digitalization
Competition-Level Code Generation with AlphaCode
CODECHAIN: TOWARDS MODULAR CODE GENERATION THROUGH CHAIN OF SELF-REVISIONS WITH REPRESENTATIVE SUB-MODULES
AI Coders Are Among Us: Rethinking Programming Language Grammar Towards Efficient Code Generation

降低模型幻觉(reliability)

조사
- Large language models and the perils of their hallucinations
- Survey of Hallucination in Natural Language Generation
- Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models
- A Survey of Hallucination in Large Foundation Models
- A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions
- Calibrated Language Models Must Hallucinate
- Why Does ChatGPT Fall Short in Providing Truthful Answers?
Prompt or Tunning
- R-Tuning: Teaching Large Language Models to Refuse Unknown Questions
- PROMPTING GPT-3 TO BE RELIABLE
- ASK ME ANYTHING: A SIMPLE STRATEGY FOR PROMPTING LANGUAGE MODELS
- On the Advance of Making Language Models Better Reasoners
- RefGPT: Reference → Truthful & Customized Dialogues Generation by GPTs and for GPTs
- Rethinking with Retrieval: Faithful Large Language Model Inference
- GENERATE RATHER THAN RETRIEVE: LARGE LANGUAGE MODELS ARE STRONG CONTEXT GENERATORS
- Large Language Models Struggle to Learn Long-Tail Knowledge
Decoding Strategy
- Trusting Your Evidence: Hallucinate Less with Context-aware Decoding
- SELF-REFINE:ITERATIVE REFINEMENT WITH SELF-FEEDBACK
- Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference
- Inference-Time Intervention: Eliciting Truthful Answers from a Language Model
- Enabling Large Language Models to Generate Text with Citations
- Factuality Enhanced Language Models for Open-Ended Text Generation
- KL-Divergence Guided Temperature Sampling
- KCTS: Knowledge-Constrained Tree Search Decoding with Token-Level Hallucination Detection
- CONTRASTIVE DECODING IMPROVES REASONING IN LARGE LANGUAGE MODEL
- Contrastive Decoding: Open-ended Text Generation as Optimization
Probing and Detection
- Automatic Evaluation of Attribution by Large Language Models
- QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization
- Zero-Resource Hallucination Prevention for Large Language Models
- LLM Lies: Hallucinations are not Bugs, but Features as Adversarial Examples
- Language Models (Mostly) Know What They Know
- LM vs LM: Detecting Factual Errors via Cross Examination
- Do Language Models Know When They're Hallucinating References?
- SELFCHECKGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models
- SELF-CONTRADICTORY HALLUCINATIONS OF LLMS: EVALUATION, DETECTION AND MITIGATION
- Self-consistency for open-ended generations
- Improving Factuality and Reasoning in Language Models through Multiagent Debate
- Selective-LAMA: Selective Prediction for Confidence-Aware Evaluation of Language Models
- Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs
Reviewing and Calibration
- Truth-o-meter: Collaborating with llm in fighting its hallucinations
- RARR: Researching and Revising What Language Models Say, Using Language Models
- CRITIC: LARGE LANGUAGE MODELS CAN SELFCORRECT WITH TOOL-INTERACTIVE CRITIQUING
- VALIDATING LARGE LANGUAGE MODELS WITH RELM
- PURR: Efficiently Editing Language Model Hallucinations by Denoising Language Model Corruptions
- Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback
- Adaptive Chameleon or Stubborn Sloth: Unraveling the Behavior of Large Language Models in Knowledge Clashes
- Woodpecker: Hallucination Correction for Multimodal Large Language Models
- Zero-shot Faithful Factual Error Correction
- LARGE LANGUAGE MODELS CANNOT SELF-CORRECT REASONING YET
- Training Language Models to Self-Correct via Reinforcement Learning

大模型评估（evaluation）

事实性评估
- TRUSTWORTHY LLMS: A SURVEY AND GUIDELINE FOR EVALUATING LARGE LANGUAGE MODELS' ALIGNMENT
- TrueTeacher: Learning Factual Consistency Evaluation with Large Language Models
- TRUE: Re-evaluating Factual Consistency Evaluation
- FACTSCORE: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation
- KoLA: Carefully Benchmarking World Knowledge of Large Language Models
- When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories
- FACTOOL: Factuality Detection in Generative AI A Tool Augmented Framework for Multi-Task and Multi-Domain Scenarios
- LONG-FORM FACTUALITY IN LARGE LANGUAGE MODELS
检测任务
- Detecting Pretraining Data from Large Language Models
- Scalable Extraction of Training Data from (Production) Language Models
- Rethinking Benchmark and Contamination for Language Models with Rephrased Samples

推理优化(inference)

Fast Transformer Decoding: One Write-Head is All You Need
Fast Inference from Transformers via Speculative Decoding
GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
Skeleton-of-Thought: Large Language Models Can Do Parallel Decoding
SkipDecode: Autoregressive Skip Decoding with Batching and Caching for Efficient LLM Inference
BatchPrompt: Accomplish more with less
You Only Cache Once: Decoder-Decoder Architectures for Language Models
XGrammar: Flexible and Efficient Structured Generation Engine for Large Language Models
Precise Length Control in Large Language Models
Top-nσ: Not All Logits Are You Need
Prompt Cache: Modular Attention Reuse for Low-Latency Inference

模型知识编辑黑科技(model_edit)

ROME：Locating and Editing Factual Associations in GPT
Transformer Feed-Forward Layers Are Key-Value Memories
MEMIT: Mass-Editing Memory in a Transformer
MEND：Fast Model Editing at Scale
Editing Large Language Models: Problems, Methods, and Opportunities
Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch
Automata-based constraints for language model decoding
SGLang: Efficient Execution of Structured Language Model Programs

模型合并和剪枝(model_merge)

Blending Is All You Need: Cheaper, Better Alternative to Trillion-Parameters LLM
DARE Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch
EDITING MODELS WITH TASK ARITHMETIC
TIES-Merging: Resolving Interference When Merging Models
LM-Cocktail: Resilient Tuning of Language Models via Model Merging
SLICEGPT: COMPRESS LARGE LANGUAGE MODELS BY DELETING ROWS AND COLUMNS
Checkpoint Merging via Bayesian Optimization in LLM Pretrainin
Arcee's MergeKit: A Toolkit for Merging Large Language Models

MOE

Tricks for Training Sparse Translation Models
ST-MoE: Designing Stable and Transferable Sparse Expert Models
Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
GLaM: Efficient Scaling of Language Models with Mixture-of-Experts
GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding
OUTRAGEOUSLY LARGE NEURAL NETWORKS: THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER
DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale
Dense-to-Sparse Gate for Mixture-of-Experts
Efficient Large Scale Language Modeling with Mixtures of Experts

Multimodal

InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning
Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models
LLava Visual Instruction Tuning
MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models
BLIVA: A Simple Multimodal LLM for Better Handling of Text-Rich Visual Questions
mPLUG-Owl : Modularization Empowers Large Language Models with Multimodality
LVLM eHub: A Comprehensive Evaluation Benchmark for Large VisionLanguage Models
Mirasol3B: A Multimodal Autoregressive model for time-aligned and contextual modalities
PaLM-E: An Embodied Multimodal Language Model
TabLLM: Few-shot Classification of Tabular Data with Large Language Models
AnyGPT: Unified Multimodal LLM with Discrete Sequence Modeling
Sora tech report
Towards General Computer Control: A Multimodal Agent for Red Dead Redemption II as a Case Study
OCR
- Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models
- Large OCR Model:An Empirical Study of Scaling Law for OCR
- ON THE HIDDEN MYSTERY OF OCR IN LARGE MULTIMODAL MODELS
PreFLMR: Scaling Up Fine-Grained Late-Interaction Multi-modal Retrievers
Many-Shot In-Context Learning in Multimodal Foundation Models
Adding Conditional Control to Text-to-Image Diffusion Models
Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs
ShowUI: One Vision-Language-Action Model for GUI Visual Agent

요약

A Survey of Large Language Models
Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing
Paradigm Shift in Natural Language Processing
Pre-Trained Models: Past, Present and Future
What Language Model Architecture and Pretraining objects work best for zero shot generalization
Towards Reasoning in Large Language Models: A Survey
Reasoning with Language Model Prompting: A Survey
An Overview on Language Models: Recent Developments and Outlook
A Survey of Large Language Models[6.29更新版]
Unifying Large Language Models and Knowledge Graphs: A Roadmap
Augmented Language Models: a Survey
Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey
Challenges and Applications of Large Language Models
The Rise and Potential of Large Language Model Based Agents: A Survey
Large Language Models for Information Retrieval: A Survey
AI Alignment: A Comprehensive Survey
Trends in Integration of Knowledge and Large Language Models: A Survey and Taxonomy of Methods, Benchmarks, and Applications
Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook
A Survey on Language Models for Code
Model-as-a-Service (MaaS): A Survey

大模型能力探究

In Context Learning
- LARGER LANGUAGE MODELS DO IN-CONTEXT LEARNING DIFFERENTLY
- How does in-context learning work? A framework for understanding the differences from traditional supervised learning
- Why can GPT learn in-context? Language Model Secretly Perform Gradient Descent as Meta-Optimizers
- Rethinking the Role of Demonstrations What Makes incontext learning work?
- Trained Transformers Learn Linear Models In-Context
- In-Context Learning Creates Task Vectors
- FUNCTION VECTORS IN LARGE LANGUAGE MODELS
涌现能力
- Sparks of Artificial General Intelligence: Early experiments with GPT-4
- Emerging Ability of Large Language Models
- LANGUAGE MODELS REPRESENT SPACE AND TIME
- Are Emergent Abilities of Large Language Models a Mirage?
能力评估
- IS CHATGPT A GENERAL-PURPOSE NATURAL LANGUAGE PROCESSING TASK SOLVER?
- Can Large Language Models Infer Causation from Correlation?
- Holistic Evaluation of Language Model
- Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond
- Theory of Mind May Have Spontaneously Emerged in Large Language Models
- Beyond The Imitation Game: Quantifying And Extrapolating The Capabilities Of Language Models
- Do Models Explain Themselves? Counterfactual Simulatability of Natural Language Explanations
- Demystifying GPT Self-Repair for Code Generation
- Evidence of Meaning in Language Models Trained on Programs
- Can Explanations Be Useful for Calibrating Black Box Models
- On the Robustness of ChatGPT: An Adversarial and Out-of-distribution Perspective
- Language acquisition: do children and language models follow similar learning stages?
- Language is primarily a tool for communication rather than thought
领域能力
- Capabilities of GPT-4 on Medical Challenge Problems
- Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine
Understanding LLM Embeddings for Regression

Prompt Tunning范式

Tunning Free Prompt
- GPT2: Language Models are Unsupervised Multitask Learners
- GPT3: Language Models are Few-Shot Learners
- LAMA: Language Models as Knowledge Bases?
- AutoPrompt: Eliciting Knowledge from Language Models
Fix-Prompt LM Tunning
- T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
- PET-TC(a): Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
- PET-TC(b): PETSGLUE It's Not Just Size That Matters Small Language Models are also few-shot learners
- GenPET: Few-Shot Text Generation with Natural Language Instructions
- LM-BFF: Making Pre-trained Language Models Better Few-shot Learners
- ADEPT: Improving and Simplifying Pattern Exploiting Training
Fix-LM Prompt Tunning
- Prefix-tuning: Optimizing continuous prompts for generation
- Prompt-tunning: The power of scale for parameter-efficient prompt tuning
- P-tunning: GPT Understands Too
- WARP: Word-level Adversarial ReProgramming
LM + Prompt Tunning
- P-tunning v2: Prompt Tuning Can Be Comparable to Fine-tunning Universally Across Scales and Tasks
- PTR: Prompt Tuning with Rules for Text Classification
- PADA: Example-based Prompt Learning for on-the-fly Adaptation to Unseen Domains
Fix-LM Adapter Tunning
- LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
- LST: Ladder Side-Tuning for Parameter and Memory Efficient Transfer Learning
- Parameter-Efficient Transfer Learning for NLP
- INTRINSIC DIMENSIONALITY EXPLAINS THE EFFECTIVENESS OF LANGUAGE MODEL FINE-TUNING
- DoRA: Weight-Decomposed Low-Rank Adaptation
Representation Tuning
ReFT: Representation Finetuning for Language Models

Timeseries LLM

TimeGPT-1
Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook
TIME-LLM: TIME SERIES FORECASTING BY REPROGRAMMING LARGE LANGUAGE MODELS
Large Language Models Are Zero-Shot Time Series Forecasters
TEMPO: PROMPT-BASED GENERATIVE PRE-TRAINED TRANSFORMER FOR TIME SERIES FORECASTING
Generative Pre-Training of Time-Series Data for Unsupervised Fault Detection in Semiconductor Manufacturing
Lag-Llama: Towards Foundation Models for Time Series Forecasting
PromptCast: A New Prompt-based Learning Paradigm for Time Series Forecasting

Quanization

AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
LLM-QAT: Data-Free Quantization Aware Training for Large Language Models
LLM.int8() 8-bit Matrix Multiplication for Transformers at Scale
SmoothQuant Accurate and Efficient Post-Training Quantization for Large Language Models

Adversarial Attacking

Curiosity-driven Red-teaming for Large Language Models
Red Teaming Language Models with Language Models
EXPLORE, ESTABLISH, EXPLOIT: RED-TEAMING LANGUAGE MODELS FROM SCRATCH

대화 모델

LaMDA: Language Models for Dialog Applications
Sparrow: Improving alignment of dialogue agents via targeted human judgements
BlenderBot 3: a deployed conversational agent that continually learns to responsibly engage
How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation
DialogStudio: Towards Richest and Most Diverse Unified Dataset Collection for Conversational AI
Enhancing Chat Language Models by Scaling High-quality Instructional Conversations
DiagGPT: An LLM-based Chatbot with Automatic Topic Management for Task-Oriented Dialogue

기타

Pretraining on the Test Set Is All You Need 哈哈作者你是懂讽刺文学的
Learnware: Small Models Do Big
The economic potential of generative AI
A PhD Student's Perspective on Research in NLP in the Era of Very Large Language Models

확장하다