Deep Learning Paper
1.0.0
NLP 및 딥 러닝과 관련된이 논문을 읽었습니다. 다음은 기본부터 고급까지 다양한 논문입니다. ? 또한 테이블에 첨부 된 링크를 클릭하여 내 한국 종이 리뷰를 확인할 수 있습니다.
내 블로그에서 더 많은 종이 검토, 코드 구현 및 수학 설명을 볼 수 있습니다 <- 여기를 클릭하십시오.
나는 딥 러닝 기술을 자세히 설명하기 위해 여러 기사를 씁니다. 이 기사는 아래 표에서 찾을 수 있습니다.
| 제목 | 블로그 링크 |
|---|---|
| NLP에서 스케일링 법률이 어떻게 개발 되었습니까? ? | https://cartinoe5930.tistory.com/entry/how-has-scaling-loveloved-in-nlp-%f0%9f%A4%94-nlp%EC%97%90%EC%84 %9C- 스케일-며%EB%8A%94-%EC%96%B4%EB%96%BB%BB%EA%B2%8C-%EB%B0%9C%EC%A0%84%EB%90%98%EC%97%88%EC%9D%84%EA%B9%8C |
| 폐쇄 소스? 오픈 소스 ?? 저게 뭐에요?? ?? | https://cartinoe5930.tistory.com/entry/the-hopes-of-researchers-open-source-%F0%9f%A4%97- %EC%97%B0%EA%B5%AC%AC%EC%9E%90%EB%93%A4%EC%9D%98-%ED%9D%AC%A7%9D- 오렌 소스-%F0%A4%97 |
| LM의 문맥 창, 길어야합니까? 짧아야합니까? ?? | https://cartinoe5930.tistory.com/entry/lm%EC%9D%98-context-window-%EA%B8%B8%EC%96%B4%EC%95%B C-%ED%95%A0%EA%B9%8C-%EC%A7%A7%EC%95%84%EC%95%BC-%ED%95%A0%EA%B9%8C-%F0%9f%93%8f%F0%9f%A4%A8 |
| LM을 평가하는 가장 최적의 방법은 무엇입니까? ? | https://cartinoe5930.tistory.com/entry/lm%EC%9D%84-%EA%B0%80%EC%9E%A5-%EC%B5%9C%EC%A0%81%EC%9C%EBC%EB%9C-%ED%8F%89%EA% B0%80%ED%95%A0%EC%88%98-%EC%9E%88%EB%8A%94-%eB%B0%A9%EB%B2%95%EC%9D%80-%AC%B4%EC%97%87%EC%9D%BC%B9%8C-%9F%98%8E |
| chatgpt의 성능이 악화되고 있습니까?!?!? ?? | https://cartinoe5930.tistory.com/entry/chatgpt%EC%9D%9d%9d%98-%EC%84%B1%EB%8A 5%EC%9D%B4-%EC%95% 88-%EC%A2%8B%EC%95%84%EC%A7%80%EA%B3%A0-%EC%9E%88%EB%8B%A4%EA%B5%AC-%AC-%9f%98%B2%F0%9f%98%B2 |
| 당신도 미세 조정할 수 있습니다! PEFT와 함께? | https://cartinoe5930.tistory.com/entry/%EB%8B%B9%EC%8B%A0%EB%8F%84-Fine-tuning- %ED%95%A0-%EC%88%98-%EC%9E%88%EC%8A%B5%EB%8B%88%EB%8B%A4- With-PEFT-%F0%9F%A4%97 |
| 인간처럼 단계별로 생각합시다! ?? | https://cartinoe5930.tistory.com/entry/%ED%95%9C-%EB%8B%A8%A8%B3%84-%ED%95%9C-%EB%8B%A8%EA%B3%84%EC%94%A9- %EC%9d%B8%EA%B0%84%EC%B2%98%EB%9f%BC-%BC-%EC%83%9D EA%B0%81%ED%95%B4%EB%B3%B4%EC%9E%90%F0%A7%A0%A0%F0%9F%94 |
| 미세 조정 방법의 개발 과정 !! 미세 조정에서 rlhf? ➡️? | https://cartinoe5930.tistory.com/entry/fine-tuning-method%EC%9D%9198-%EC%A7%84%ED%94-%EA%BC%BC%EC%A0%95-%9F%96%96%E2%9E9E9E9E9E99E9.90F%9.97F%9E9.97F%9E9.20% |
| chatgpt를 미세 조정할 시간입니다 !! ⏰ | https://cartinoe5930.tistory.com/entry/%EC%9D%B4%EC%EC%A0%9C%EB%8A%94-CHATGPT%EB%A5%BC-Fine-TUNING-%ED%ED%A0-%EC%8B%9C%EA%B0%84-%B%8F%B0 |
| 소음이 LLM을 더 좋게 만듭니다! -Eftune | https://cartinoe5930.tistory.com/entry/noise-makes-llm-better-neftune-%9f%98%89 |
| 종이 제목 | 종이 또는 참조 사이트 링크 | 종이 검토 |
|---|---|---|
| 임베딩 매트릭스 | https://wikidocs.net/book/2155 | https://cartinoe5930.tistory.com/entry/embedding-matrix-ened%95%99%EC%8A%B5 |
| LSTM : 장거리 용어 메모리 | https://colah.github.io/posts/2015-08-understanding-lstms/ | https://cartinoe5930.tistory.com/entry/%EC%95%8C%EA%B8%B0-%EC%89%BD%EA%B%B%8C-LSTM-Networks-%EC%9D%B4%ED%95%B4%ED95%98%EA%B8%B0 |
| GRU : 통계 기계 번역을위한 RNN 인코더 디코더를 사용한 학습 문구 표현 | https://arxiv.org/abs/1406.1078 | https://cartinoe5930.tistory.com/entry/gru-empirical-evaluation-of-gated-recurrent-networks-on-Sequence-modeling-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| LSTM vs. GRU : 시퀀스 모델링에 대한 게이트 재발 신경 네트워크의 경험적 평가 | https://arxiv.org/abs/1412.3555 | https://cartinoe5930.tistory.com/entry/lstm-vs-gru-%EB%AD%90%EA%B0%80-%EB%8D%94-%EB%82%98%EC%9D%84%EA%B9%8C-emp irical-evaluation-of-Gated-Current-networks-on-equence-modeling-%85%BC%eB%AC%B8-%eb%A6%AC%EB%B7%B0 |
| 종이 제목 | 종이 또는 참조 사이트 링크 | 종이 검토 |
|---|---|---|
| 변압기 :주의가 필요한 전부입니다 | https://arxiv.org/abs/1706.03762 | https://cartinoe5930.tistory.com/entry/transformer-attention-is-lneed-ned-ned-ned-ned-ened-ened-eneb%85%BC%EB%AC%B8-%EB%A6%AC%B7%B0 |
| Elmo : 깊은 맥락화 된 단어 표현 | https://arxiv.org/abs/1802.05365 | https://cartinoe5930.tistory.com/entry/pre-trained-language-modeling-paper-reading1-elmo-deep-contextualized-word-representations |
| BERT : 언어 이해를위한 깊은 양방향 변압기의 사전 훈련 | https://arxiv.org/abs/1810.04805 | https://cartinoe5930.tistory.com/entry/pre-trained-manguage-modeling-paper-praper-bert-pre--pre--------- 트랜스 sformers-for-language-understanding |
| GPT-1 : 생성 사전 훈련에 의한 언어 이해 향상 | https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf | https://cartinoe5930.tistory.com/entry/pre-trained-trained-mange-modeling-paper-reading3-gpt-gpting-language-understanding-s-generative-pre-training |
| GPT-2 : 언어 모델은 감독되지 않은 멀티 태스킹 학습자입니다 | https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf | https://cartinoe5930.tistory.com/entry/gpt-2-language-models-are-unsupervised-multitask-learners-agneb%85%BC%EB%AC%B8-%EB%A6%EB%B7%B0 |
| GPT-3 : 언어 모델은 소수의 학습자입니다 | https://cartinoe5930.tistory.com/entry/gpt-3-language-models-are-few-shot-learners-%EB%85%BC%EB%AC%B8-%EB%A6%EB%B7%B0 | https://cartinoe5930.tistory.com/entry/gpt-3-language-models-are-few-shot-learners-%EB%85%BC%EB%AC%B8-%EB%A6%EB%B7%B0 |
| Transformer-XL : 고정 길이의 컨텍스트를 넘어 세심한 언어 모델 | https://arxiv.org/abs/1901.02860 | https://cartinoe5930.tistory.com/entry/transformer-xl-attentive-manguage-models-beyond-a-fixed-length-context-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| 드문 변압기 : 희소 한 변압기로 긴 시퀀스를 생성합니다 | https://arxiv.org/abs/1904.10509 | https://cartinoe5930.tistory.com/entry/sparse-transformers-generating-long-long-long-squence-with-sparse-transformers-%EB%85%BC%EB%AC%B8-%EB%A6%EB%B7%B0 |
| XLNET : 언어 이해를위한 일반적인 자동 회귀 전 사전 조정 | https://arxiv.org/abs/1906.08237 | https://cartinoe5930.tistory.com/entry/xlnet-generalized-pratreation-por-language-understanding-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Spanbert : 스팬을 표현하고 예측하여 사전 훈련 개선 | https://arxiv.org/abs/1907.10529 | https://cartinoe5930.tistory.com/entry/spanbert-improving-pre-training-by-representing-and-predicting-spans-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Roberta : 강력하게 최적화 된 Bert 사전 훈련 접근법 | https://arxiv.org/abs/1907.11692 | https://cartinoe5930.tistory.com/entry/roberta-a-robustly-optly-bert-pretraining-actroach-%EB%85%BC%EB%AC%B8-%EB%A6%EB%B7%B0 |
| 문장-베르트 : 샴 베르트 네트워크를 사용한 문장 임베딩 | https://arxiv.org/abs/1908.10084 | https://cartinoe5930.tistory.com/entry/sentence-bert-nentence-embeddings-using-siamese-bert-networks-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Albert : 언어 표현에 대한 자기 감독 학습을위한 라이트 버트 | https://arxiv.org/abs/1909.11942 | https://cartinoe5930.tistory.com/entry/albert-a-lite-bert-for-self-selfervised-of-language-representations-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| BART : 자연 언어 생성, 번역 및 이해를위한 시퀀스-시퀀스 사전 훈련 미용사 | https://arxiv.org/abs/1910.13461 | https://cartinoe5930.tistory.com/entry/bart-denoising-sected-to-pre-pre-pre--training-for-natural-language-generation-translation-and-corrension-%EB%BC%EB%B8-%EB6%AC%EB7%B0 |
| 프리 LN 변압기 : 변압기 아키텍처의 층 정규화 | https://arxiv.org/abs/2002.04745 | https://cartinoe5930.tistory.com/entry/pre-ln-transformer-on-layer-normalization-in-the-transformer-architecture-955%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Electra : 발전기가 아닌 판별 자로 사전 훈련 텍스트 인코더 | https://arxiv.org/abs/2003.10555 | https://cartinoe5930.tistory.com/entry/electra-pre-training-text-encoders-as-discriminators-rather- than-generators |
| Longformer : Long-Document Transformer | https://arxiv.org/abs/2004.05150 | https://cartinoe5930.tistory.com/entry/longformer-the-long-document-transformer-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| BIGBIRD : 더 긴 시퀀스를위한 변압기 | https://arxiv.org/abs/2007.14062 | https://cartinoe5930.tistory.com/entry/bigbird-transformers-for-longer-sectences-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB9%B0 |
| WebGpt : 인간의 피드백을 가진 브라우저 지원 질문-응답 | https://arxiv.org/abs/2112.09332 | https://cartinoe5930.tistory.com/entry/webgpt-browser-assisted-question-answering-with-human--feedback-%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| OPT : 사전 훈련 된 변압기 언어 모델 열기 | https://arxiv.org/abs/2205.01068 | https://cartinoe5930.tistory.com/entry/opt-open-pre-traint-transformer-manguage-models-%EB%85%BC%EB%AC%B8-%EB%A6%EB%B7%B0 |
| Mamba : 선택적 상태 공간을 가진 선형 시간 시퀀스 모델링 | https://arxiv.org/abs/2312.00752 | 계획 없음! |
| 종이 제목 | 종이 또는 참조 사이트 링크 | 종이 검토 |
|---|---|---|
| Tinybert : 자연어 이해를위한 증류점 | https://arxiv.org/abs/1909.10351 | https://cartinoe5930.tistory.com/entry/tinybert-distilling-bert-for-natural-understanding-%EB%85%BC%EB%AC%B8-%EB%A6%EB%B7%B0 |
| Distilbert : Bert의 증류 버전 | https://arxiv.org/abs/1910.01108 | https://cartinoe5930.tistory.com/entry/distilbert-a-distilled-bersion-of-bert-smaller-faster-cheper-and-lighter-%BC%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| 중요한 크기가 아닙니다 : 소규모 언어 모델도 소수의 학습자입니다 (PET 응용) | https://arxiv.org/abs/2009.07118 | https://cartinoe5930.tistory.com/entry/its-not-just-size-that-mall-language-mallelels-are-few-shot-learners-agneb%85%BC%AC%B8-%EB%A6%AC%EB%B7%B0 |
| 종이 제목 | 종이 또는 참조 사이트 링크 | 종이 검토 |
|---|---|---|
| Chinchilla : 훈련 컴퓨팅 최적의 대형 언어 모델 | https://arxiv.org/abs/2203.15556 | https://cartinoe5930.tistory.com/entry/%EC%A7%80%EA%B8—%EA%B9%8C%EC%A7%80%E C%9d%98-LM- 스케일-며느리%EC%97%90%EB%8A%94-%EB%AC%B8%EC%A0%9C%EC%A0%90%EC%9D%B4- %EC%9E%88%EB%8B%A4-%F0%9F%98%B6%E2%80%8D%F0%9F%8C%AB%ef%B8%8F-Chinchilla-Training-Commpute- 최적의 최적 인체-%EB%85%BC%AC%B8-%A6%EB%B7 B0 |
| Pythia : 교육 및 스케일링 전반에 걸쳐 큰 언어 모델 분석을위한 스위트 | https://arxiv.org/abs/2304.01373 | 계획 없음! |
| 리마 : 정렬에 대한 것이 적습니다 | https://arxiv.org/abs/2305.11206 | https://cartinoe5930.tistory.com/entry/lima-less-is-more-for-alignment-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB9%B0 |
| 라마 : 개방적이고 효율적인 기초 언어 모델 | https://arxiv.org/abs/2302.13971 | https://cartinoe5930.tistory.com/entry/llama-open-and--efficient-foundation-language-models-%EB%85%BC%EB%AC%B8-%EB%A6%AC%B7%B0 |
| Wizardlm : 대형 언어 모델이 복잡한 지침을 따를 수 있도록 권한을 부여합니다 | https://arxiv.org/abs/2304.12244 | https://cartinoe5930.tistory.com/entry/open-domain-instruction%EC%9D%98-%ED%9A%A8%EA%BC-%F0%9F%AA%84-Wiz ARDLM-Empowering-large-langue-models-to-follow-complex-instructions-%%85%BC%eB%AC%B8-%eb%a6%AC%EB%B7%B0 |
| WizardCoder : Evol-Instruct를 가진 대형 언어 모델에 강력한 권한 | https://arxiv.org/abs/2306.08568 | https://huggingface.co/wizardlm/wizardcoder-15b-v1.0 |
| 마법 | https://arxiv.org/abs/2308.09583 | https://huggingface.co/wizardlm/wizardmath-70b-v1.0 |
| Alpaca : 강력하고 복제 가능한 명령어를 따르는 모델 | https://crfm.stanford.edu/2023/03/13/alpaca.html | https://cartinoe5930.tistory.com/entry/alpaca-a-strong-replicable-instruction-following-model-%EB%A6%AC%EB%B7%B0 |
| VICUNA : GPT-4에 감동을주는 오픈 소스 챗봇 | https://lmsys.org/blog/2023-03-30-vicuna/ | https://cartinoe5930.tistory.com/entry/vicuna-an-open-source-chatbot-impressing-4-%EB%A6%AC%EB%B7%B0 |
| 코알라 : 학업 연구를위한 대화 모델 | https://bair.bair.berkeley.edu/blog/2023/04/03/koala/ | https://cartinoe5930.tistory.com/entry/%EC%A4%91%EC%9A%94%ED%95%9C-%EA%B4-%EA%BA%BE%EC%9D%B4%EC 비 |
| Baize : 자체 chat 데이터에 대한 매개 변수 효율적인 튜닝이있는 오픈 소스 채팅 모델 | https://arxiv.org/abs/2304.01196 | https://cartinoe5930.tistory.com/entry/%F0%9F%90%B2Baize-an-Open-Source-Cat--Cat-Model-with-parameter- efficient-on-self-chat-data-enb%B7 B7의 B7 B7 |
| 데이터로 제한된 언어 모델 스케일링 | https://arxiv.org/abs/2305.16264 | https://www.youtube.com/watch?v=TK0-Sitkcmw&pp=ygugahr0chm6ly9hcnhpdi5vcmcvywjzlzmduumynjq%3d |
| Falcon & RefinedWeb | https://arxiv.org/abs/2306.01116 | https://cartinoe5930.tistory.com/entry/open-llm-leaderboard%EB%A5%BC-%ED%9C%A9%EC%93%B4-Falcon%F0%9F%A6%85-LLM-Falcon-RefinedWeb |
| ORCA : GPT-4의 복잡한 설명 흔적에서 진보적 인 학습 | https://arxiv.org/pdf/2306.02707 | https://cartinoe5930.tistory.com/entry/%F0%9F%90%ACORCA-Progristive-Learning-From-complex- 외출 트레이스 ---4-%EB%85%BC%EB%B8-%EB6%AC%EB7%B0 |
| PHI-1 : 교과서 만 있으면됩니다 | https://arxiv.org/abs/2306.11644 | https://cartinoe5930.tistory.com/entry/enry/%ED%95%84%EC%9A%94%ED%95%9C-%EA%B4-%EC%98%A4%EC%A7%81-agenea%90%EA9B3%BC%EC%84%9C-%EC-%EC %A4%80%EC%9D%98-%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%BF%90-%F0%9F%93%96-PHI-1- 텍스트-are-aly-aly-need-%eB%85%BC%BC%eB%B8-%Ac%eB%B7%B0 |
| Alpagasus : 데이터가 적은 더 나은 알파카를 훈련시킵니다 | https://arxiv.org/abs/2307.08701 | 나중에 업로드됩니다! |
| LLAMA 2 : 오픈 파운데이션 및 미세 조정 된 채팅 모델 | https://arxiv.org/abs/2307.09288 | https://cartinoe5930.tistory.com/entry/the-hopes-of-researchers-open-source-%F0%9f%A4%97- %EC%97%B0%EA%B5%AC%AC%EC%9E%90%EB%93%A4%EC%9D%98-%ED%9D%AC%A7%9D- 오렌 소스-%F0%A4%97 |
| 플래더러스 : LLM의 빠르고 저렴하며 강력한 세분화 | https://arxiv.org/abs/2308.07317 | 나중에 업로드됩니다! |
| Code Llama : 코드의 열린 기초 모델 | https://arxiv.org/abs/2308.12950 | 계획이 없습니다 |
| FLM-101B : 오픈 LLM 및 $ 100K 예산으로 훈련하는 방법 | https://arxiv.org/pdf/2309.03852 | 계획 없음! |
| 교과서 만 있으면됩니다 II : PHI-1.5 기술 보고서 | https://arxiv.org/abs/2309.05463 | https://huggingface.co/microsoft/phi-1_5 |
| OpenChat : 혼합 품질의 데이터로 오픈 소스 언어 모델 발전 | https://arxiv.org/abs/2309.11235 | https://github.com/imoneoi/openchat |
| 미스트랄 7b | https://arxiv.org/abs/2310.06825 | https://mistral.ai/news/announcing-mistral-7b/ |
| PROMETHEUS : 언어 모델에서 세분화 된 평가 기능을 유도합니다 | https://arxiv.org/abs/2310.08491 | https://huggingface.co/papers/2310.08491#652a8e7f30355beba68c1be6 |
| Zephyr : LM 정렬의 직접 증류 | https://arxiv.org/abs/2310.16944 | https://www.youtube.com/watch?v=TKZBG3MKSIO |
| ORCA2 : 소규모 언어 모델 교육 추론 방법 | https://arxiv.org/abs/2311.11045 | https://www.microsoft.com/en-us/research/blog/orca-2-teaching-small-mallelels-how-to-reason/ |
| Falcon 시리즈 오픈 언어 모델 | https://arxiv.org/abs/2311.16867 | 계획 없음! |
| SOLAR 10.7B : 간단하면서도 효과적인 깊이 업 스케일링으로 대형 언어 모델 스케일링 | https://arxiv.org/abs/2312.15166 | 계획 없음! |
| 종이 제목 | 종이 또는 참조 사이트 링크 | 종이 검토 |
|---|---|---|
| Lamda : 대화 상자 응용 프로그램을위한 언어 모델 | 블로그 : https://ai.googleblog.com/2022/01/lamda-towards-safe-grounded-and-high.html, 종이 : https://arxiv.org/abs/2201.08239 | https://cartinoe5930.tistory.com/entry/%EA%B5%AC%EA%B8%80%EC%9D%98-%EC%B5%9C%EA%B0%95-%EC%B1%979B47-lamda%EC%97-%EB98C %80%ED%95%B4-%EC%95%8C%EC%95%84%EB%B3%B3%B4%EC%9E%90-LANGURAGE-MODELS-or-DIALOG- 적용-%EB%85%BC%EB%AC%B8-%A6%AC%EB%B7%B0 |
| Palm : 경로로 언어 모델링을 스케일링합니다 | 블로그 : https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to-html, 종이 : https://arxiv.org/abs/2204.02311 | 1 : https://cartinoe5930.tistory.com/entry/lamda%EC%9D%9D%98-%EB%92%A4%EB%A5%BC-%EC%9E9E9E9E9EB%8A%94-pathways%EB%A5%BC-%ED% 99%9c%EC%9A%A9%a9%ed%95%9C-%EC%B4%88%EA%B1%B0%EB%8C%80-%EC%96%B8%EC%96%B4-%EB%AA%A8%EB%8d%B8-PALM-%EB%A6%EB%B0, 2 : https://cartinoe5930.tistory.com/entry/lamda%EC%9D%98-%EB%92%A4%EB%A5%BC-%EC%9E9E9E9E9EB%8A%94-pathways%EB%A5%BC-%EC% 82%AC%EC%9A%A9%A9%ED%95%9C-%EC%B4%88%EA%B1%B0%EB%8C%80-%EC%96%B8%EC%96%B4-%EB%AA%A8%EB%8d%B8-PALM-%EB%A6%AC%EB%B7%B02 |
| GPT-4 : 기술 검토 | 블로그 : https://openai.com/research/gpt-4, 종이 : https://arxiv.org/abs/2303.08774 | https://cartinoe5930.tistory.com/entry/gpt-4-techinal-report-review |
| Gemini : 유능한 다중 모드 모델의 가족 | https://arxiv.org/abs/2312.11805 | 계획 없음! |
| 알파 코드 2 기술 보고서 | https://storage.googleapis.com/deepmind-media/alphacode2/alphacode2_tech_report.pdf | 계획 없음! |
| 종이 제목 | 종이 또는 참조 사이트 링크 | 종이 검토 |
|---|---|---|
| FLAN : 미세 조정 된 언어 모델은 제로 샷 학습자입니다 | https://arxiv.org/abs/2109.01652 | https://cartinoe5930.tistory.com/entry/flan-fine-tuned-language-models-are-zero-mearners-%EB%85%BC%EB%AC%B8-%EB%A6%EB%B7%B0 |
| T0 : 멀티 태스킹 프롬프트 교육은 제로 샷 작업 일반화를 가능하게합니다 | https://arxiv.org/abs/2110.08207 | https://cartinoe5930.tistory.com/entry/t0-multitask-prompted-training-enables-zero-shot-shot-weneralization-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| 초자연적 지침 : 1600 개 이상의 NLP 작업에 대한 선언 지침을 통한 일반화 | https://arxiv.org/abs/2204.07705 | https://cartinoe5930.tistory.com/entry/super-natural-instructions-generalization-via-declarative-instructionson-1600-nlp-tasks-%EB%85%EB%AC%B8-%EB6%AC%EB7%B0 |
| 부 자연스러운 지침 : 인간 노동이 아닌 (거의) 언어 모델을 조정 | https://arxiv.org/abs/2212.09689 | 나중에 업로드됩니다! |
| 지시를 맞춰보세요! 뒤집힌 학습은 언어 모델을 강력하게 제로 샷 학습자로 만듭니다 | https://arxiv.org/abs/2210.02969 | https://cartinoe5930.tistory.com/entry/guess-the-instruction-flipped-makes-language-models-stronger-zero-shot-learners-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| 스케일링 명령-결절 언어 모델 | https://arxiv.org/abs/2210.11416 | https://cartinoe5930.tistory.com/entry/scaling-instruction-finetuned-language-models-%EB%85%BC%EB%AC%B8-%EB%A6%AC%B7%B0 |
| 교육 튜닝을 통한 교육 전문가 언어 모델의 이점 탐색 | https://arxiv.org/abs/2302.03202 | https://cartinoe5930.tistory.com/entry/exploring-the-benefits-of-training-pert-language-models-over-instruction-tuning-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| ICIL : 텍스트 내 교육 학습 | https://arxiv.org/abs/2302.14691 | https://cartinoe5930.tistory.com/entry/icil-in-context-instruction-inearning-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| GPT-4로 지시 조정 | https://arxiv.org/abs/2304.03277 | https://cartinoe5930.tistory.com/entry/instruction-tuning-with-gpt-4-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| FIP : 효율적인 프롬프트를위한 고정 입력 매개 변수화 | https://aclanthology.org/2023.findings-acl.533.pdf | 나중에 업로드됩니다! |
| Flacuna : Flan Fine Tuning을 사용하여 Vicuna의 문제 해결 힘을 풀어주십시오. | https://arxiv.org/abs/2307.02053 | 나중에 업로드됩니다! |
| 아마도 0.5% 데이터 만 필요할 수 있습니다 : 낮은 훈련 데이터 지침 튜닝의 예비 탐색 | https://arxiv.org/abs/2305.09246 | 나중에 업로드됩니다! |
| 자기 강조 자극 : 최소한의 지침 튜닝을위한 초기 정지 기준 도입 | https://arxiv.org/abs/2307.03692 | 나중에 업로드됩니다! |
| 종이 제목 | 종이 또는 참조 사이트 링크 | 종이 검토 |
|---|---|---|
| RLHF (인간 피드백으로부터의 강화 학습) | https://huggingface.co/blog/rlhf | https://cartinoe5930.tistory.com/entry/%EC%82%AC%EB%9e%8C%EC%9d%98-%ED%94%BC%EB%93%9C%EB%B0%B1%EC%9D%84 -%ED%86%B5%ED%95%9C-%EA%B0%95%ed%99%94%ed%95%99%EC%8A%B5-Reinforcement-Learning-Human-Peedback-RLHF |
| 언어 모델이있는 빨간 팀 언어 모델 | https://arxiv.org/abs/2202.03286 | https://cartinoe5930.tistory.com/entry/red-teaming-language-models-with-language-models-%EB%85%BC%EB%AC%B8-%EB%A6%AC%B7%B0 |
| InstructGpt : 인간 피드백으로 지시를 따르는 언어 모델 교육 | https://arxiv.org/abs/2203.02155 | https://cartinoe5930.tistory.com/entry/instructgpt-training-language-models-to-follow-instructions-with-human---feedback-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| 인간 피드백으로부터 강화 학습을 통해 도움이되고 무해한 조수 교육 | https://arxiv.org/abs/2204.05862 | https://cartinoe5930.tistory.com/entry/training-a-helpful-and-harmless-assistant-with-reinforcement-learning-from-human--feedback-%EB%BC%EB%B8-%EB%A6%AC%EB%B7%B0 |
| Alpacafarm : 인간 피드백에서 배우는 방법을위한 시뮬레이션 프레임 워크 | https://arxiv.org/abs/2305.14387 | 나중에 업로드됩니다! |
| 거의 : 합성 피드백을 통해 대형 언어 모델을 정렬합니다 | https://arxiv.org/abs/2305.13735 | https://cartinoe5930.tistory.com/entry/aligning-large-language-models-through-synthetic--feedback-%EB%85%BC%EB%AC%B8-%EB%A6%EB%B7%B0 |
| 인간 피드백으로부터 강화 학습의 개방 문제 및 근본적인 한계 | https://arxiv.org/abs/2307.15217 | 나중에 업로드됩니다! |
| RLAIF : AI 피드백을 사용한 인간 피드백에서 강화 학습 스케일링 | https://arxiv.org/abs/2309.00267 | 계획 없음! |
| Steerlm : 속성 조건 SFT는 RLHF에 대한 (사용자 조정 가능한) 대안으로 | https://arxiv.org/abs/2310.05344 | 계획 없음! |
| HELPSTEER : SteeRlm 용 Multi-Attribute Helpfulness DataSet | https://arxiv.org/abs/2311.09528 | 계획 없음! |
| 종이 제목 | 종이 또는 참조 사이트 링크 | 종이 검토 |
|---|---|---|
| 어댑터 : NLP에 대한 매개 변수 효율적인 학습 | https://arxiv.org/abs/1902.00751 | https://cartinoe5930.tistory.com/entry/%EB%8B%B9%EC%8B%A0%EB%8F%84-Fine-tuning- %ED%95%A0-%EC%88%98-%EC%9E%88%EC%8A%B5%EB%8B%88%EB%8B%A4- With-PEFT-%F0%9F%A4%97 |
| 접두사 조정 : 세대를위한 연속 프롬프트 최적화 | https://arxiv.org/abs/2101.00190 | https://cartinoe5930.tistory.com/entry/%EB%8B%B9%EC%8B%A0%EB%8F%84-Fine-tuning- %ED%95%A0-%EC%88%98-%EC%9E%88%EC%8A%B5%EB%8B%88%EB%8B%A4- With-PEFT-%F0%9F%A4%97 |
| LORA : 대형 언어 모델의 낮은 순위 적응 | https://arxiv.org/abs/2106.09685 | https://cartinoe5930.tistory.com/entry/%EB%8B%B9%EC%8B%A0%EB%8F%84-Fine-tuning- %ED%95%A0-%EC%88%98-%EC%9E%88%EC%8A%B5%EB%8B%88%EB%8B%A4- With-PEFT-%F0%9F%A4%97 |
| 매개 변수 효율적인 전송 학습에 대한 통일 된 견해를 향해 | https://arxiv.org/abs/2110.04366 | 나중에 업로드됩니다! |
| Unipelt : 매개 변수 효율적인 언어 모델 튜닝을위한 통합 프레임 워크 | https://arxiv.org/abs/2110.07577 | 나중에 업로드됩니다! |
| (IA)^3 : 소수의 매개 변수 효율적인 미세 조정은 텍스트 내 학습보다 더 좋고 저렴합니다. | https://arxiv.org/abs/2205.05638 | 나중에 업로드됩니다! |
| Qlora : 양자화 된 LLM의 효율적인 미세 조정 | https://arxiv.org/abs/2305.14314 | 나중에 업로드됩니다! |
| 더 많은 레이어를 다르게 쌓으십시오 : 저급 업데이트를 통한 고위 교육 | https://arxiv.org/abs/2307.05695 | 나중에 업로드됩니다! |
| Lorahub : 동적 LORA 구성을 통한 효율적인 크로스 작업 일반화 | https://arxiv.org/abs/2307.13269 | 나중에 업로드됩니다! |
| 종이 제목 | 종이 또는 참조 사이트 링크 | 종이 검토 |
|---|---|---|
| 지침 마이닝 : 대형 언어 모델에 대한 고품질 교육 데이터 선택 | https://arxiv.org/abs/2307.06290 | 계획 없음! |
| 탄산 음료 : 사회적 상식 맥락화를 통한 백만 규모의 대화 증류 | https://arxiv.org/abs/2212.10465 | 계획 없음! |
| 모드 : 명령 튜닝을위한 모델 지향 데이터 선택 | https://arxiv.org/abs/2311.15653 | 계획 없음! |
| 인적 데이터를 넘어서 : 언어 모델로 문제 해결을위한 자체 훈련 스케일링 | https://arxiv.org/abs/2312.06585 | 계획 없음! |
| Magicoder : 소스 코드 만 있으면됩니다 | https://arxiv.org/abs/2312.02120 | 계획 없음! |
| WaveCoder : 정제 된 데이터 생성을 통한 광범위하고 다재다능한 향상된 명령어 튜닝 | https://arxiv.org/abs/2312.14187 | 계획 없음! |
| 정렬을위한 좋은 데이터를 만드는 것 : 명령 튜닝에서 자동 데이터 선택에 대한 포괄적 인 연구 | https://arxiv.org/abs/2312.15685 | 계획 없음! |
| 종이 제목 | 종이 또는 참조 사이트 링크 | 종이 검토 |
|---|---|---|
| '프롬프트 엔지니어링'은 무엇입니까? | 내 블로그를 참조하십시오! | https://cartinoe5930.tistory.com/entry/prompt-engineering%EC%9D%B4-%EB%AC%B4%EC%97%87%EC%9D%BC%EA%B9%8C |
| COT : 고려한 체인은 큰 언어 모델에서 추론을 유도합니다 | 블로그 : https://ai.googleblog.com/2022/05/language-models-perform-reasoning-via.html, 종이 : https://arxiv.org/abs/2201.11903 | https://cartinoe5930.tistory.com/entry/lm%EC%9D%B4-%EC%82%EB%9E%8C%EA%BC-%EC%9C%A0%EC%82%ED%95%9C-%EC%83%9D%EA%B 0%81-9444%의 944% %9C%EC%84%B8%EC%8A%A4%EB%A5%BC-%EA%B0%80%EC%A7%80%EA%B2%8C-%EB%9C%9C%EB%8B%A4%EB%A9%B4- 쇄--테오스%EB%85%BC%AC%A6%EB%A6%EB%A6%A6%B7 B7 B0 B0 |
| 제로 샷 코트 : 대형 언어 모델은 제로 샷 추론입니다 | https://arxiv.org/abs/2205.11916 | https://cartinoe5930.tistory.com/entry/large-language-models-are-zero-shot-reasoners-%EB%85%BC%EB%AC%B8-%EB%A6%EB%B7%B0 |
| 언어 모델은 다국어를 생각한 추론 자입니다 | https://arxiv.org/abs/2210.03057 | 나중에 업로드됩니다! |
| Auto-Cot : 대형 언어 모델로 인한 자동 사고 체인 | https://arxiv.org/abs/2210.03493 | 나중에 업로드됩니다! |
| COT KD : 소규모 언어 모델을 추론합니다 | https://arxiv.org/abs/2212.08410 | 나중에 업로드됩니다! |
| TOT : Tree of Thought : 대형 언어 모델로 고의적 인 문제 해결 | https://arxiv.org/abs/2305.10601 | https://cartinoe5930.tistory.com/entrey/tree-of-thoughts-deliberate-problem-solving-large-large-models-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| COT COLLECTION : 사슬의 미세 조정을 통한 제로 샷 및 소수의 언어 모델 학습 개선 | https://arxiv.org/abs/2305.14045 | https://cartinoe5930.tistory.com/entry/cot-collection-improving-zero-shot-shot-no-s-shot-learning-of-language-models-via-the-thought-fine-tuning-%EB%85%BC%EB%AC%AC-reb%A6%EB9%B7 |
| 단계별로 확인합시다 | https://arxiv.org/abs/2305.20050 | https://cartinoe5930.tistory.com/entry/lets-verify-step-s-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| 생각의 사슬 추론에서 Faitfulness를 측정합니다 | https://arxiv.org/abs/2307.13702 | 나중에 업로드됩니다! |
| SOT : Skeleton of-Thought : 대형 언어 모델은 병렬 디코딩을 수행 할 수 있습니다 | https://arxiv.org/abs/2307.15337 | 나중에 업로드됩니다! |
| 생각의 그래프 : 대형 언어 모델로 정교한 문제 해결 | https://arxiv.org/abs/2308.09687 | 나중에 업로드됩니다! |
| 드문 드문에서 밀도로 : 밀도의 사슬로 GPT-4 요약 | https://arxiv.org/abs/2309.04269 | 계획 없음! |
| 검증 체인은 큰 언어 모델에서 환각을 유발합니다 | https://arxiv.org/abs/2309.11495 | https://www.youtube.com/watch?v=l0zfjwregog&pp=ygugahr0chm6ly9hcnhpdi5vcmcvywjzlzmdkumte0otu%3d |
| 대조적 인 사슬의 프롬프트 | https://arxiv.org/abs/2311.09277 | 계획 없음! |
| 혼란스러운 맥락을 풀어주는 생각의 실 | https://arxiv.org/abs/2311.08734 | 계획 없음! |
| 시스템 2주의 (필요한 것도 필요합니다) | https://arxiv.org/abs/2311.11829 | 계획 없음! |
| 코드 체인 : 언어 모델을 사용한 코드 에뮬레이터로 추론 | https://arxiv.org/abs/2312.04474 | 계획 없음! |
| 종이 제목 | 종이 | 종이 검토 |
|---|---|---|
| FlashAttention : 빠르고 메모리 효율적인 정확한주의 | https://arxiv.org/abs/2205.14135 | https://gordicaleksa.medium.com/eli5-flash-attention-5c44017022ad |
| 기하 급수적으로 더 빠른 언어 모델링 | https://arxiv.org/abs/2311.10770 | 계획 없음! |
| 플래시의 LLM : 제한된 메모리와의 효율적인 대형 언어 모델 추론 | https://arxiv.org/abs/2312.11514 | 계획 없음! |
| 종이 제목 | 종이 또는 참조 사이트 링크 | 종이 검토 |
|---|---|---|
| NLP의 데이터 확대 | 블로그 : https://neptune.ai/blog/data-augmentation-nlp, https://amitness.com/2020/05/data-augmentation-for-nlp/?fbclid=iWar11mkccccccccccccccccc | https://cartinoe5930.tistory.com/entry/data-augmentation-methods-in-nlp |
| PET : 소수의 샷 텍스트 분류 및 자연 언어 추론에 대한 망토 질문 악용 | https://arxiv.org/abs/2001.07676 | https://cartinoe5930.tistory.com/entry/pet-exploiting-cloze-questions-for-few--text-classification-and-natural-inference-%EB%85%BC%EAC%B8-%EB%A6%AC%EB%B7%B0 |
| 경로 | https://blog.google/technology/ai/introducing-pathways-next-generation-ai-architecture/ | https://cartinoe5930.tistory.com/entry/%EB%A7%8C%EC%95%BD-%EB%AAag%A8%EB%8D%B8%EC%9D%B4-%EC%979; B0%81%EC%9d%84-%EB%8A%90%EB%82%84-%EC%88%98-%EC%9E%88%EA%B2%8C-%EB%90%9C%EB%8B%A4%EB%A9%B4- 패스웨이-%AC%EB%B7%B0 |
| LMSI : 대형 언어 모델이 자체 개선 할 수 있습니다 | https://arxiv.org/abs/2210.11610 | https://cartinoe5930.tistory.com/entry/lmsi-large-language-models-can-self-improve-%EB%85%BC%EB%AC%B8-%EB%A6%EB%B7%B0 |
| 자체 강조 : 언어 모델을 자체 생성 교육과 정렬합니다 | https://arxiv.org/abs/2212.10560 | https://cartinoe5930.tistory.com/entry/self-instruct-aligning-language-model-with-self-instructions-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| 반사 : 언어 강화 학습을 가진 언어 에이전트 | https://arxiv.org/abs/2303.11366 | https://cartinoe5930.tistory.com/entry/reflexion-language-agents-with-verbal-reinforcement-learning-%EB%85%BC%EB%AC%B8-%EB%A6%EB%B7%B0 |
| 자기 반주 : 자기 피드백으로 반복적 인 정제 | https://arxiv.org/abs/2303.17651 | https://cartinoe5930.tistory.com/entry/self-refine-istrative-refinemement-with-self----feedback-%EB%85%BC%EB%AC%B8-%EB%A6%EB%B7%B0 |
| 정유 자 : 중간 표현에 대한 추론 피드백 | https://arxiv.org/abs/2304.01904 | 계획 없음! |
| Selfee : 셀프 피드백 생성으로 인해 반복적 인 자체리스리스 LLM | https://kaistai.github.io/selfee/ | https://cartinoe5930.tistory.com/entry/SelFee-Iterative-Self-Revising-LLM-Expowered-by-Self-Feedback-Generation-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| GQA : 다중 헤드 체크 포인트에서 일반화 된 다중 쿼리 변압기 모델을 교육합니다 | https://arxiv.org/abs/2305.13245 | https://aliissa99.medium.com/-a596e4d86f79 |
| Shpherd : 언어 모델 생성에 대한 비평가 | https://arxiv.org/abs/2308.04592 | 나중에 업로드됩니다! |
| 지시 역 변환과의 자기 정렬 | https://arxiv.org/pdf/2308.06259 | 나중에 업로드됩니다! |
| 나사 : 개정과 함께 추론을위한 모듈 식 프레임 워크 | https://arxiv.org/pdf/2309.13075 | 계획 없음! |
| Neftune : Noisy Embedings는 교육을 개선합니다 | https://arxiv.org/abs/2310.05914 | https://cartinoe5930.tistory.com/entry/noise-makes-llm-better-neftune-%9f%98%89 |
| 언어 모델은 슈퍼 마리오입니다. 무료 점심으로 상 동성 모델에서 능력을 흡수합니다 | https://arxiv.org/abs/2311.03099 | 계획 없음! |
| Loramoe : 언어 모델 정렬에서 세계 지식을 유지하기위한 전문가의 혼합 혁신 | https://arxiv.org/abs/2312.09979 | 계획 없음! |
| 종이 제목 | 종이 또는 참조 사이트 링크 | 종이 검토 |
|---|---|---|
| 지식 집약적 인 NLP 작업을위한 검색 세대 | https://arxiv.org/abs/2005.11401 | 계획 없음! |
| 자체 경영 : 자기 반성을 통해 검색, 생성 및 비판을 배우는 학습 | https://arxiv.org/abs/2310.11511 | 계획 없음! |
| Instructretro : 지시 조정 사후 검색된 사전 조정 | https://arxiv.org/abs/2310.07713 | 계획 없음! |
| 큰 언어 모델에 대한 검색 세대 : 설문 조사 | https://arxiv.org/abs/2312.10997 | 계획 없음! |
| 종이 제목 | 종이 또는 참조 사이트 링크 | 종이 검토 |
|---|---|---|
| Big-Bench Hard : 큰 벤치 작업에 도전하고 생각한 사슬이 Tham을 해결할 수 있는지 여부 | https://arxiv.org/abs/2210.09261 | 나중에 업로드됩니다! |
| 대형 언어 모델은 공정한 평가자가 아닙니다 | https://arxiv.org/abs/2305.17926 | 나중에 업로드됩니다! |
| MT- 벤치 : MT- 벤치로 LLM-A-A-A-Judge 판단 | https://arxiv.org/abs/2306.05685 | 나중에 업로드됩니다! |
| Instructeval : 교육 조정 된 대형 언어 모델의 전체적인 평가를 향해 | https://arxiv.org/abs/2306.04757 | Will be uploaded later! |
| FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets | https://arxiv.org/abs/2307.10928 | Will be uploaded later! |
| GAIA: A Benchmark for General AI Assistants | https://arxiv.org/abs/2311.12983 | No plan! |
| 종이 제목 | Paper or reference site Link | Paper Review |
|---|---|---|
| A Length-Extrapolatable Transformer | https://arxiv.org/abs/2212.10554 | No plan! |
| Extending Context Window of Large Language Models via Positional Interpolation | https://arxiv.org/abs/2306.15595 | https://cartinoe5930.tistory.com/entry/LM%EC%9D%98-context-window-%EA%B8%B8%EC%96%B4%EC%95%BC-%ED%95%A0%EA%B9%8C-%EC%A7%A7%EC%95%84%EC%95%BC-%ED%95%A0%EA%B9%8C-%F0%9F%93%8F%F0%9F%A4%A8 |
| LongNet: Scaling Transformers to 1,000,000,000 Tokens | https://arxiv.org/abs/2307.02486 | https://cartinoe5930.tistory.com/entry/LM%EC%9D%98-context-window-%EA%B8%B8%EC%96%B4%EC%95%BC-%ED%95%A0%EA%B9%8C-%EC%A7%A7%EC%95%84%EC%95%BC-%ED%95%A0%EA%B9%8C-%F0%9F%93%8F%F0%9F%A4%A8 |
| Lost in the Middle: How Language Models Use Long Contexts | https://arxiv.org/abs/2307.03172 | https://cartinoe5930.tistory.com/entry/LM%EC%9D%98-context-window-%EA%B8%B8%EC%96%B4%EC%95%BC-%ED%95%A0%EA%B9%8C-%EC%A7%A7%EC%95%84%EC%95%BC-%ED%95%A0%EA%B9%8C-%F0%9F%93%8F%F0%9F%A4%A8 |
| YaRN: Efficient Context Window Extension of Large Language Models | https://arxiv.org/abs/2309.00071 | No plan! |
| 종이 제목 | Paper or reference site Link | Paper Review |
|---|---|---|
| Why can GPT learn in-context? | https://arxiv.org/abs/2212.10559 | https://cartinoe5930.tistory.com/entry/Why-can-GPT-learn-in-context-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Sparks of Artificial General Intelligence: Early experiments with GPT-4 | paper: https://arxiv.org/abs/2303.12712, youtube: https://www.youtube.com/watch?v=Mqg3aTGNxZ0 | https://cartinoe5930.tistory.com/entry/Sparks-of-Artificial-General-Intelligence-Early-experiments-with-GPT-4-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| The False Promise of Imitating Proprietary LLMs | https://arxiv.org/abs/2305.15717 | https://cartinoe5930.tistory.com/entry/%EA%B8%B0%EC%A1%B4-imitation-model%EC%9D%80-%EC%9E%98%EB%AA%BB-%ED%95%99%EC%8A%B5%EB%90%98%EA%B3%A0-%EC%9E%88%EB%8B%A4-%F0%9F%AB%A2-The-False-Promise-of-Imitating-Proprietary-L |
| TULU: How Far Can Camels Go? Exploring the State of Instructiopn Tuning on Open Resources | https://arxiv.org/abs/2306.04751 | Will be uploaded later! |
| How Is ChatGPT's Behavior Changing over Time? | https://arxiv.org/abs/2307.09009 | https://cartinoe5930.tistory.com/entry/ChatGPT%EC%9D%98-%EC%84%B1%EB%8A%A5%EC%9D%B4-%EC%95%88-%EC%A2%8B%EC%95%84%EC%A7%80%EA%B3%A0-%EC%9E%88%EB%8B%A4%EA%B5%AC-%F0%9F%98%B2%F0%9F%98%B2 |
| Large Language Models Cannot Self-Correct Reasoning Yet | https://arxiv.org/abs/2310.01798 | |
| How Far Are Large Language Models from Agents with Theory-of-Mind | https://arxiv.org/pdf/2310.03051 | No plan! |
| Can LLMs Follow Simple Rules | https://arxiv.org/abs/2311.04235 | https://www.youtube.com/watch?v=CY6o43037OY |
| Camels in a Changing Climate; Enhancing LM Adaptation with Tulu 2 | https://arxiv.org/abs/2311.10702 | No plan! |
| ChatGPT's One-year Anniversary; Are Open-Source Large Language Models Catching up | https://arxiv.org/abs/2311.15653 | No plan! |
| An In-depth Look at Gemini's Language Abilities | https://arxiv.org/abs/2312.11444 | No plan! |
| 종이 제목 | Paper or reference site Link | Paper Review |
|---|---|---|
| DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature | https://arxiv.org/abs/2301.11305 | https://cartinoe5930.tistory.com/entry/%EC%9D%B4-%EA%B8%80%EC%9D%B4-LM%EC%9D%B4-%EB%A7%8C%EB%93%A4%EC%96%B4%EB%82%B8-%EA%B8%80%EC%9D%BC%EA%B9%8C-%EB%8F%84%EC%99%80%EC%A4%98-DetectGPT-DetectGPT-Zero-Shot-Machine-Generated-Text-Detection-using-Probability-Curvature-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback | https://arxiv.org/abs/2302.12813 | https://cartinoe5930.tistory.com/entry/ChatGPT%EC%9D%98-hallucination-%EC%96%B4%EB%96%BB%EA%B2%8C-%ED%95%B4%EA%B2%B0%ED%95%B4%EC%95%BC-%ED%95%A0%EA%B9%8C-Check-Your-Facts-and-Try-Again-Improving-Large-Language-Models-with-External-Knowledge-and-Automated-Feedback |
| RecurrentGPT: Interactive Generation of (Arbitrarily) Long Text | https://arxiv.org/abs/2305.13304 | https://cartinoe5930.tistory.com/entry/ChatGPT%EC%97%90-%EB%B0%98%EB%B3%B5-%EB%A9%94%EC%BB%A4%EB%8B%88%EC%A6%98LSTM%EC%9D%84-%EC%82%AC%EC%9A%A9%ED%95%9C%EB%8B%A4%EB%A9%B4-RecurrentGPT-Interactive-Generation-of-Arbitrarily-Long-Text-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Large Language Models as Tool Makers | https://arxiv.org/abs/2305.17126 | https://cartinoe5930.tistory.com/entry/LM%EC%9D%B4-%EB%8F%84%EA%B5%AC%EB%A5%BC-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B2%8C-%EB%90%9C%EB%8B%A4%EB%A9%B4-%F0%9F%94%AC-Large-Language-Models-as-Tool-Makers-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| LLM-Blender: Ensembling Large Language Models with Pairwise Ranking and Generative Fusion | https://arxiv.org/abs/2306.02561 | No plan! |
| 큰 언어 모델의 지식 증류 | https://arxiv.org/abs/2306.08543 | https://cartinoe5930.tistory.com/entry/KD%EC%97%90-%EC%82%B4%EC%A7%9D%EC%9D%98-%EB%B3%80%ED%99%94%EB%A5%BC-%EC%A4%98%EB%B3%B4%EC%9E%90-%F0%9F%98%9C-Knowledge-Distillation-of-Large-Language-Models-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Scaling Relationship on Learning Mathematical Reasoning with Large Language Models | https://arxiv.org/abs/2308.01825 | Will be uploaded later! |
| ToolLLM: Facilitating Lare Language Models to Master 16000+ Real-World APIs | https://arxiv.org/abs/2307.16789 | Will be uploaded later! |
| SelfCheck: Using LLMs to Zero-shot Check Their Own Step-by-Step Reasoning | https://arxiv.org/abs/2308.00436 | Will be uploaded later! |
| Solving Challenging Math Word Problems Using GPT-4 Code Interpreter with Code-based Self-Verification | https://arxiv.org/abs/2308.07921 | Will be uploaded later! |
| Large Language Models as Optimizers | https://arxiv.org/abs/2309.03409 | No plan! |
| FIAT: Fusing Learning Paradigms with Instruction-Accelerated Tuning | https://arxiv.org/abs/2309.04663 | https://www.youtube.com/watch?v=EZsZEcRDte0&pp=ygUgaHR0cHM6Ly9hcnhpdi5vcmcvYWJzLzIzMDkuMDQ2NjM%3D |
| Contrastive Decoding Improves Reasoning in Large Language Models | https://arxiv.org/abs/2309.09117 | https://www.youtube.com/watch?v=nMR56TkwC1Q&pp=ygUgaHR0cHM6Ly9hcnhpdi5vcmcvYWJzLzIzMDkuMDkxMTc%3D |
| Think before you speak: Training Language Models with Pause Tokens | https://arxiv.org/abs/2310.02226 | https://www.youtube.com/watch?v=MtJ1jacr_yI |
| Large Language Models Can Learn Rules | https://arxiv.org/abs/2310.07064 | No plan! |
| In-context Pretraining: Language Modeling Beyond Document Boundaries | https://arxiv.org/abs/2310.10638 | https://www.youtube.com/watch?v=GI-0lAaILrU |
| Learning From Mistakes Makes LLM Better Reasoner | https://arxiv.org/abs/2310.20689 | No plan! |
| Language Models can be Logical Solvers | https://arxiv.org/abs/2311.06158 | No plan! |
| MART: Improving LLM Safety with Multi-round Automatic Red-Teaming | https://arxiv.org/abs/2311.07689 | No plan! |
| Fine-tuning Language Models for Factuality | https://arxiv.org/abs/2311.08401 | No plan! |
| Positional Description Matters for Transformers Arithmetic | https://arxiv.org/abs/2311.14737 | No plan! |
| Weak-to-Strong Generalization: Eliciting Strong Capabilities with Weak Supervision | https://arxiv.org/abs/2312.09390 | https://openai.com/research/weak-to-strong-generalization |
| TinyGSM: achieving higher than 80 percentage on GSM8k with small language models | https://arxiv.org/abs/2312.09241 | No plan! |
| 종이 제목 | Paper or reference site Link | Paper Review |
|---|---|---|
| Morpheme-aware Subword Tokenizer: An Empirical Study of Tokenization Strategies for Various Korean NLP Tasks | https://arxiv.org/abs/2010.02534 | Will be uploaded later! |
| What Changes Can Large-scale Language Models Bring? Intensive Study on HyperCLOVA: Billions-scale Korean Generative Pretrained Transformers | https://arxiv.org/abs/2109.04650 | Will be uploaded later! |
| 종이 제목 | Paper or reference site Link | Paper Review |
|---|---|---|
| history of CNN | LeNet, AlexNet, VGGNet, GoogLeNet, ResNet, ResNeXt, Sception, Mobilenet, DenseNet, EfficientNet, ConvNext | https://cartinoe5930.tistory.com/entry/CNN-network%EC%9D%98-%EC%97%AD%EC%82%AC |
| ViT: An Image Worth 16 x 16 Words: Transformers for Image Recognition at Scale | https://arxiv.org/abs/2010.11929 | https://cartinoe5930.tistory.com/entry/ViT-An-Image-Worth-16-x-16-Words-Transformers-for-Image-Recognition-at-Scale |
| Swin Transformer: Hierarchical Vision Transformer using Shifted Winodws | https://arxiv.org/abs/2103.14030 | https://cartinoe5930.tistory.com/entry/Swin-Transformer-Hierarchical-Vision-Transformer-using-Shifted-Windows-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| CLIP: Learning Transferable Visual Models From Natural Language Supervision | https://arxiv.org/abs/2103.00020 | https://cartinoe5930.tistory.com/entry/CLIP-Learning-Transferable-Visual-Models-From-Natural-Language-Supervision-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| 종이 제목 | Paper or reference site Link | Paper Review |
|---|---|---|
| Let's learn about VLM(Visual-Language Model) | https://huggingface.co/blog/vision_language_pretraining#supporting-vision-language-models-in-%F0%9F%A4%97-transformers | https://cartinoe5930.tistory.com/entry/VLMVision-Language-Model%EC%97%90-%EB%8C%80%ED%95%B4-%EC%95%8C%EC%95%84%EB%B3%B4%EC%9E%90 |
| VisualBERT: A simple and Performant Baseline for Vision and Language | https://arxiv.org/abs/1908.03557 | https://cartinoe5930.tistory.com/entry/VisualBERT-A-Simple-and-Performant-Baseline-for-Vision-and-Language-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| ViLBERT: Pre-training Task-Agnostic Visiolinguistic Representations for Visual-and-Language Tasks | https://arxiv.org/abs/1908.02265 | https://cartinoe5930.tistory.com/entry/ViLBERT-Pretraining-Task-Agnostic-Visiolinguistic-Representations-for-Visual-and-Language-Tasks |
| LXMERT: Learning Cross-Modality Encoder Representations from Transformers | https://arxiv.org/abs/1908.07490 | https://cartinoe5930.tistory.com/entry/LXMERT-Learning-Cross-Modality-Encoder-Representations-from-Transformers-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| VL-BERT: Pre-training of Generic Visual-Linguistic Representations | https://arxiv.org/abs/1908.08530 | https://cartinoe5930.tistory.com/entry/VL-BERT-Pre-training-of-Generic-Visual-Linguistic-Representations-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| VLP: Unified Vision-Language Pre-Training for Image Captioning and VQA | https://arxiv.org/abs/1909.11059 | https://cartinoe5930.tistory.com/entry/VLP-Unified-Vision-Language-Pre-Traning-for-Image-Captioning-and-VQA-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks | https://arxiv.org/abs/2004.06165 | https://cartinoe5930.tistory.com/entry/Oscar-Object-Semantics-Aligned-Pre-training-for-Vision-Language-Tasks-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| VinVL: Revisiting Visual Representations in Vision-Language Models | https://arxiv.org/abs/2101.00529 | https://cartinoe5930.tistory.com/entry/VinVL-Revisiting-Visual-Representations-in-Vision-Language-Models-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision | https://arxiv.org/abs/2102.03334 | https://cartinoe5930.tistory.com/entry/ViLT-Vision-and-Language-Transformer-Without-Convolution-or-Region-Supervision-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| ALIGN: Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision | https://arxiv.org/abs/2102.05918 | https://cartinoe5930.tistory.com/entry/ALIGN-Scaling-up-Visual-and-Vision-Language-Representation-with-Noisy-Text-Supervision-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| ALBEF: Vision and Language Representation Learning with Momentum Distillation | https://arxiv.org/abs/2107.07651 | https://cartinoe5930.tistory.com/entry/ALBEF-Vision-and-Language-Representation-Learning-with-Momentum-Distillation-%EB%85%BC%EB%AC%B8 |
| SimVLM: Simple Visual Language Model Pretraining with Weak Supervision | https://arxiv.org/abs/2108.10904 | https://cartinoe5930.tistory.com/entry/SimVLM-Simple-Visual-Language-Model-Pre-training-with-Weak-Supervision-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| VLMo: Unified Vision-Language Pre-training with Mixture-of-Modality-Experts | https://arxiv.org/abs/2111.02358 | https://cartinoe5930.tistory.com/entry/VLMo-Unified-Vision-Language-Pre-training-with-Mixture-of-Modality-Experts-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| LiT : Zero-Shot Transfer with Locked-image text Tuning | https://arxiv.org/abs/2111.07991 | https://cartinoe5930.tistory.com/entry/LiT%F0%9F%94%A5-Zero-Shot-Transfer-with-Locked-image-text-Tuning-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| FLAVA: A Foundational Language And Vision Alignment Model | https://arxiv.org/abs/2112.04482 | https://cartinoe5930.tistory.com/entry/FLAVA-A-Foundational-Language-And-Vision-Alignment-Model-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation | https://arxiv.org/abs/2201.12086 | https://cartinoe5930.tistory.com/entry/BLIP-Bootstrapping-Language-Image-Pre-training-fro-Unified-Vision-Language-Understanding-and-Generation-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Paper or Posting Title | reference site Link | 검토 |
|---|---|---|
| Knowledge Distillation: Distilling the Knowledge in a Neural Network | https://arxiv.org/abs/1503.02531 | https://cartinoe5930.tistory.com/entry/Distilling-the-Knowledge-in-a-Neural-Network-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| What is Zero-shot, One-shot, Few-shot Learning? | see my blog! | https://cartinoe5930.tistory.com/entry/Zero-shot-One-shot-Few-shot-Learning%EC%9D%B4-%EB%AC%B4%EC%97%87%EC%9D%BC%EA%B9%8C |
