Deep Learning Paper
1.0.0
J'ai lu ces articles liés à la PNL et à l'apprentissage en profondeur. Voici divers articles de base à avancé. ? De plus, vous pouvez vérifier mes avis sur papier coréen en cliquant sur le lien joint au tableau.
Vous pouvez voir plus de critiques papier, la mise en œuvre du code et les descriptions de mathématiques dans mon blog <- cliquez ici
J'écris plusieurs articles à expliquer en détail certaines technologies d'apprentissage en profondeur. Ces articles peuvent être trouvés dans le tableau ci-dessous.
| Titre | Lien de blog |
|---|---|
| Comment la loi d'échelle s'est-elle développée dans la PNL? ? | https://cartinoe5930.tistory.com/entry/how-has-scaling-law-developed-in-nlp-%f0%9F%A4%94-NLP%EC%97%90%EC%84 % 9c-échelle-law% eB% 8a% 94-% ec% 96% b4% eB% 96% bb% ea% b2% 8c-% eb% b0% 9c% ec% a0% 84% eB% 90% 98% ec% 97% 88% ec% 9d% 84% ea% b9% 8c |
| Source fermée? Open source ?? Qu'est-ce que c'est?? ?? | https://cartinoe5930.tistory.com/entry/the-hopes-of-researchers-open-source-%F0%9F%A4%97- % EC% 97% B0% EA% B5% AC% EC% 9E% 90% EB% 93% A4% EC% 9D% 98-% ED% 9D% AC% EB% A7% 9D-Open-Source-% F0% 9F% A4% 97 |
| Fenêtre de contexte de LM, devrait-elle être longue? Devrait-il être court? ?? | https://cartinoe5930.tistory.com/entry/lm%EC%9D%98-CONText-Window-%abreb8%B8%EC%96%B4%EC%95%B C-% ED% 95% A0% EA% B9% 8C-% EC% A7% A7% EC% 95% 84% EC% 95% BC-% ED% 95% A0% EA% B9% 8C-% F0% 9F% 93% 8F% F0% 9F% A4% A8 |
| Quelle est la façon la plus optimale d'évaluer LM? ? | https://cartinoe5930.tistory.com/entry/lm%EC%9D%84-%EA%B0%80%9E 9E%A5-%EC%B5%9C%EC%A0%81%99C%BC%EB%EB%A1 ' B0% 80% ED% 95% A0-% EC% 88% 98-% EC% 9E% 88% EB% 8A% 94-% EB% B0% A9% EB% B2% 95% EC% 9D% 80-% EB% AC% B4% EC% 97% 87% EC% 9D |
| Les performances de Chatgpt s'aggrave?!?!? ?? | https://cartinoe5930.tistory.com/entry/chatgpt%EC%9D%98-%EC%84%B1%EB%8A%A5%EC%9D%B4-%EC%95% 88-% EC% A2% 8B% EC% 95% 84% EC% A7% 80% EA% B3% A0-% EC% 9E% 88% EB% 8B% A4% EA% B5% AC-% F0% 9F% 98% B2% F0% 9F% 98% B2 |
| Vous pouvez aussi affiner! avec PEFT? | https://cartinoe5930.tistory.com/entry/%EB%8B%B9%EC%8B%A0%EB%8F%84-Fine-Tuning- % ED% 95% A0-% EC% 88% 98-% EC% 9E% 88% EC% 8A% B5% EB% 8B% 88% EB% 8B% A4-With-PEFT-% F0% 9F% A4% 97 |
| Réfléchissons pas à pas comme les humains! ?? | https://cartinoe5930.tistory.com/entry/%ed%95%9C-%EB%8B%A8%EA%B3%84-% '' % EC% 9D% B8% EA% B0% 84% EC% B2% 98% EB% 9F% BC-% EC% 83% 9D% EA% B0% 81% ED% 95% B4% EB% B3% B4% EC% 9e% 90-% F0% 9F% A7% A0% F0% 9F% A4% 90 |
| Processus de développement de la méthode du réglage fin !! Du réglage fin à rlhf? ➡️? | https://cartinoe5930.tistory.com/entry/fine-tuning-method%ec%9d%98-%EC%A7%84%ED%99%94-%aea%B3%BC%a0%95-%F0%9F%A6%96%9E91%9E ' |
| Il est temps de faire affiner le chatppt !! ⏰ | https://cartinoe5930.tistory.com/entry/%EC%9D%B4%EC%A0%9C%EB%8A%94-Chatgpt%EB%A5%BC-Fine-Tuning-%95%a0-%B0 |
| Le bruit rend LLM meilleur! - Neftune | https://cartinoe5930.tistory.com/entry/noise-makes-llm-better-neftune-%F0%9F%98%89 |
| Titre de papier | Papier ou lien de site de référence | Revue sur papier |
|---|---|---|
| Matrice d'intégration | https://wikidocs.net/book/2155 | https://cartinoe5930.tistory.com/entry/embdding-matrix-%ed%95%99%EC%8A%B5 |
| LSTM: Mémoire à terme long-short | https://colah.github.io/posts/2015-08-understanding-lstms/ | https://cartinoe5930.tistory.com/entry/%EC%95%8C%EA%B8%B0-%EC%89%BD%EA%B2%8C-LSTM-NetWorks-%ec%9D%B4%ed%95%B4%ed%95%98%ea%B8%B0 |
| GRU: Représentations de phrases d'apprentissage utilisant le coder RNN pour uncodeur pour la traduction machine statistique | https://arxiv.org/abs/1406.1078 | https://cartinoe5930.tistory.com/entry/gru-empiric-valuation-of-fged-recurrent-neural-networks-on-sequence-modeling-%eb%85%BC%EB%B8-%eb%A6%AC%EB%B7%B0 |
| LSTM contre GRU: Évaluation empirique des réseaux de neurones récurrents fermés sur la modélisation de séquences | https://arxiv.org/abs/1412.3555 | https://cartinoe5930.tistory.com/entry/lstm-vs-gru-%eb%AD%90%EA%B0%80-%EB%8D%94-%82%98%9D%84%EA%B9%8C-EMP irical-évaluation-of-in-securrent-neural-networks-on-séquence-modéage -% eB% 85% bc% eB% ac% b8-% eB% a6% ac% eB% b7% b0 |
| Titre de papier | Papier ou lien de site de référence | Revue sur papier |
|---|---|---|
| Transformateur: l'attention est tout ce dont vous avez besoin | https://arxiv.org/abs/1706.03762 | https://cartinoe5930.tistory.com/entry/transformmer-attention-is-all-you-need-%eb%85%BC%EB%AC%B8-%EB%A6%AC%B7%B0 |
| Elmo: représentations de mots contextualisés profonds | https://arxiv.org/abs/1802.05365 | https://cartinoe5930.tistory.com/entry/pre-fainen--manguage-modeling-paper-reading1-elmo-deep --contextualized-word-representations |
| Bert: pré-formation des transformateurs bidirectionnels profonds pour la compréhension du langage | https://arxiv.org/abs/1810.04805 | https://cartinoe5930.tistory.com/entry/pre--fainen-manangue-modeling-paper-reading2-bert-pre-training-ofeep-bidirectional-transformateurs-for-linging-comprise |
| GPT-1: Améliorer la compréhension du langage par pré-formation générative | https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_untersting_paper.pdf | https://cartinoe5930.tistory.com/entry/pre-fainen--mananguage-modeling-paper-reading3-gpt-1-improving-language-interstanding-by-generative-pre-training |
| GPT-2: Les modèles de langue sont des apprenants multiples non surveillés | https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf | https://cartinoe5930.tistory.com/entry/gpt-2language-models-are-unsupervised-Multitask-learners-%EB%85%BC%B0b0 |
| GPT-3: Les modèles de langue sont des apprenants à quelques tirs | https://cartinoe5930.tistory.com/entry/gpt-3Language-Models-are-few-shot-learners-%EB%85%BC%EB%AC%B8-%EB%A6%AC%B5B7%B0 | https://cartinoe5930.tistory.com/entry/gpt-3Language-Models-are-few-shot-learners-%EB%85%BC%EB%AC%B8-%EB%A6%AC%B5B7%B0 |
| Transformateur-XL: modèles de langage attentif au-delà d'un contexte de longueur fixe | https://arxiv.org/abs/1901.02860 | https://cartinoe5930.tistory.com/entry/transformer-xl-attentive-language-models-beyond-a-fixed-length-clontext-%eb%85%BC%EB%AB8-%eb%A6%AC%EB%B7%B0 |
| Transformers clairsemés: générer de longues séquences avec des transformateurs clairsemés | https://arxiv.org/abs/1904.10509 | https://cartinoe5930.tistory.com/entry/sparse-transformateurs-generating-long-sequence-with-sparse-transformateurs-%EB%85%BC%B0b0 |
| XLNET: pré-entraînement autorégressif généralisé pour la compréhension du langage | https://arxiv.org/abs/1906.08237 | https://cartinoe5930.tistory.com/entry/xlnet-generalized-autoregressive-pretraining-forage-undestranding-%eb%85%BC%B0b0 |
| Spanbert: Amélioration de la pré-formation en représentant et en prédisant les portées | https://arxiv.org/abs/1907.10529 | https://cartinoe5930.tistory.com/entry/spanbert-improving-pre-training-by-represent-and-predicting-spans-%EB%EB%B7%B0 |
| Roberta: une approche de pré-formation Bert optimisée à optimisation robuste | https://arxiv.org/abs/1907.11692 | https://cartinoe5930.tistory.com/entry/roberta-a-robustly-optimized-bert-pretraining-approach-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Phrase-bert: phrase incorpores utilisant siamois bert-networks | https://arxiv.org/abs/1908.10084 | https://cartinoe5930.tistory.com/entry/sentence-bert-sensence-embeddings-using-siamese-bert-networks-%EB%85%BC%B0b0 |
| Albert: A Lite Bert pour l'apprentissage auto-supervisé des représentations linguistiques | https://arxiv.org/abs/1909.11942 | https://cartinoe5930.tistory.com/entry/albert-a-lite-bert-for-self-pervised-learning-ofanguage-representations-%EB%85%BC%B0%B8-%EB%A6%AC%EB%B7%B0 |
| BART: Pré-formation de séquence à séquence à la séquence pour la génération, la traduction et la compréhension du langage naturel | https://arxiv.org/abs/1910.13461 | https://cartinoe5930.tistory.com/entry/bart-dennoing- sequence-thesence-pre-training-for-natural-language-generation-translation-and-comprehension-%eb%85%BC%EB%AC%B8-%eb%A6%AC%EB%Bgu0%B0 |
| Transformateur pré-LN: sur la normalisation de la couche dans l'architecture du transformateur | https://arxiv.org/abs/2002.04745 | https://cartinoe5930.tistory.com/entry/pre-ln-transformateur-on-layer-normalisation-in-the-transformer-architecture-%eb%eb%B7%B0 |
| Electra: Encodeurs de texte pré-formation comme discriminateurs plutôt que générateurs | https://arxiv.org/abs/2003.10555 | https://cartinoe5930.tistory.com/entry/electra-pre-training-text-encoders-as-discriminators-rather-than-generators |
| LongFormer: le transformateur à long document | https://arxiv.org/abs/2004.05150 | https://cartinoe5930.tistory.com/entry/longformer-the-long-document-transformmer-%eb%85%BC%EB%AC%B8-%eb%A6%AC%B7%B0 |
| Bigbird: Transformers pour les séquences plus longues | https://arxiv.org/abs/2007.14062 | https://cartinoe5930.tistory.com/entry/bigbird-transformateurs-for-lasger- sequences-%eb%85%BC%EB%AC%B8-%eb%A6%AC%B7%B0 |
| Webgpt: réponses aux questions assistées par le navigateur avec commentaires humains | https://arxiv.org/abs/2112.09332 | https://cartinoe5930.tistory.com/entry/webgpt-browser-assisted-destion-answering-with-human-feedback-%eb%EB%B7%B0 |
| OPT: ouvrez les modèles de langue transformatrice pré-formée | https://arxiv.org/abs/2205.01068 | https://cartinoe5930.tistory.com/entry/opt-open-pre-trained-transformmer-language-models-%EB%85%BC%EB%AC%B8-%EB%A6%AC%B5B7%B0 |
| Mamba: modélisation de séquences linéaires avec des espaces d'état sélectifs | https://arxiv.org/abs/2312.00752 | Pas de plan! |
| Titre de papier | Papier ou lien de site de référence | Revue sur papier |
|---|---|---|
| Tinybert: Distillant Bert pour la compréhension du langage naturel | https://arxiv.org/abs/1909.10351 | https://cartinoe5930.tistory.com/entry/tinybert-distilling-bert-for-natural-language-udgetpreing-%eb%85%BC%EB%AC%B8-%EB%A6%AC%B7%B0 |
| Distilbert: une version distillée de Bert | https://arxiv.org/abs/1910.01108 | https://cartinoe5930.tistory.com/entry/distilbert-a-distilla-version-oferbert-smaller-faster-cheper-and-lighter-%eb%eb%B7%B0 |
| Ce n'est pas seulement la taille qui compte: les petits modèles de langue sont également des apprenants à quelques tirs (animal de compagnie 응용) | https://arxiv.org/abs/2009.07118 | https://cartinoe5930.tistory.com/entry/its-not-just-size-that-matters-small-language-models-are-also-few-shot-learners-%eb%85%BC%EB%AC%B8-%eb%A6%AC%EB%B7%B0 |
| Titre de papier | Papier ou lien de site de référence | Revue sur papier |
|---|---|---|
| Chinchilla: entraînement de modèles de grande langue en calcul en calcul | https://arxiv.org/abs/2203.15556 | https://cartinoe5930.tistory.com/entry/%EC%A7%80%EA%B8%88-%EA%B9%8C%EC%A7%80%E C% 9D% 98-LM-échelle-échelle% EC% 97% 90% EB% 8A% 94-% EB% AC% B8% EC% A0% 9C% EC% A0% 90% EC% 9D% B4- % Ec% 9e% 88% EB% 8B% A4-% F0% 9F% 98% B6% E2% 80% 8D% F0% 9F% 8C% AB% B8% 8F-chinchilla-entraînement-compute-optimal-Langue-Language modèle |
| Pythia: une suite pour analyser les modèles de gros langues à travers la formation et la mise à l'échelle | https://arxiv.org/abs/2304.01373 | Pas de plan! |
| Lima: moins c'est plus pour l'alignement | https://arxiv.org/abs/2305.11206 | https://cartinoe5930.tistory.com/entry/lima-less-is-more-for-alignment-%eb%85%BC%EB%AC%B8-%EB%A6%AC%B5B7%B0 |
| LLAMA: modèles de langue de base ouverts et efficaces | https://arxiv.org/abs/2302.13971 | https://cartinoe5930.tistory.com/entry/llama-open-and-efficient-foundation-language-models-%eb%85%BC%EB%AC%B8-%EB%A6%AC%B7%B0 |
| Wizardlm: autonomiser les modèles de grande langue pour suivre les instructions complexes | https://arxiv.org/abs/2304.12244 | https://cartinoe5930.tistory.com/entry/open-domain-instruction%EC%9D%98-%ED%9A%A8%EA%B3%BC-%F0%9F%AA%84-wiz Ardlm-Empower-Lang-Language-Models-to-Subder-Complex-instructions -% EB% 85% BC% EB% AC% B8-% EB% A6% AC% EB% B7% B0 |
| WizardCoder: Autonomiser les modèles de gros langues Code avec EVOL-INSTRUCT | https://arxiv.org/abs/2306.08568 | https://huggingface.co/wizardlm/wizardcoder-15b-v1.0 |
| Wizardmath: responsabilisation du raisonnement mathématique pour les modèles de grands langues via un instruct évolutif renforcé | https://arxiv.org/abs/2308.09583 | https://huggingface.co/wizardlm/wizardmath-70b-v1.0 |
| Alpaga: un modèle fort et reproductible de suivi des instructions | https://crfm.stanford.edu/2023/03/13/alpaca.html | https://cartinoe5930.tistory.com/entry/alpaca-a-strong-replicable-instruction-following-model-%EB%A6%AC%EB%B7%B0 |
| Vicuna: un chatbot open source impressiant gpt-4 | https://lmsys.org/blog/2023-03-30-vicuna/ | https://cartinoe5930.tistory.com/entry/vicuna-an-open-source-chatbot-impressing-gpt-4-%eb%A6%AC%EB%B7%B0 |
| Koala: un modèle de dialogue pour la recherche académique | https://bair.berkeley.edu/blog/2023/04/03/koala/ | https://cartinoe5930.tistory.com/entry/%EC%A4%91%EC%9A%94%ED%95%9C-%EA%B1%B4-%ea%BA%BE%9D%B4%EC % A7% 80-% EC% 95% 8A% EB% 8A% 94-High-Quality-Data-Koala% F0% 9F% 90% A8-A-Dialogue-modèle |
| Baize: un modèle de chat open source avec un réglage économe en paramètres sur les données d'auto-chat | https://arxiv.org/abs/2304.01196 | https://cartinoe5930.tistory.com/entry/%F0%9F%90%B2baize-an-open-source-chat-model-with-paramètre-efficience-tuning-on-self-chat-data-%eb%85%BC%B0 |
| Mise à l'échelle des modèles de langues limitées aux données | https://arxiv.org/abs/2305.16264 | https://www.youtube.com/watch?v=tk0-Sitkcmw&pp=ygugahr0chm6ly9hcnhpdi5vcmcvywjzlzizmduumtyynjq%3d |
| Falcon & RefinedWeb | https://arxiv.org/abs/2306.01116 | https://cartinoe5930.tistory.com/entry/open-llm-leaderboard%EB%A5%BC-%ED%9C%A9%EC%BERCON-RefinedWeb |
| ORCA: Apprentissage progressif à partir de traces d'explication complexes de GPT-4 | https://arxiv.org/pdf/2306.02707 | https://cartinoe5930.tistory.com/entry/%F0%9F%90%ACorca-progressive-learning-from-complex-explanation-traces-of-gpt-4-%EB%85%BC%eb%AC%B8-%eb%A6%AC%EB%B5B0 |
| phi-1: les manuels sont tout ce dont vous avez besoin | https://arxiv.org/abs/2306.11644 | https://cartinoe5930.tistory.com/entry/%ed%95%84%EC%9A%94%ED%95%9C-%EA%B1%B4-%90%98%A4%AC%81-%ea%ec58%98%98%98%98% % A4% 80% EC% 9D% 98-% EB% 8D% B0% EC% 9D% B4% ED% 84% B0% EB% BF% 90-% F0% 9F% 93% 96-PHI-1-TEXTBOOKS-ARE-ALL-YOU-NEED-% EB% 85% BC |
| Alpagasus: former un meilleur alpaga avec moins de données | https://arxiv.org/abs/2307.08701 | Sera téléchargé plus tard! |
| LLAMA 2: Modèles de chat à fondation ouverte et à réglage fin | https://arxiv.org/abs/2307.09288 | https://cartinoe5930.tistory.com/entry/the-hopes-of-researchers-open-source-%F0%9F%A4%97- % EC% 97% B0% EA% B5% AC% EC% 9E% 90% EB% 93% A4% EC% 9D% 98-% ED% 9D% AC% EB% A7% 9D-Open-Source-% F0% 9F% A4% 97 |
| Platpus: raffinement rapide, bon marché et puissant des LLM | https://arxiv.org/abs/2308.07317 | Sera téléchargé plus tard! |
| Code Llama: Open Foundation Models for Code | https://arxiv.org/abs/2308.12950 | Pas de plan |
| FLM-101B: un LLM ouvert et comment le former avec un budget de 100 000 $ | https://arxiv.org/pdf/2309.03852 | Pas de plan! |
| Les manuels sont tout ce dont vous avez besoin II: PHI-1.5 Rapport technique | https://arxiv.org/abs/2309.05463 | https://huggingface.co/microsoft/phi-1_5 |
| OpenChat: Faire progresser les modèles de langue open source avec des données de qualité mixte | https://arxiv.org/abs/2309.11235 | https://github.com/imoneoi/openchat |
| Mistral 7b | https://arxiv.org/abs/2310.06825 | https://mistrral.ai/news/announcing-mistral-7b/ |
| Prométhée: induire la capacité d'évaluation à grain fin dans les modèles de langues | https://arxiv.org/abs/2310.08491 | https://huggingface.co/papers/2310.08491#652a8e7f30355beba68c1be6 |
| Zephyr: distillation directe de l'alignement LM | https://arxiv.org/abs/2310.16944 | https://www.youtube.com/watch?v=tkzbg3mksio |
| ORCA2: Enseignement de petits modèles de langue comment raisonner | https://arxiv.org/abs/2311.11045 | https://www.microsoft.com/en-us/research/blog/orca-2-teaching-small-language-models-how-to-reason/ |
| La série Falcon de modèles en langue ouverte | https://arxiv.org/abs/2311.16867 | Pas de plan! |
| Solaire 10.7b: échelle de modèles de gros langues avec une profondeur de mise à l'échelle simple mais efficace | https://arxiv.org/abs/2312.15166 | Pas de plan! |
| Titre de papier | Papier ou lien de site de référence | Revue sur papier |
|---|---|---|
| Lamda: modèles de langue pour les applications de dialogue | Blog: https://ai.googleblog.com/2022/01/lamda-towards-safe-grounted-and-high.html, papier: https://arxiv.org/abs/2201.08239 | https://cartinoe5930.tistory.com/entry/%EA%B5%AC%EA%B8%80%EC%9D%98-%EC%B5%9C%EA%B0%95-%97%90-%97%eb%B4 ' % 80% ED% 95% B4-% EC% 95% 8C% EC% 95% 84% EB% B3% B4% EC% 9E% 90-Language-modes-for-dialog-Applications -% EB% 85% BC% EB% AC% B8-% EB% A6% AC% EB% B7 B7 B7 B7 |
| PAMPE: Échelle de la modélisation du langage avec des voies | Blog: https://ai.googleblog.com/2022/04/pathways-anguage-model-palm-scaling-to.html, document: https://arxiv.org/abs/2204.02311 | 1: https://cartinoe5930.tistory.com/entry/lamda%EC%9D%98-%EB%92%A4%EB%A5%BC-%EC%9E%87%EB%8A%94-Pathways%eb%A5%BC-%ED%ed%8A%94-Pathway 99% 9C% EC% 9A% A9% ED% 95% 9C-% EC% B4% 88% EA% B1% B0% EB% 8C% 80-% EC% 96% B8% EC% 96% B4-% EB% AA% A8% EB% 8D% B8-PALM-% EB% A6% AC% EB% B7% B0, 2: https://cartinoe5930.tistory.com/entry/lamda%EC%9D%98-%EB%92%A4%EB%A5%BC-%EC%9E%87%EB%8A%94-Pathways%eb%A5%BC-%EC% 82% AC% EC% 9A% A9% ED% 95% 9C-% EC% B4% 88% EA% B1% B0% EB% 8C% 80-% EC% 96% B8% EC% 96% B4-% EB% AA% A8% EB% 8D% B8-PALM-% EB% A6% AC% EB% B7% B02 |
| GPT-4: revue technique | Blog: https://openai.com/research/gpt-4, document: https://arxiv.org/abs/2303.08774 | https://cartinoe5930.tistory.com/entry/gpt-4-techinal-report-review |
| Gémeaux: une famille de modèles multimodaux hautement capables | https://arxiv.org/abs/2312.11805 | Pas de plan! |
| Rapport technique Alphacode 2 | https://storage.googleapis.com/deepmind-media/alphacode2/alphacode2_tech_report.pdf | Pas de plan! |
| Titre de papier | Papier ou lien de site de référence | Revue sur papier |
|---|---|---|
| Flan: les modèles de langage affinés sont des apprenants à tirs zéro | https://arxiv.org/abs/2109.01652 | https://cartinoe5930.tistory.com/entry/flan-fine-tuned-anguage-models-are-zero-chot-learners-%eb%85%BC%B0b0 |
| T0: La formation invitée multitâche permet une généralisation des tâches zéro-shot | https://arxiv.org/abs/2110.08207 | https://cartinoe5930.tistory.com/entry/t0-multitask-pompted-training-enables-zero-chot-task-generalisation-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Instructions super naturelles: Généralisation via des instructions déclaratives sur plus de 1600 tâches NLP | https://arxiv.org/abs/2204.07705 | https://cartinoe5930.tistory.com/entry/super-natural-instructions-generation-via-declarative-instructions-on-1600-nlp-tasks-%EB%85%B%EB%AC%B8-%EB%A6%AC%EB%Bgu0%B0 |
| Instructions contre nature: régler les modèles de langue avec (presque) pas le travail humain | https://arxiv.org/abs/2212.09689 | Sera téléchargé plus tard! |
| Devinez l'instruction! L'apprentissage inversé rend les modèles de langue plus forts des apprenants zéro | https://arxiv.org/abs/2210.02969 | https://cartinoe5930.tistory.com/entry/guess-the-instruction-flipped-learning-makes-language-models-stronger-zero-shot-learners-%eb%85%BC%EB%AC%B8-%eb%A6%AC%EB%B7%B0 |
| Mise à l'échelle des modèles de langage au finamment des instructions | https://arxiv.org/abs/2210.11416 | https://cartinoe5930.tistory.com/entry/scaling-instruction-finetuned-language-models-%eb%85%BC%EB%AC%B8-%EB%A6%AC%B7%B0 |
| Explorer les avantages de la formation des modèles de langue d'experts sur le réglage de l'instruction | https://arxiv.org/abs/2302.03202 | https://cartinoe5930.tistory.com/entry/exploration-the-benefits-of-training-expert-language-models-over-instruction-tuning-%eb%85%BC%EB%B8-%eb%A6%AC%EB%B7%B0 |
| ICIL: apprentissage de l'enseignement dans le contexte | https://arxiv.org/abs/2302.14691 | https://cartinoe5930.tistory.com/entry/icil-in-context-instruction-learning-%eb%85%BC%EB%AC%B8-%EB%A6%AC%B5B7%B0 |
| Réglage des instructions avec gpt-4 | https://arxiv.org/abs/2304.03277 | https://cartinoe5930.tistory.com/entry/instruction-tuning-with-gpt-4-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| FIP: Correction d'un paramétrage d'entrée pour une incitation efficace | https://aclanthology.org/2023.findings-acl.533.pdf | Sera téléchargé plus tard! |
| Flacuna: libérez le pouvoir de résolution de problèmes de vicuna en utilisant un réglage flan | https://arxiv.org/abs/2307.02053 | Sera téléchargé plus tard! |
| Peut-être que seulement 0,5% de données sont nécessaires: une exploration préliminaire du réglage de l'enseignement des données de formation faible | https://arxiv.org/abs/2305.09246 | Sera téléchargé plus tard! |
| Devenir auto-instruit: introduire des critères d'arrêt anticipé pour un réglage minimal des instructions | https://arxiv.org/abs/2307.03692 | Sera téléchargé plus tard! |
| Titre de papier | Papier ou lien de site de référence | Revue sur papier |
|---|---|---|
| RLHF (renforcement d'apprentissage de la rétroaction humaine) | https://huggingface.co/blog/rlhf | https://cartinoe5930.tistory.com/entry/%EC%82%AC%EB%9E%8C%EC%9D%98-%ED%94%BC%EB%93%9C%EB%B0%B1%EC%9D%84 -% ed% 86% b5% ed% 95% 9c-% ea% b0% 95% ed% 99% 94% ed% 95% 99% ec% 8a% b5-reinforcement-learning-from-human-feedback-rlhf |
| Modèles de langage en équipe rouge avec des modèles de langue | https://arxiv.org/abs/2202.03286 | https://cartinoe5930.tistory.com/entry/red-teaming-language-models-with-language-models-%eb%85%BC%EB%AC%B8-%EB%A6%AC%B7%B0 |
| InstructGpt: formation de modèles de langue pour suivre les instructions avec commentaires humains | https://arxiv.org/abs/2203.02155 | https://cartinoe5930.tistory.com/entry/instructgpt-training-language-models-to-fall-instructions-with-human-feedback-%EB%85%BC%B ' |
| Former un assistant utile et inoffensif avec apprentissage du renforcement des commentaires humains | https://arxiv.org/abs/2204.05862 | https://cartinoe5930.tistory.com/entry/training-a-helpful-and-harmless-assistant-with-reinforcement-learning-from-human-feedback-%eb%85%BC%EB%AC%B8-%eb%A6%AC%EB%B7%B0 |
| Alpacafarm: un cadre de simulation pour les méthodes qui apprennent de la rétroaction humaine | https://arxiv.org/abs/2305.14387 | Sera téléchargé plus tard! |
| Presque: aligner des modèles de gros langues grâce à une rétroaction synthétique | https://arxiv.org/abs/2305.13735 | https://cartinoe5930.tistory.com/entry/aligning-large-anguage-models-through-shenthetic-feedback-%EB%85%BC%B0b0 |
| Problèmes ouverts et limites fondamentales de l'apprentissage du renforcement de la rétroaction humaine | https://arxiv.org/abs/2307.15217 | Sera téléchargé plus tard! |
| RLAIF: Échelle de renforcement d'apprentissage de la rétroaction humaine avec la rétroaction de l'IA | https://arxiv.org/abs/2309.00267 | Pas de plan! |
| Steerlm: Attribut conditionné SFT en tant qu'alternative (stérable par l'utilisateur) à RLHF | https://arxiv.org/abs/2310.05344 | Pas de plan! |
| Helpsteer: ensemble de données multi-attributs pour une steerlm | https://arxiv.org/abs/2311.09528 | Pas de plan! |
| Titre de papier | Papier ou lien de site de référence | Revue sur papier |
|---|---|---|
| Adaptateur: apprentissage économe en paramètres pour la PNL | https://arxiv.org/abs/1902.00751 | https://cartinoe5930.tistory.com/entry/%EB%8B%B9%EC%8B%A0%EB%8F%84-Fine-Tuning- % ED% 95% A0-% EC% 88% 98-% EC% 9E% 88% EC% 8A% B5% EB% 8B% 88% EB% 8B% A4-With-PEFT-% F0% 9F% A4% 97 |
| Préfixe-réglage: optimisation des invites continues pour la génération | https://arxiv.org/abs/2101.00190 | https://cartinoe5930.tistory.com/entry/%EB%8B%B9%EC%8B%A0%EB%8F%84-Fine-Tuning- % ED% 95% A0-% EC% 88% 98-% EC% 9E% 88% EC% 8A% B5% EB% 8B% 88% EB% 8B% A4-With-PEFT-% F0% 9F% A4% 97 |
| LORA: Adaptation de faible rang des modèles de grandes langues | https://arxiv.org/abs/2106.09685 | https://cartinoe5930.tistory.com/entry/%EB%8B%B9%EC%8B%A0%EB%8F%84-Fine-Tuning- % ED% 95% A0-% EC% 88% 98-% EC% 9E% 88% EC% 8A% B5% EB% 8B% 88% EB% 8B% A4-With-PEFT-% F0% 9F% A4% 97 |
| Vers une vision unifiée de l'apprentissage du transfert économe en paramètres | https://arxiv.org/abs/2110.04366 | Sera téléchargé plus tard! |
| Unipelt: un cadre unifié pour le réglage du modèle de langage économe en paramètres | https://arxiv.org/abs/2110.07577 | Sera téléchargé plus tard! |
| (Ia) ^ 3: le réglage fin à petit paramètre est meilleur et moins cher que l'apprentissage dans le contexte | https://arxiv.org/abs/2205.05638 | Sera téléchargé plus tard! |
| Qlora: affinement efficace des LLM quantifiés | https://arxiv.org/abs/2305.14314 | Sera téléchargé plus tard! |
| Empiler plus de couches différemment: une formation de haut rang grâce à des mises à jour de faible rang | https://arxiv.org/abs/2307.05695 | Sera téléchargé plus tard! |
| Lorahub: généralisation efficace de la tâche croisée via la composition dynamique de Lora | https://arxiv.org/abs/2307.13269 | Sera téléchargé plus tard! |
| Titre de papier | Papier ou lien de site de référence | Revue sur papier |
|---|---|---|
| Exploitation d'instructions: sélection de données d'instructions de haute qualité pour les modèles de grande langue | https://arxiv.org/abs/2307.06290 | Pas de plan! |
| Soda: distillation de dialogue à l'échelle à l'échelle à l'échelle avec contextualisation de bon sens social | https://arxiv.org/abs/2212.10465 | Pas de plan! |
| Mods: sélection de données orientée modèle pour le réglage des instructions | https://arxiv.org/abs/2311.15653 | Pas de plan! |
| Au-delà des données humaines: la mise à l'échelle de l'auto-entraînement pour la résolution de problèmes avec les modèles de langues | https://arxiv.org/abs/2312.06585 | Pas de plan! |
| MagicOder: le code source est tout ce dont vous avez besoin | https://arxiv.org/abs/2312.02120 | Pas de plan! |
| WAVECODER: réglage des instructions améliorées répandues et polyvalentes avec génération de données raffinées | https://arxiv.org/abs/2312.14187 | Pas de plan! |
| Ce qui fait de bonnes données pour l'alignement: une étude complète de la sélection automatique des données dans le réglage des instructions | https://arxiv.org/abs/2312.15685 | Pas de plan! |
| Titre de papier | Papier ou lien de site de référence | Revue sur papier |
|---|---|---|
| Qu'est-ce que «l'ingénierie rapide»? | Voir mon blog! | https://cartinoe5930.tistory.com/entry/prompt-ingineering%EC%9D%B4-%EB%AC%B4%97%87%EC%9D%BC%EA%B9%8C |
| COT: L'incitation de la chaîne de pensées provoque un raisonnement dans des modèles de grande langue | Blog: https://ai.googleblog.com/2022/05/language-models-perform-reasoning-via.html, document: https://arxiv.org/abs/2201.11903 | https://cartinoe5930.tistory.com/entry/lm%EC%9D%B4-%EC%82%AC%EB%9E%8C%EA%95%9C-%EC%9C%A0%82%AC%ED%ED%95%94%84%9D%aaéa%81-%9444%84%eb%aa5. % 9c% ec% 84% B8% EC% 8A% A4% EB% A5% BC-% EA% B0% 80% EC% A7% 80% EA% B2% 8C-% EB% 90% 9C% EB% 8B% A4% EB% A9% B4-Chain-of-of-Thing-% EB% 85% BC% AC% B8-% EB% A6% AC% B7 B7 B7 |
| Cot à zéro: les modèles de grandes langues sont des raisonneurs à tirs zéro | https://arxiv.org/abs/2205.11916 | https://cartinoe5930.tistory.com/entry/large-anguage-models-are-zero-ser--reasoners-%EB%85%BC%EB%AC%B8-%EB%A6%AC%B5B7%B0 |
| Les modèles linguistiques sont des raisonneurs multilingues de la chaîne de pensées | https://arxiv.org/abs/2210.03057 | Sera téléchargé plus tard! |
| Auto-Cot: chaîne de pensée automatique provoquant des modèles de grande langue | https://arxiv.org/abs/2210.03493 | Sera téléchargé plus tard! |
| COT KD: enseigner aux petits modèles de langue à raisonner | https://arxiv.org/abs/2212.08410 | Sera téléchargé plus tard! |
| TOT: Arbre de pensées: résolution de problèmes délibérée avec de grands modèles de langue | https://arxiv.org/abs/2305.10601 | https://cartinoe5930.tistory.com/entry/tree-of-thoughts-deliberate-problem-solving-with-large-language-models-%EB%EB%B7%B0 |
| La collection de COT: Amélioration de l'apprentissage zéro et à quelques coups de modèles de langue via un réglage fin de la chaîne de pensées | https://arxiv.org/abs/2305.14045 | https://cartinoe5930.tistory.com/entry/cot-collection-improving-zero-sher-and-few-shot-learning-fanguage-models-via-chain-of-thought-fine-tuning-%eb%85%BC%B ' |
| Vérinons étape par étape | https://arxiv.org/abs/2305.20050 | https://cartinoe5930.tistory.com/entry/lets-verify-tep-by-tep-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Mesurer la finalité dans le raisonnement de la chaîne de pensées | https://arxiv.org/abs/2307.13702 | Sera téléchargé plus tard! |
| SOT: squelette-pensée: les modèles de grands langues peuvent faire un décodage parallèle | https://arxiv.org/abs/2307.15337 | Sera téléchargé plus tard! |
| Graphique des pensées: résoudre des problèmes élaborés avec de grands modèles de langue | https://arxiv.org/abs/2308.09687 | Sera téléchargé plus tard! |
| De clairsemé à dense: Résumé GPT-4 avec chaîne de densité | https://arxiv.org/abs/2309.04269 | Pas de plan! |
| La chaîne de vérification récise les hallucinations dans des modèles de grande langue | https://arxiv.org/abs/2309.11495 | https://www.youtube.com/watch?v=l0zfjwregog&pp=ygugahr0chm6ly9hcnhpdi5vcmcvywjzlzizmdkumte0otu%3d |
| Chaîne de pensée contrastée | https://arxiv.org/abs/2311.09277 | Pas de plan! |
| Sujet de la pensée Déterminer les contextes chaotiques | https://arxiv.org/abs/2311.08734 | Pas de plan! |
| Système 2 Attention (est quelque chose dont vous pourriez aussi avoir besoin) | https://arxiv.org/abs/2311.11829 | Pas de plan! |
| Chaîne de code: Raisonnement avec un émulateur de code augmenté modèle de modèle | https://arxiv.org/abs/2312.04474 | Pas de plan! |
| Titre de papier | Papier | Revue sur papier |
|---|---|---|
| Flashattention: une attention exacte rapide et économe en mémoire | https://arxiv.org/abs/2205.14135 | https://gordicaleksa.medium.com/eli5-flash-attention-5c44017022ad |
| Modélisation du langage exponentiellement plus rapide | https://arxiv.org/abs/2311.10770 | Pas de plan! |
| LLM dans un flash: modèle efficace de modèle de grande langue avec la mémoire limitée | https://arxiv.org/abs/2312.11514 | Pas de plan! |
| Titre de papier | Papier ou lien de site de référence | Revue sur papier |
|---|---|---|
| Augmentations de données dans la PNL | blogs: https://neptune.ai/blog/data-augmentation-nlp, https://amitness.com/2020/05/data-augmentation-for-nlp/?fbclid=IwAR11MkccCti-2cD93RYftNPHb7Wxdj7AlZG7NNG4EhPaBkmiJkcBPtdl1eo | https://cartinoe5930.tistory.com/entry/data-augmentation-methods-in-nlp |
| Animal de compagnie: exploiter les questions de Cloze pour quelques tirs classification du texte et inférence du langage naturel | https://arxiv.org/abs/2001.07676 | https://cartinoe5930.tistory.com/entry/pet-exploitting-cloze-questions-for-few-shot-text-classification-and-natural-language-inference-%eb%85%BC%EB%AC%B8-%eb%A6%AC%EB%B7%B0 |
| Chemins | https://blog.google/technology/ai/introducing-pathways-next-generation-ai-architecture/ | https://cartinoe5930.tistory.com/entry/%EB%A7%8C%EC%95%BD-%EB%AA%A8%EB%8D%B8%EC%9D%B4-%EC%97%AC%EB%9F%AC-%EA%B0%90%97%a B0% 81% EC% 9D% 84-% EB% 8A% 90% EB% 82% 84-% EC% 88% 98-% EC% 9E% 88% EA% B2% 8C-% EB% 90% 9C% EB% 8B% A4% EB% A9% B4 PATHWAYS-% EB% A6% AC% EB% B7% B0 B0% B4 |
| LMSI: les modèles de grande langue peuvent s'auto-impression | https://arxiv.org/abs/2210.11610 | https://cartinoe5930.tistory.com/entry/lmsi-large-anguage-models-can-self-improve-%EB%85%BC%EB%AC%B8-%EB%A6%AC%B5B7%B0 |
| Auto-instruction: Alignez le modèle de langue avec une instruction auto-générée | https://arxiv.org/abs/2212.10560 | https://cartinoe5930.tistory.com/entry/self-instruct-aligning-language-model-with-selgeterated-instructions-%EB%EB%B7%B0 |
| Réflexion: agents linguistiques avec apprentissage du renforcement verbal | https://arxiv.org/abs/2303.11366 | https://cartinoe5930.tistory.com/entry/reflexion-anguage-agents-with-verbal-reinforcement-learning-%EB%85%BC%B0b0 |
| Auto-rafraîchissement: raffinement itératif avec l'auto-alimentation | https://arxiv.org/abs/2303.17651 | https://cartinoe5930.tistory.com/entry/self-refine-iterative-refilement-with-elfeedback-%eb%85%BC%EB%AC%B8-%EB%A6%AC%B7%B0 |
| REFIGER: Raisonnement des commentaires sur les représentations intermédiaires | https://arxiv.org/abs/2304.01904 | Pas de plan! |
| Selfee: Iterative Auto-Revise LLM Étendue par la génération d'auto-alimentation | https://kaistai.github.io/selfee/ | https://cartinoe5930.tistory.com/entry/selfee-iterative-elf-reviing-llm-expowed-by-selfeedback-generation-%eb%eb%B7%B0 |
| GQA: Formation des modèles de transformateurs multi-couches généralisés à partir de points de contrôle multiples | https://arxiv.org/abs/2305.13245 | https://aliissa99.medium.com/-a596e4d86f79 |
| Shpherd: un critique de la génération de modèles de langues | https://arxiv.org/abs/2308.04592 | Sera téléchargé plus tard! |
| Auto-alignement avec une backtranslation de l'instruction | https://arxiv.org/pdf/2308.06259 | Sera téléchargé plus tard! |
| Vis: un cadre modulaire pour le raisonnement avec les révisions | https://arxiv.org/pdf/2309.13075 | Pas de plan! |
| Neftune: les intégres bruyants améliorent l'instruction Fineuning | https://arxiv.org/abs/2310.05914 | https://cartinoe5930.tistory.com/entry/noise-makes-llm-better-neftune-%F0%9F%98%89 |
| Les modèles linguistiques sont Super Mario; Capacités d'absorption des modèles homologues comme un déjeuner gratuit | https://arxiv.org/abs/2311.03099 | Pas de plan! |
| Loramoe: révolutionner le mélange d'experts pour maintenir l'alignement des connaissances du monde dans le monde | https://arxiv.org/abs/2312.09979 | Pas de plan! |
| Titre de papier | Papier ou lien de site de référence | Revue sur papier |
|---|---|---|
| Génération auprès de la récupération pour les tâches NLP à forte intensité de connaissances | https://arxiv.org/abs/2005.11401 | Pas de plan! |
| Auto-rag: apprendre à récupérer, générer et critiquer à travers l'auto-réflexion | https://arxiv.org/abs/2310.11511 | Pas de plan! |
| Instrutro: Instruction Tuning Post Post Retrieval-Augmented Pret-Raining | https://arxiv.org/abs/2310.07713 | Pas de plan! |
| GÉNÉRATION DE RÉTENTION AUGMENT | https://arxiv.org/abs/2312.10997 | Pas de plan! |
| Titre de papier | Papier ou lien de site de référence | Revue sur papier |
|---|---|---|
| Big-banc dur: remettre en question les tâches de gros banc et si la chaîne de pensées peut résoudre ce tham | https://arxiv.org/abs/2210.09261 | Sera téléchargé plus tard! |
| Les modèles de grandes langues ne sont pas des évaluateurs équitables | https://arxiv.org/abs/2305.17926 | Sera téléchargé plus tard! |
| MT-Bench: juger LLM-AS-A-JUDUS avec MT-Bench | https://arxiv.org/abs/2306.05685 | Sera téléchargé plus tard! |
| InstructEval: Towards Holistic Evaluation of Instruction-Tuned Large Language Models | https://arxiv.org/abs/2306.04757 | Will be uploaded later! |
| FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets | https://arxiv.org/abs/2307.10928 | Will be uploaded later! |
| GAIA: A Benchmark for General AI Assistants | https://arxiv.org/abs/2311.12983 | No plan! |
| Paper Title | Paper or reference site Link | Paper Review |
|---|---|---|
| A Length-Extrapolatable Transformer | https://arxiv.org/abs/2212.10554 | No plan! |
| Extending Context Window of Large Language Models via Positional Interpolation | https://arxiv.org/abs/2306.15595 | https://cartinoe5930.tistory.com/entry/LM%EC%9D%98-context-window-%EA%B8%B8%EC%96%B4%EC%95%BC-%ED%95%A0%EA%B9%8C-%EC%A7%A7%EC%95%84%EC%95%BC-%ED%95%A0%EA%B9%8C-%F0%9F%93%8F%F0%9F%A4%A8 |
| LongNet: Scaling Transformers to 1,000,000,000 Tokens | https://arxiv.org/abs/2307.02486 | https://cartinoe5930.tistory.com/entry/LM%EC%9D%98-context-window-%EA%B8%B8%EC%96%B4%EC%95%BC-%ED%95%A0%EA%B9%8C-%EC%A7%A7%EC%95%84%EC%95%BC-%ED%95%A0%EA%B9%8C-%F0%9F%93%8F%F0%9F%A4%A8 |
| Lost in the Middle: How Language Models Use Long Contexts | https://arxiv.org/abs/2307.03172 | https://cartinoe5930.tistory.com/entry/LM%EC%9D%98-context-window-%EA%B8%B8%EC%96%B4%EC%95%BC-%ED%95%A0%EA%B9%8C-%EC%A7%A7%EC%95%84%EC%95%BC-%ED%95%A0%EA%B9%8C-%F0%9F%93%8F%F0%9F%A4%A8 |
| YaRN: Efficient Context Window Extension of Large Language Models | https://arxiv.org/abs/2309.00071 | No plan! |
| Paper Title | Paper or reference site Link | Paper Review |
|---|---|---|
| Why can GPT learn in-context? | https://arxiv.org/abs/2212.10559 | https://cartinoe5930.tistory.com/entry/Why-can-GPT-learn-in-context-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Sparks of Artificial General Intelligence: Early experiments with GPT-4 | paper: https://arxiv.org/abs/2303.12712, youtube: https://www.youtube.com/watch?v=Mqg3aTGNxZ0 | https://cartinoe5930.tistory.com/entry/Sparks-of-Artificial-General-Intelligence-Early-experiments-with-GPT-4-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| The False Promise of Imitating Proprietary LLMs | https://arxiv.org/abs/2305.15717 | https://cartinoe5930.tistory.com/entry/%EA%B8%B0%EC%A1%B4-imitation-model%EC%9D%80-%EC%9E%98%EB%AA%BB-%ED%95%99%EC%8A%B5%EB%90%98%EA%B3%A0-%EC%9E%88%EB%8B%A4-%F0%9F%AB%A2-The-False-Promise-of-Imitating-Proprietary-L |
| TULU: How Far Can Camels Go? Exploring the State of Instructiopn Tuning on Open Resources | https://arxiv.org/abs/2306.04751 | Will be uploaded later! |
| How Is ChatGPT's Behavior Changing over Time? | https://arxiv.org/abs/2307.09009 | https://cartinoe5930.tistory.com/entry/ChatGPT%EC%9D%98-%EC%84%B1%EB%8A%A5%EC%9D%B4-%EC%95%88-%EC%A2%8B%EC%95%84%EC%A7%80%EA%B3%A0-%EC%9E%88%EB%8B%A4%EA%B5%AC-%F0%9F%98%B2%F0%9F%98%B2 |
| Large Language Models Cannot Self-Correct Reasoning Yet | https://arxiv.org/abs/2310.01798 | |
| How Far Are Large Language Models from Agents with Theory-of-Mind | https://arxiv.org/pdf/2310.03051 | No plan! |
| Can LLMs Follow Simple Rules | https://arxiv.org/abs/2311.04235 | https://www.youtube.com/watch?v=CY6o43037OY |
| Camels in a Changing Climate; Enhancing LM Adaptation with Tulu 2 | https://arxiv.org/abs/2311.10702 | No plan! |
| ChatGPT's One-year Anniversary; Are Open-Source Large Language Models Catching up | https://arxiv.org/abs/2311.15653 | No plan! |
| An In-depth Look at Gemini's Language Abilities | https://arxiv.org/abs/2312.11444 | No plan! |
| Paper Title | Paper or reference site Link | Paper Review |
|---|---|---|
| DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature | https://arxiv.org/abs/2301.11305 | https://cartinoe5930.tistory.com/entry/%EC%9D%B4-%EA%B8%80%EC%9D%B4-LM%EC%9D%B4-%EB%A7%8C%EB%93%A4%EC%96%B4%EB%82%B8-%EA%B8%80%EC%9D%BC%EA%B9%8C-%EB%8F%84%EC%99%80%EC%A4%98-DetectGPT-DetectGPT-Zero-Shot-Machine-Generated-Text-Detection-using-Probability-Curvature-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback | https://arxiv.org/abs/2302.12813 | https://cartinoe5930.tistory.com/entry/ChatGPT%EC%9D%98-hallucination-%EC%96%B4%EB%96%BB%EA%B2%8C-%ED%95%B4%EA%B2%B0%ED%95%B4%EC%95%BC-%ED%95%A0%EA%B9%8C-Check-Your-Facts-and-Try-Again-Improving-Large-Language-Models-with-External-Knowledge-and-Automated-Feedback |
| RecurrentGPT: Interactive Generation of (Arbitrarily) Long Text | https://arxiv.org/abs/2305.13304 | https://cartinoe5930.tistory.com/entry/ChatGPT%EC%97%90-%EB%B0%98%EB%B3%B5-%EB%A9%94%EC%BB%A4%EB%8B%88%EC%A6%98LSTM%EC%9D%84-%EC%82%AC%EC%9A%A9%ED%95%9C%EB%8B%A4%EB%A9%B4-RecurrentGPT-Interactive-Generation-of-Arbitrarily-Long-Text-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Large Language Models as Tool Makers | https://arxiv.org/abs/2305.17126 | https://cartinoe5930.tistory.com/entry/LM%EC%9D%B4-%EB%8F%84%EA%B5%AC%EB%A5%BC-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B2%8C-%EB%90%9C%EB%8B%A4%EB%A9%B4-%F0%9F%94%AC-Large-Language-Models-as-Tool-Makers-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| LLM-Blender: Ensembling Large Language Models with Pairwise Ranking and Generative Fusion | https://arxiv.org/abs/2306.02561 | No plan! |
| Distillation des connaissances des modèles de grande langue | https://arxiv.org/abs/2306.08543 | https://cartinoe5930.tistory.com/entry/KD%EC%97%90-%EC%82%B4%EC%A7%9D%EC%9D%98-%EB%B3%80%ED%99%94%EB%A5%BC-%EC%A4%98%EB%B3%B4%EC%9E%90-%F0%9F%98%9C-Knowledge-Distillation-of-Large-Language-Models-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Scaling Relationship on Learning Mathematical Reasoning with Large Language Models | https://arxiv.org/abs/2308.01825 | Will be uploaded later! |
| ToolLLM: Facilitating Lare Language Models to Master 16000+ Real-World APIs | https://arxiv.org/abs/2307.16789 | Will be uploaded later! |
| SelfCheck: Using LLMs to Zero-shot Check Their Own Step-by-Step Reasoning | https://arxiv.org/abs/2308.00436 | Will be uploaded later! |
| Solving Challenging Math Word Problems Using GPT-4 Code Interpreter with Code-based Self-Verification | https://arxiv.org/abs/2308.07921 | Will be uploaded later! |
| Large Language Models as Optimizers | https://arxiv.org/abs/2309.03409 | No plan! |
| FIAT: Fusing Learning Paradigms with Instruction-Accelerated Tuning | https://arxiv.org/abs/2309.04663 | https://www.youtube.com/watch?v=EZsZEcRDte0&pp=ygUgaHR0cHM6Ly9hcnhpdi5vcmcvYWJzLzIzMDkuMDQ2NjM%3D |
| Contrastive Decoding Improves Reasoning in Large Language Models | https://arxiv.org/abs/2309.09117 | https://www.youtube.com/watch?v=nMR56TkwC1Q&pp=ygUgaHR0cHM6Ly9hcnhpdi5vcmcvYWJzLzIzMDkuMDkxMTc%3D |
| Think before you speak: Training Language Models with Pause Tokens | https://arxiv.org/abs/2310.02226 | https://www.youtube.com/watch?v=MtJ1jacr_yI |
| Large Language Models Can Learn Rules | https://arxiv.org/abs/2310.07064 | No plan! |
| In-context Pretraining: Language Modeling Beyond Document Boundaries | https://arxiv.org/abs/2310.10638 | https://www.youtube.com/watch?v=GI-0lAaILrU |
| Learning From Mistakes Makes LLM Better Reasoner | https://arxiv.org/abs/2310.20689 | No plan! |
| Language Models can be Logical Solvers | https://arxiv.org/abs/2311.06158 | No plan! |
| MART: Improving LLM Safety with Multi-round Automatic Red-Teaming | https://arxiv.org/abs/2311.07689 | No plan! |
| Fine-tuning Language Models for Factuality | https://arxiv.org/abs/2311.08401 | No plan! |
| Positional Description Matters for Transformers Arithmetic | https://arxiv.org/abs/2311.14737 | No plan! |
| Weak-to-Strong Generalization: Eliciting Strong Capabilities with Weak Supervision | https://arxiv.org/abs/2312.09390 | https://openai.com/research/weak-to-strong-generalization |
| TinyGSM: achieving higher than 80 percentage on GSM8k with small language models | https://arxiv.org/abs/2312.09241 | No plan! |
| Paper Title | Paper or reference site Link | Paper Review |
|---|---|---|
| Morpheme-aware Subword Tokenizer: An Empirical Study of Tokenization Strategies for Various Korean NLP Tasks | https://arxiv.org/abs/2010.02534 | Will be uploaded later! |
| What Changes Can Large-scale Language Models Bring? Intensive Study on HyperCLOVA: Billions-scale Korean Generative Pretrained Transformers | https://arxiv.org/abs/2109.04650 | Will be uploaded later! |
| Paper Title | Paper or reference site Link | Paper Review |
|---|---|---|
| history of CNN | LeNet, AlexNet, VGGNet, GoogLeNet, ResNet, ResNeXt, Sception, Mobilenet, DenseNet, EfficientNet, ConvNext | https://cartinoe5930.tistory.com/entry/CNN-network%EC%9D%98-%EC%97%AD%EC%82%AC |
| ViT: An Image Worth 16 x 16 Words: Transformers for Image Recognition at Scale | https://arxiv.org/abs/2010.11929 | https://cartinoe5930.tistory.com/entry/ViT-An-Image-Worth-16-x-16-Words-Transformers-for-Image-Recognition-at-Scale |
| Swin Transformer: Hierarchical Vision Transformer using Shifted Winodws | https://arxiv.org/abs/2103.14030 | https://cartinoe5930.tistory.com/entry/Swin-Transformer-Hierarchical-Vision-Transformer-using-Shifted-Windows-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| CLIP: Learning Transferable Visual Models From Natural Language Supervision | https://arxiv.org/abs/2103.00020 | https://cartinoe5930.tistory.com/entry/CLIP-Learning-Transferable-Visual-Models-From-Natural-Language-Supervision-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Paper Title | Paper or reference site Link | Paper Review |
|---|---|---|
| Let's learn about VLM(Visual-Language Model) | https://huggingface.co/blog/vision_language_pretraining#supporting-vision-language-models-in-%F0%9F%A4%97-transformers | https://cartinoe5930.tistory.com/entry/VLMVision-Language-Model%EC%97%90-%EB%8C%80%ED%95%B4-%EC%95%8C%EC%95%84%EB%B3%B4%EC%9E%90 |
| VisualBERT: A simple and Performant Baseline for Vision and Language | https://arxiv.org/abs/1908.03557 | https://cartinoe5930.tistory.com/entry/VisualBERT-A-Simple-and-Performant-Baseline-for-Vision-and-Language-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| ViLBERT: Pre-training Task-Agnostic Visiolinguistic Representations for Visual-and-Language Tasks | https://arxiv.org/abs/1908.02265 | https://cartinoe5930.tistory.com/entry/ViLBERT-Pretraining-Task-Agnostic-Visiolinguistic-Representations-for-Visual-and-Language-Tasks |
| LXMERT: Learning Cross-Modality Encoder Representations from Transformers | https://arxiv.org/abs/1908.07490 | https://cartinoe5930.tistory.com/entry/LXMERT-Learning-Cross-Modality-Encoder-Representations-from-Transformers-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| VL-BERT: Pre-training of Generic Visual-Linguistic Representations | https://arxiv.org/abs/1908.08530 | https://cartinoe5930.tistory.com/entry/VL-BERT-Pre-training-of-Generic-Visual-Linguistic-Representations-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| VLP: Unified Vision-Language Pre-Training for Image Captioning and VQA | https://arxiv.org/abs/1909.11059 | https://cartinoe5930.tistory.com/entry/VLP-Unified-Vision-Language-Pre-Traning-for-Image-Captioning-and-VQA-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks | https://arxiv.org/abs/2004.06165 | https://cartinoe5930.tistory.com/entry/Oscar-Object-Semantics-Aligned-Pre-training-for-Vision-Language-Tasks-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| VinVL: Revisiting Visual Representations in Vision-Language Models | https://arxiv.org/abs/2101.00529 | https://cartinoe5930.tistory.com/entry/VinVL-Revisiting-Visual-Representations-in-Vision-Language-Models-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision | https://arxiv.org/abs/2102.03334 | https://cartinoe5930.tistory.com/entry/ViLT-Vision-and-Language-Transformer-Without-Convolution-or-Region-Supervision-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| ALIGN: Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision | https://arxiv.org/abs/2102.05918 | https://cartinoe5930.tistory.com/entry/ALIGN-Scaling-up-Visual-and-Vision-Language-Representation-with-Noisy-Text-Supervision-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| ALBEF: Vision and Language Representation Learning with Momentum Distillation | https://arxiv.org/abs/2107.07651 | https://cartinoe5930.tistory.com/entry/ALBEF-Vision-and-Language-Representation-Learning-with-Momentum-Distillation-%EB%85%BC%EB%AC%B8 |
| SimVLM: Simple Visual Language Model Pretraining with Weak Supervision | https://arxiv.org/abs/2108.10904 | https://cartinoe5930.tistory.com/entry/SimVLM-Simple-Visual-Language-Model-Pre-training-with-Weak-Supervision-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| VLMo: Unified Vision-Language Pre-training with Mixture-of-Modality-Experts | https://arxiv.org/abs/2111.02358 | https://cartinoe5930.tistory.com/entry/VLMo-Unified-Vision-Language-Pre-training-with-Mixture-of-Modality-Experts-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| LiT : Zero-Shot Transfer with Locked-image text Tuning | https://arxiv.org/abs/2111.07991 | https://cartinoe5930.tistory.com/entry/LiT%F0%9F%94%A5-Zero-Shot-Transfer-with-Locked-image-text-Tuning-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| FLAVA: A Foundational Language And Vision Alignment Model | https://arxiv.org/abs/2112.04482 | https://cartinoe5930.tistory.com/entry/FLAVA-A-Foundational-Language-And-Vision-Alignment-Model-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation | https://arxiv.org/abs/2201.12086 | https://cartinoe5930.tistory.com/entry/BLIP-Bootstrapping-Language-Image-Pre-training-fro-Unified-Vision-Language-Understanding-and-Generation-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| Paper or Posting Title | reference site Link | Revoir |
|---|---|---|
| Knowledge Distillation: Distilling the Knowledge in a Neural Network | https://arxiv.org/abs/1503.02531 | https://cartinoe5930.tistory.com/entry/Distilling-the-Knowledge-in-a-Neural-Network-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 |
| What is Zero-shot, One-shot, Few-shot Learning? | see my blog! | https://cartinoe5930.tistory.com/entry/Zero-shot-One-shot-Few-shot-Learning%EC%9D%B4-%EB%AC%B4%EC%97%87%EC%9D%BC%EA%B9%8C |
