ホーム>プログラミング関連>AI ソースコード
ダウンロード

NLP、CV、ディープラーニングペーパーリーディングテーブル

私は、NLPとディープラーニングに関連するこれらの論文を読みました。ベーシックからアドバンスまでのさまざまな論文を以下に示します。 ？さらに、テーブルに添付されたリンクをクリックして、韓国のペーパーレビューを確認できます。

私のブログでは、より多くのペーパーレビュー、コード実装、数学の説明を見ることができます< - ここをクリックしてください

私の洞察？

いくつかの記事を書いて、いくつかの深い学習技術を詳細に説明しています。これらの記事は、下の表にあります。

タイトルブログリンク
NLPでスケーリング法はどのように開発されましたか？ ？ https://cartinoe5930.tistory.com/entry/how-has-scaling-law-developed-in-nlp-%f0%9f％A4%94-nlp%ec%97%90%ec%84 ％9c-scaling-law％eb％8a％94-％ec％96％b4％eb％96％bb％ea％b2％8c-％eb％b0％9c％ec％a0％84％eb％90％98％ec％97％88％ec％9d％84％ea％b9％8c
クローズドソース？オープンソース??それは何ですか？？ ?? https://cartinoe5930.tistory.com/entry/the-hopes-of-researchers-open-source-%f0%9f%A4%97- ％EC％97％B0％EA％B5％AC％EC％9E％90％EB％93％A4％EC％9D％98-％ED％9D％AC％EB％A7％9D-Open-Source-％F0％9F％A4％97
LMのコンテキストウィンドウ、長いですか？短いはずですか？ ?? https://cartinoe5930.tistory.com/entry/lm%ec%9d%98-context-window-%ea%B8%B8%EC%96%B4%EC%95%B C-％ED％95％A0％EA％B9％8C-％EC％A7％EC％95％84％EC％95％BC-％ED％95％A0％EA％B9％8C-％F0％9F％93％8F％F0％9F％A4％A8
LMを評価するための最も最適な方法は何ですか？ ？ https://cartinoe5930.tistory.com/entry/LM%EC%9D%84-%EA%B0%80%EC%9E%A5-％ECB5%9C%EC%A0%81%EC％ B0％80％ED％95％A0-％EC％88％98-％EC％9E％88％EB％8a％94-％EB％B0％A9％EB％B2％95％EC％9D％80-％AC％B4％EC％97％87％EC％9D％BC％B9％8C-％F0％9F％8E
ChatGptのパフォーマンスは悪化していますか？！？！？ ?? https://cartinoe5930.tistory.com/Entry/Chatgpt%EC%9D%98-%EC%84%B1%EB%8A%A5%EC%9D%B4-%EC%95%8Aです88-％EC％A2％8B％EC％95％84％EC％A7％80％EA％B3％A0-％EC％9E％88％EB％8B％A4％EA％B5％AC-％F0％9F％98％B2％F0％9F％98％B2
あなたも微調整することができます！ PEFTで？ https://cartinoe5930.tistory.com/entry/%eb%8B%B9%EC%8B%A0%EB%8F%84-Fine-Tuning- ％ED％95％A0-％EC％88％98-％EC％9E％88％EC％8A％B5％EB％8B％88％EB％8B％A4-With-Peft-％F0％9F％A4％97
人間のように段階的に考えましょう！ ?? https://cartinoe5930.tistory.com/entry/%ed%95%9c-%EB%8B%A8%EA%B3%84-%ED%95%9c-％eb%8b%A8%ea%ea％ ％EC％9D％B8％EA％B0％84％EC％B2％98％EB％9F％BC-％EC％83％9D％EA％B0％81％ED％95％B4％EB％B3％B4％EC％9E％90-％F0％9F％A7％A0％F0％9F％A4％94
微調整方法の開発プロセス!!微調整からrlhfへ？ https://cartinoe5930.tistory.com/entry/fine-tuning-method%EC%EC%98-%EC%A7%84%ED%9994-%EA%B3%EC%EC%A0%95-A%F0%9F%A6%96%2 %9EA%A1% EFFB8%97%F。です
chatgptを微調整する時が来ました!! ⏰ https://cartinoe5930.tistory.com/entry/%ec%9d%B4%EC%A0%9C%EB%8A%94-chatgPT%EB%A5%BC-Fine-Tuning-—ED%95%A0-ATEC%8%9C%B0 %84-EEC%8F%B0
ノイズはLLMを良くします！ -Neftune https://cartinoe5930.tistory.com/entry/noise-makes-llm-better-neftune-%f0%9f%98%89

自然言語処理

単語埋め込みおよびニューラルネットワーク

ペーパータイトル紙または参照サイトリンクペーパーレビュー
埋め込みマトリックスhttps://wikidocs.net/book/2155 https://cartinoe5930.tistory.com/entry/embedding-matrix-%ED%95%99%EC%8A%B5
LSTM：長い期間メモリhttps://colah.github.io/posts/2015-08-understanding-lstms/ https://cartinoe5930.tistory.com/entry/%EC%95%8C%EA%B8%B0-%EC%89%BD%EA%EA%B2%8C-LSTM-NETWORKS-％EC％
GRU：統計機械翻訳にRNNエンコーダーデコーダーを使用した学習フレーズ表現https://arxiv.org/abs/1406.1078 https://cartinoe5930.tistory.com/entry/gru-empirical-evaluation-of-gated-Recurrent-neural-networks-on-sequence-modeling-eb%85％bc%EB%ACB8-%EB%A6%AC%EBAB7%B0
LSTM対GRU：シーケンスモデリング上のゲート再発性ニューラルネットワークの経験的評価https://arxiv.org/abs/1412.3555 https://cartinoe5930.tistory.com/entry/lstm-vs-gru-eb%ad%90%ea%B0%80-%eb%8D%94-%EB%82%98%EC%EC%9D%84%EA%B9%8C-EMP総摂取 - ゲート - リカレント - ネーラルネットワークオンオンシーケンス - モデリング - ％EB％85％BC％EB％AC％B8-％A6％AC％EB％B7％B0

言語モデル？

基本

ペーパータイトル紙または参照サイトリンクペーパーレビュー
トランス：注意が必要ですhttps://arxiv.org/abs/1706.03762 https://cartinoe5930.tistory.com/entry/transformer-attention-is-all-you-- %% eb%85%Bc%eb%ACB8-%EB%A6%AC%EB7%B0
Elmo：深い文脈化された単語表現https://arxiv.org/abs/1802.05365 https://cartinoe5930.tistory.com/entry/pre-trained-language-language-modeling-paper-reading1-elmo-deep-contextualized-word表現
BERT：言語理解のための深い双方向変圧器の事前訓練https://arxiv.org/abs/1810.04805 https://cartinoe5930.tistory.com/entry/pre-trained-language-language-modeling-paper-reading2-bert-pre-training-foredeep-bidirectional-transformers-for-language-unuthanding
GPT-1：生成前のトレーニングによる言語理解の向上https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervided/language_understanding_paper.pdf https://cartinoe5930.tistory.com/entry/pre-trained-language-modeling-paper-reading3-gpt-1-improving-language-understanding-by-generative-pre-tre-training
GPT-2：言語モデルは、教師のないマルチタスク学習者ですhttps://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervided_multitask_learners.pdf https://cartinoe5930.tistory.com/entry/gpt-2-language-models-ARE-UNSUPERVISED-MULTITASK-LEARNERS-％EB%85%BC%EB%AC%B8-％EB%A6%AC%EB%B7%B0
GPT-3：言語モデルは、少ないショット学習者ですhttps://cartinoe5930.tistory.com/entry/gpt-3-language-models-are-few-shot-learners-%eb%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 https://cartinoe5930.tistory.com/entry/gpt-3-language-models-are-few-shot-learners-%eb%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
Transformer-XL：固定長のコンテキストを超えた注意深い言語モデルhttps://arxiv.org/abs/1901.02860 https://cartinoe5930.tistory.com/entry/transformer-xl-attive-language-models-beyond-a-fixed-context--eb%85%Bc%AC%Acb8-%eb%A6%AC%B7%B0
スパーストランス：スパーストランスで長いシーケンスを生成しますhttps://arxiv.org/abs/1904.10509 https://cartinoe5930.tistory.com/entry/sparse-transformers-generating-long-sequence--- sparse-transformers-％eb%85%Bc%EB%AC%B8-%eb%A6%AC%EEB%B7%B0
XLNET：言語理解のための一般化された自己回帰事前削除https://arxiv.org/abs/1906.08237 https://cartinoe5930.tistory.com/entry/xlnet-generatize-autoregressive-craining-for-language-understanding-ateb%85%Bc%EB%AC%B8-％EB%A6%AC%EB%B7%B0
Spanbert：スパンを表現および予測することにより、トレーニング前の改善https://arxiv.org/abs/1907.10529 https://cartinoe5930.tistory.com/entry/spanbert-panbert-prainving-pre-training-by represing-and-predicting-ateb%85%Bc%EB%AC%B8-%eb%A6%AC%EB%B7%B0
Roberta：堅牢に最適化されたBert Pre-Trainingアプローチhttps://arxiv.org/abs/1907.11692 https://cartinoe5930.tistory.com/entry/roberta-a-obustly-optimized-bertized-pretraining-approach-eb%85%BC%EB%AC%B8-EB%A6%AC%EB%B7%B0
文章：Siamese Bert-Networksを使用した文の埋め込みhttps://arxiv.org/abs/1908.10084 https://cartinoe5930.tistory.com/entry/sentence-sentence-sentence-embeddings-using-syamese-bert-networks-％eb%85%Bc%eb%AC%B8-％eb%A6%AC%EB%B7%B0
アルバート：言語表現の自己監督の学習のためのライトバートhttps://arxiv.org/abs/1909.11942 https://cartinoe5930.tistory.com/Entry/Albert-a-lite-bert-for-self-shuspervised-rearning-of-language-representations-— eb%85%Bc%AC%ACB8-%EB%A6%AC%EBAB7%B0
BART：自然言語の生成、翻訳、および理解のためのシーケンスからシーケンス前訓練https://arxiv.org/abs/1910.13461 https://cartinoe5930.tistory.com/entry/bart-denoising-sequence-sequence-pre-training-for-natural-language-generation-translation-and-chenther-%% eb%85%bc%EB%AC%B8-%EB%A6%AB%B7%B0
プレLNトランス：トランスアーキテクチャの層の正規化https://arxiv.org/abs/2002.04745 https://cartinoe5930.tistory.com/entry/pre-ln-transformer-on-layer-normalization-in-transformer-architecture- %eb %85%Bc%AC%Acb8-%eb%A6%AC%EB%B7%B0
Electra：テキストエンコーダーは、発電機ではなく判別器としてエンコーダを行いますhttps://arxiv.org/abs/2003.10555 https://cartinoe5930.tistory.com/entry/Electra-pre-training-text-encoders-- as-discriminators-orather-than-generators
Longformer：ロングドキュメントトランスhttps://arxiv.org/abs/2004.05150 https://cartinoe5930.tistory.com/entry/longformer-the-long-document-document-transformer-— eb%85%Bc%EB%AC%B8-%EB%A6%AC%EB%B7%B0
Bigbird：長いシーケンス用の変圧器https://arxiv.org/abs/2007.14062 https://cartinoe5930.tistory.com/entry/bigbird-transformers-for-longer-sequences-％eb%85%Bc%EB%AC%B8-%EB%A6%AC%AB%B7%B0
WebGPT：人間のフィードバックを使用したブラウザ支援の質問https://arxiv.org/abs/2112.09332 https://cartinoe5930.tistory.com/entry/webgpt-browser-sassisted-question- with-human-feedback-eb%85%bc%EB%AC%B8-%eb%A6%AC%EB%B7%B0
OPT：事前に訓練されたトランス語モデルを開きますhttps://arxiv.org/abs/2205.01068 https://cartinoe5930.tistory.com/entry/opt-open-pre-trended-transformer-language-models-%eb%85%BC%EB%AC%B8-AB%A6%AC%EB%B7%B0
MAMBA：選択的状態空間を使用した線形時間シーケンスモデリングhttps://arxiv.org/abs/2312.00752計画なし！

効率的なモデル？

ペーパータイトル紙または参照サイトリンクペーパーレビュー
Tinybert：自然言語の理解のためのバートの蒸留https://arxiv.org/abs/1909.10351 https://cartinoe5930.tistory.com/entry/tinybert-distinling-for-natural-language-understanding-— eb%85%Bc%EB%AC%B8-％EB%A6%AC%EB%B7%B0
Distilbert：Bertの蒸留バージョンhttps://arxiv.org/abs/1910.01108 https://cartinoe5930.tistory.com/entry/distilbert-a-distil-smaller-smaller-faster- highter-lighter-eb%85%bc%eb%AC%b8-%eb%A6%AC%EB%B7%B0
重要なのはサイズだけではありません。小さな言語モデルも少ない撮影学習者です（PET응용） https://arxiv.org/abs/2009.07118 https://cartinoe5930.tistory.com/entry/its-not-size-that-malls-small-language-models-arso-few-shot-learners-— eb%85%Bc%eb%ACB8-A%EB%A6%AC%EBオーブB7%B0

オープンソース言語モデル（スケーリング法）？

ペーパータイトル紙または参照サイトリンクペーパーレビュー
Chinchilla：Training Compute-Optimal Large Languals Models https://arxiv.org/abs/2203.15556 https://cartinoe5930.tistory.com/entry/%EC%A7%80%EA%B8%88-%EA%B9%8C%EC%A7%80%E C％9D％98-LM-Scaling-Law％EC％97％90％EB％8A％94-％EB％AC％B8％EC％A0％9c％A0％90％EC％9D％B4- ％EC％9E％88％EB％8B％A4-％F0％9F％98％B6％E2％80％8D％F0％9F％8C％AF％B8％8F-CHINCHILLA-COPUTE-OPTIMAL-LARGE-LAN​​GUAGE-MODELS-％EB％85％BC％AC％AC％AC％AC％A6％A6％A6％
Pythia：トレーニングとスケーリング全体で大規模な言語モデルを分析するためのスイートhttps://arxiv.org/abs/2304.01373計画なし！
リマ：アライメントの方が多いhttps://arxiv.org/abs/2305.11206 https://cartinoe5930.tistory.com/entry/lima-less-is-more--for-alignment-——eb%85%bc%EB%AC%B8-%EB%A6%AC%EB7%B0
ラマ：オープンで効率的な基礎言語モデルhttps://arxiv.org/abs/2302.13971 https://cartinoe5930.tistory.com/entry/llama--supen-and-efictive-foundation-language-models-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
wizardlm：複雑な指示に従うように大規模な言語モデルを強化しますhttps://arxiv.org/abs/2304.12244 https://cartinoe5930.tistory.com/entry/open-domain-instruction%ec%ec%98-98-上％9a%a8%ea%ea％b3%bc-%f0%9f%aa%84-wiz ARDLM-EMPOWERING-LANGUAGE-MODELS-to-Follow-Complex-Instructions-％EB％85％BC％EB％AC％B8-％EB％A6％AC％EB％B7％B0
WizardCoder：Evol-Instructを使用したコードコードの大規模な言語モデルの権限https://arxiv.org/abs/2306.08568 https://huggingface.co/wizardlm/wizardcoder-15b-v1.0
wizardmath：強化されたevol-instructを介した大規模な言語モデルの数学的推論の力https://arxiv.org/abs/2308.09583 https://huggingface.co/wizardlm/wizardmath-70b-v1.0
Alpaca：強力で複製可能な命令に従うモデルhttps://crfm.stanford.edu/2023/03/13/alpaca.html https://cartinoe5930.tistory.com/entry/alpaca-a-strong-replibable-instruction-following-model-eb%A6%AC%EB%B7%B0
Vicuna：GPT-4を感動させるオープンソースのチャットボットhttps://lmsys.org/blog/2023-03-30-vicuna/ https://cartinoe5930.tistory.com/entry/vicuna-an-open-shource-chatbot-IMPRESSING-gpt-4-%EB%A6%AC%EB%B7%B0
コアラ：学術研究の対話モデルhttps://bair.berkeley.edu/blog/2023/04/03/koala/ https://cartinoe5930.tistory.com/entry/%EC%A4%91%EC%9A%94%ED%95%9C-％％B1%B4-%EA%BA%BEEC%9D%B4%EC ％A7％80-％EC％95％8a％EB％8A％94-High-Data-Koala％F0％9F％90％A8-A-Dialogue-Model-For-Academic-Researc
Baize：セルフチャットデータのパラメーター効率の高いチューニングを備えたオープンソースチャットモデルhttps://arxiv.org/abs/2304.01196 https://cartinoe5930.tistory.com/entry/%F0%9F%90%B2Baize-An-Open-Source-Chat-Model-with-Parameter-Efficient-Tuning-on-Self-Chat-Data-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
データ制約の言語モデルのスケーリングhttps://arxiv.org/abs/2305.16264 https://www.youtube.com/watch?v=tk0-sitkcmw&pp=ygugahr0chm6ly9hcnhpdi5vcmcvywjzlzizmduumtyynjq%3d
Falcon＆RefinedWeb https://arxiv.org/abs/2306.01116 https://cartinoe5930.tistory.com/entry/open-llm-leaderboard%AB%A5%BC-%ED%9C%A9%EC%93%B4-Falcon%F0%9f%A6%85-llm-falcon-refinedweb
ORCA：GPT-4の複雑な説明トレースからの進歩的な学習https://arxiv.org/pdf/2306.02707 https://cartinoe5930.tistory.com/entry/%f0%9f%90%Acorca-complanation-explanation-of-gpt-4-％eb%85%BC%EB%AC%B8-％EB%A6%AC%B7%B0
PHI-1：テキストブックだけが必要ですhttps://arxiv.org/abs/2306.11644 https://cartinoe5930.tistory.com/Entry/%ED%95%84%EC%94%94%ED%95%9C-％AEA%B1%B4-％EC%98%A4%ECA7%81-％EA%B5%90%EA%B3%BC%ECA%84%9C-％Ecです％A4％80％EC％9D％98-％EB％8D％B0％EC％9D％B4％ED％84％B0％EB％BF％90-％F0％9F％93％96-PHI-1-TEXTBOUKS-ARE-ALL-YOU-NEED-％EB％85％EB％AC％B8-％A6％EB％EB％B0
Alpagasus：より少ないデータでより良いアルパカをトレーニングしますhttps://arxiv.org/abs/2307.08701後でアップロードされます！
Llama 2：オープンファンデーションと微調整されたチャットモデルhttps://arxiv.org/abs/2307.09288 https://cartinoe5930.tistory.com/entry/the-hopes-of-researchers-open-source-%f0%9f%A4%97- ％EC％97％B0％EA％B5％AC％EC％9E％90％EB％93％A4％EC％9D％98-％ED％9D％AC％EB％A7％9D-Open-Source-％F0％9F％A4％97
Platypus：LLMSの迅速で安価で強力な改良https://arxiv.org/abs/2308.07317後でアップロードされます！
コードラマ：コードのファンデーションモデルを開きますhttps://arxiv.org/abs/2308.12950計画はありません
FLM-101B：オープンLLMと1万ドルの予算で訓練する方法https://arxiv.org/pdf/2309.03852計画なし！
教科書はあなたが必要とするすべてですII：PHI-1.5テクニカルレポートhttps://arxiv.org/abs/2309.05463 https://huggingface.co/microsoft/phi-1_5
OpenChat：混合品質のデータでオープンソース言語モデルを進めますhttps://arxiv.org/abs/2309.11235 https://github.com/imoneoi/openchat
ミストラル7b https://arxiv.org/abs/2310.06825 https://mistral.ai/news/announcing-mistral-7b/
Prometheus：言語モデルに細粒の評価能力を誘導しますhttps://arxiv.org/abs/2310.08491 https://huggingface.co/papers/2310.08491#652a8e7f30355beba68c1be6
Zephyr：LMアライメントの直接蒸留https://arxiv.org/abs/2310.16944 https://www.youtube.com/watch?v=tkzbg3mksio
ORCA2：小さな言語モデルに推論する方法を教えるhttps://arxiv.org/abs/2311.11045 https://www.microsoft.com/en-us/research/blog/orca-2-teaching-small-language-models-how-to-reason/
オープン言語モデルのファルコンシリーズhttps://arxiv.org/abs/2311.16867計画なし！
ソーラー10.7b：シンプルで効果的な深さの上昇スケーリングで大きな言語モデルをスケーリングするhttps://arxiv.org/abs/2312.15166計画なし！

大規模な言語モデル（LLMS）？

ペーパータイトル紙または参照サイトリンクペーパーレビュー
Lamda：ダイアログアプリケーションの言語モデルブログ：https：//ai.googleblog.com/2022/01/lamda-towards-safe-grounded-and-high.html、紙：https://arxiv.org/abs/2201.08239 https://cartinoe5930.tistory.com/entry/%ea%B5%AC%EA%EA%A %80%EC%9D%98-%EC%EC%B5%9C%EAB0%95-A％ECB1%97%EB%B4%87-LAMDA%EC％ ％80％ED％95％B4-％EC％95％8C％EC％95％84％EB％B3％B4％EC％9E％90-Language-Models-For-Dialog-Applications-％EB％85％EB％AC％B8-％EB％A6％A6％AC％EB％B7％B0
Palm：経路を使用した言語モデリングのスケーリングブログ：https：//ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html、紙：https：//arxiv.org/abs/2204.02311 1： https://cartinoe5930.tistory.com/entry/lamda%ec%9d%98-%EB%92%A4%A5%A5%BC-%EC%9E%87%8A%8A%94-Pathways%EB%A5%BC-%%ED %% 99％9C％EC％9a％A9％ED％95％9C-％EC％B4％88％EA％B1％B0％EB％8C％80-％EC％96％B8％EC％96％B4-％EB％A8％EB％8D％B8-PALM-％EB％A6％AC％EB％B7％B0、 2： https://cartinoe5930.tistory.com/entry/lamda%ec%9d%98-%EB%92%A4%A5%A5%BC-%EC%9E%87%8A%8A%94-Pathways%EB%A5%BC-％％Ec%EC% %% 82％AC％EC％9a％A9％ED％95％9C-％EC％B4％88％EA％B1％B0％EB％8C％80-％EC％96％B8％EC％96％B4-％EB％A8％EB％8D％B8-PALM-％EB％A6％AC％EB％B7％B02
GPT-4：技術レビューブログ：https：//openai.com/research/gpt-4、論文：https：//arxiv.org/abs/2303.08774 https://cartinoe5930.tistory.com/entry/gpt-4-techinal-report-review
Gemini：非常に有能なマルチモーダルモデルのファミリーhttps://arxiv.org/abs/2312.11805計画なし！
Alphacode 2テクニカルレポートhttps://storage.googleapis.com/deepmind-media/alphacode2/alphacode2_tech_report.pdf計画なし！

微調整

命令調整？‍？

ペーパータイトル紙または参照サイトリンクペーパーレビュー
Flan：微調整された言語モデルはゼロショット学習者ですhttps://arxiv.org/abs/2109.01652 https://cartinoe5930.tistory.com/entry/flan-fine-tuned-language-models-ARE-SERO-SHOT-LEARNERNERS-%EB%85%BC%EB%AC%B8-EB%A6%AC%EB%B7%B0
T0：マルチタスクは、トレーニングを促し、ゼロショットタスクの一般化を可能にしますhttps://arxiv.org/abs/2110.08207 https://cartinoe5930.tistory.com/entry/t0-multitask-plompted-training-enables-sero-shot-task-generization-EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
超自然指示：1600以上のNLPタスクに関する宣言的指示による一般化https://arxiv.org/abs/2204.07705 https://cartinoe5930.tistory.com/entry/super-natural-instructions-generalization-via-declarative-instructions-on-1600-nlp-tasks-— eb%85%bc%eb%AC%B8-%EB%A6%AB%B7%B0
不自然な指示：人間の労働ではなく（ほとんど）言語モデルを調整するhttps://arxiv.org/abs/2212.09689後でアップロードされます！
指示を推測してください！反転した学習により、言語モデルはゼロショット学習者を強くしますhttps://arxiv.org/abs/2210.02969 https://cartinoe5930.tistory.com/entry/guess-the-instruction-fipt-learning-makes-models-stronger-zero-shot-learners-— eb%85%Bc%EB%ACB8-A2EB%A6%ACABオーブブラブ
命令finetuned言語モデルのスケーリングhttps://arxiv.org/abs/2210.11416 https://cartinoe5930.tistory.com/entry/scaling-instruction-finetuned-language-models-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
指導の調整に関する専門家言語モデルのトレーニングの利点を探るhttps://arxiv.org/abs/2302.03202 https://cartinoe5930.tistory.com/entry/exploring-the-benefits-of-training-expert-language-models-over-intruction-tuning- %eb%85%e ​​eb％acb8-%eb%A6%AC%EB%B7%B0
ICIL：コンテキスト内命令学習https://arxiv.org/abs/2302.14691 https://cartinoe5930.tistory.com/entry/icil-in-context-instruction-ruction-rearning-%eb%85%Bc%EB%ACB8-%EB%A6%AC%EB%B7%B0
GPT-4を使用した命令調整https://arxiv.org/abs/2304.03277 https://cartinoe5930.tistory.com/entry/instruction-tuning-with-cpt-4-%eb%85%Bc%EB%ACB8-AB%A6%AC%EB%B7%B0
FIP：効率的なプロンプトのための入力パラメーター化を修正しましたhttps://aclanthology.org/2023.findings-acl.533.pdf後でアップロードされます！
Flacuna：Flan微調整を使用したVicunaの問題解決力を解き放つhttps://arxiv.org/abs/2307.02053後でアップロードされます！
たぶん0.5％のデータが必要です：低トレーニングデータ命令のチューニングの予備調査https://arxiv.org/abs/2305.09246後でアップロードされます！
自己内容になる：最小限の指示のための早期停止基準を導入するhttps://arxiv.org/abs/2307.03692後でアップロードされます！

人間のフィードバックからの強化学習（RLHF）

ペーパータイトル紙または参照サイトリンクペーパーレビュー
RLHF（人間のフィードバックからの補強学習） https://huggingface.co/blog/rlhf https://cartinoe5930.tistory.com/entry/%EC%82%AC%AB%9E%8C%EC%9D%98-％％94%BC%EB%93%9C%9C%B0%B1%EC%9D%84 -％ED％86％B5％ED％95％9C-％EA％B0％95％ED％99％94％ED％95％99％EC％8a％B5-REINCOURTIOUN-LEARNING-FROM-HUMAN-FEEDBACK-RLHF
言語モデルを使用した赤いチームモデルhttps://arxiv.org/abs/2202.03286 https://cartinoe5930.tistory.com/entry/red-teaming-language-models-with-language-models-%eb%85%Bc%EB%AC%B8-%EB%A6%AC%EB%B7%B0
instructgpt：人間のフィードバックで指示に従うための言語モデルのトレーニングhttps://arxiv.org/abs/2203.02155 https://cartinoe5930.tistory.com/entry/instructgpt-training-language-models-to-follow-instructionsとhuman-feedback-eb%85% ebc%Acb8-％eb%a6%AC%B7%B0
人間のフィードバックからの補強学習で役立つ無害なアシスタントをトレーニングするhttps://arxiv.org/abs/2204.05862 https://cartinoe5930.tistory.com/entry/training-a-helpful-and-harmess-assistant-with-reinforcement-learning-f-from-human-feedback-eb%85%bc%eb%Acb8-%eb%A6%AC%EBオーブブ7です
Alpacafarm：人間のフィードバックから学習する方法のシミュレーションフレームワークhttps://arxiv.org/abs/2305.14387後でアップロードされます！
ほぼ：合成フィードバックを通じて大規模な言語モデルを調整しますhttps://arxiv.org/abs/2305.13735 https://cartinoe5930.tistory.com/entry/aling-language-language-models-through-synthetic-feedback-— eab%85%BC%EB%AC%B8-AB%A6%AC%EB%B7%B0
人間のフィードバックからの強化学習の未解決の問題と基本的な制限https://arxiv.org/abs/2307.15217後でアップロードされます！
rlaif：AIフィードバックを使用した人間のフィードバックからの補強補強学習https://arxiv.org/abs/2309.00267計画なし！
steerlm：rlhfに代わる（ユーザーステアラブル）代替として属性条件付きSFT https://arxiv.org/abs/2310.05344計画なし！
helpSteer：steerlmのマルチアトリブの有用なデータセットhttps://arxiv.org/abs/2311.09528計画なし！

効率的な調整

ペーパータイトル紙または参照サイトリンクペーパーレビュー
アダプター：NLPのパラメーター効率の高い学習https://arxiv.org/abs/1902.00751 https://cartinoe5930.tistory.com/entry/%eb%8B%B9%EC%8B%A0%EB%8F%84-Fine-Tuning- ％ED％95％A0-％EC％88％98-％EC％9E％88％EC％8A％B5％EB％8B％88％EB％8B％A4-With-Peft-％F0％9F％A4％97
プレフィックス調整：生成の連続プロンプトの最適化https://arxiv.org/abs/2101.00190 https://cartinoe5930.tistory.com/entry/%eb%8B%B9%EC%8B%A0%EB%8F%84-Fine-Tuning- ％ED％95％A0-％EC％88％98-％EC％9E％88％EC％8A％B5％EB％8B％88％EB％8B％A4-With-Peft-％F0％9F％A4％97
LORA：大規模な言語モデルの低ランク適応https://arxiv.org/abs/2106.09685 https://cartinoe5930.tistory.com/entry/%eb%8B%B9%EC%8B%A0%EB%8F%84-Fine-Tuning- ％ED％95％A0-％EC％88％98-％EC％9E％88％EC％8A％B5％EB％8B％88％EB％8B％A4-With-Peft-％F0％9F％A4％97
パラメーター効率の高い転送学習の統一ビューに向けてhttps://arxiv.org/abs/2110.04366後でアップロードされます！
Unipelt：パラメーター効率の高い言語モデルチューニングの統一されたフレームワークhttps://arxiv.org/abs/2110.07577後でアップロードされます！
（ia）^3：少数のパラメーター効率の高い微調整は、コンテキスト内学習よりも優れており、安価ですhttps://arxiv.org/abs/2205.05638後でアップロードされます！
Qlora：量子化されたLLMの効率的な微調整https://arxiv.org/abs/2305.14314後でアップロードされます！
より多くのレイヤーを異なる方法で積み重ねる：低ランクの更新によるハイランクトレーニングhttps://arxiv.org/abs/2307.05695後でアップロードされます！
Lorahub：動的なロラ組成による効率的なクロスタスク一般化https://arxiv.org/abs/2307.13269後でアップロードされます！

データセット？

ペーパータイトル紙または参照サイトリンクペーパーレビュー
命令マイニング：大規模な言語モデルの高品質の命令データ選択https://arxiv.org/abs/2307.06290計画なし！
ソーダ：社会的常識的文脈化との百万スケールの対話の蒸留https://arxiv.org/abs/2212.10465計画なし！
MODS：命令調整のためのモデル指向のデータ選択https://arxiv.org/abs/2311.15653計画なし！
人間のデータを超えて：言語モデルを使用した問題解決のためのセルフトレーニングのスケーリングhttps://arxiv.org/abs/2312.06585計画なし！
MagicOder：ソースコードが必要ですhttps://arxiv.org/abs/2312.02120計画なし！
WaveCoder：洗練されたデータ生成による広範囲で多用途の強化命令チューニングhttps://arxiv.org/abs/2312.14187計画なし！
調整のための良いデータを作るもの：命令調整における自動データ選択の包括的な研究https://arxiv.org/abs/2312.15685計画なし！

迅速なエンジニアリング？‍？

ペーパータイトル紙または参照サイトリンクペーパーレビュー
「迅速なエンジニアリング」とは何ですか？私のブログを見てください！ https://cartinoe5930.tistory.com/entry/prompt-engineering%ec%9d%B4-%EB%AC%B4%EC%97%87%EC%9D%BC%EA%B9%8C
COT：チェーンオブ考えのプロンプトは、大規模な言語モデルで推論を引き出しますブログ：https：//ai.googleblog.com/2022/05/language-models-perform-raisoning-via.html、紙：https://arxiv.org/abs/2201.11903 https://cartinoe5930.tistory.com/entry/LM%EC%9D%B4-%EC％82%AC%EB%9E%8C%EAA%EAB3%ABC-％EC%9C%A0%EC%82%ACARED%95%9C-％Ec%83%9D%EA%81-Aed-Aed-ED-ED-ED-AED-AED-AED-AED-AED-AED-AED-AED-AED-AED-AED-AED-AED-AED ％9c％EC％84％B8％EC％EC％8a％A4％EB％A5％BC-％EA％B0％80％EC％A7％80％EA％B2％8C-％EB％90％9C％EB％8B％A4％A9％B4-Chain-of-Thain-of-Thave-of-Thawn-eB％85％BC％AC％AC％A6％A6％A6％A6％b0％
ゼロショットコット：大規模な言語モデルはゼロショットの推論ですhttps://arxiv.org/abs/2205.11916 https://cartinoe5930.tistory.com/entry/large-language-models-ARE-ZERO-SHOT-REASORNES-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
言語モデルは、多言語の考え方の推論者ですhttps://arxiv.org/abs/2210.03057後でアップロードされます！
オートコット：大規模な言語モデルでの自動思考チェーンhttps://arxiv.org/abs/2210.03493後でアップロードされます！
COT KD：小さな言語モデルを推論することhttps://arxiv.org/abs/2212.08410後でアップロードされます！
TOT：思考の木：大規模な言語モデルでの意図的な問題解決https://arxiv.org/abs/2305.10601 https://cartinoe5930.tistory.com/entry/tree-of-thoughts-deliberte-problem-solving--------------- ab%85%8%eb%AC%B8-%eb%A6%AC%EB%B7%B0
COTコレクション：ゼロショットと少数のショット学習の改善された微調整による言語モデルの学習https://arxiv.org/abs/2305.14045 https://cartinoe5930.tistory.com/entry/cot-collection-cot-collection-more-shot-shot-shot-shot-shot-learning-of-language-models-via- chain-of-thought-fine-eb%85%BC%EB%AC%B8-%A6%AC%B7%B0
ステップバイステップを確認しましょうhttps://arxiv.org/abs/2305.20050 https://cartinoe5930.tistory.com/Entry/Lets-verify-step-by%EB%85%BC%EB%ACB8-%EB%A6%AC%EB%B7%B0
考え方の推論におけるfaitfunity性の測定https://arxiv.org/abs/2307.13702後でアップロードされます！
SOT：スケルトンの考え：大規模な言語モデルは並列解読を行うことができますhttps://arxiv.org/abs/2307.15337後でアップロードされます！
思考のグラフ：大規模な言語モデルで精巧な問題を解決するhttps://arxiv.org/abs/2308.09687後でアップロードされます！
スパースから密度まで：密度のチェーンプロンプトを使用したGPT-4要約https://arxiv.org/abs/2309.04269計画なし！
チェーンのヴェリシーは、大規模な言語モデルの幻覚を再生しますhttps://arxiv.org/abs/2309.11495 https://www.youtube.com/watch?v=l0zfjwregog&pp=ygugahr0chm6ly9hcnhpdi5vcmcvywjzlzizmdkumte0otu%3d
対照的なチェーンの促しhttps://arxiv.org/abs/2311.09277計画なし！
混oticとした文脈を解き明かす思考の糸https://arxiv.org/abs/2311.08734計画なし！
システム2の注意（あなたも必要なものです） https://arxiv.org/abs/2311.11829計画なし！
コードのチェーン：言語モデルの高級コードエミュレーターを使用した推論https://arxiv.org/abs/2312.04474計画なし！

モデル効率？

ペーパータイトル紙ペーパーレビュー
Flashattention：高速およびメモリ効率の高い正確な注意https://arxiv.org/abs/2205.14135 https://gordicaleksa.medium.com/eli5-flash-attention-5c44017022ad
言語モデリングを指数関数的に高速化しますhttps://arxiv.org/abs/2311.10770計画なし！
フラッシュ中のLLM：限られたメモリを備えた効率的な大規模な言語モデルの推論https://arxiv.org/abs/2312.11514計画なし！

方法 ？

ペーパータイトル紙または参照サイトリンクペーパーレビュー
NLPのデータ増強ブログ：https：//neptune.ai/blog/data-augmentation-nlp、 https://amitness.com/2020/05/data-augmentation-for-nlp/?fbclid=iwar11mkcccti-2cd93rryftnphb7wxdj7alzg7nng4ehpabkmijkcbptdl1eo https://cartinoe5930.tistory.com/entry/data-augmentation-methods-in-nlp
PET：少数のショットテキスト分類と自然言語の推論のために、クローズの質問を悪用しますhttps://arxiv.org/abs/2001.07676 https://cartinoe5930.tistory.com/entry/pet-exploiting-cloze-questions-for-few-shot-text-classification-and-natural-language-inference-〜eb%85%bc%eb%ACB8-%EB%A6%AC%EB7%B0
経路https://blog.google/technology/ai/introducing-pathways-next-generation-ai-architecture/ https://cartinoe5930.tistory.com/entry/%eb%A7%8C%EC%95%BD-%EB%AA%A8%ECB%8%8D%B8%EC%9D%B4-A%EC％ B0％81％EC％9D％84-％EB％8A％90％EB％82％84-％EC％88％98-％EC％9E％88％EA％B2％8C-％EB％90％9C％EB％8B％A4％EB％A9％B4-PATHWAYS-EB％A6％AC％B7％B0
LMSI：大規模な言語モデルは自己改善できますhttps://arxiv.org/abs/2210.11610 https://cartinoe5930.tistory.com/entry/lmsi-language-language-language-models-can- self-improve-%eb%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
自己intruct：自己生成命令を備えた言語モデルを調整しますhttps://arxiv.org/abs/2212.10560 https://cartinoe5930.tistory.com/entry/self-instruct-aling-language-model-with-self-generated-instructions-％eB85%Bc%EB%AC%B8-%EB%A6%AC%EEB%B7%B0
反射：口頭での強化学習を伴う言語エージェントhttps://arxiv.org/abs/2303.11366 https://cartinoe5930.tistory.com/entry/reflexion-language-agents-with-verbal-reinforcement-learning-eb%85%BC%EB%AC%B8-EB%A6%AC%EB%B7%B0
自己復活：セルフフィードバックによる反復洗練https://arxiv.org/abs/2303.17651 https://cartinoe5930.tistory.com/entry/self-refine-repiniming-with-feedback-— eb%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
精製所：中間表現に関する推論フィードバックhttps://arxiv.org/abs/2304.01904計画なし！
selfee：セルフフィードバックの世代によって暴露された反復的な自己反転LLM https://kaistai.github.io/selfee/ https://cartinoe5930.tistory.com/entry/selfee-self-revising-llm-expowered-self-feedback-generation-eb%85%Bc%AC%ACB8-％EB%A6%AC%EB％B7%B0
GQA：マルチヘッドチェックポイントから一般化されたマルチクエリトランスモデルのトレーニングhttps://arxiv.org/abs/2305.13245 https://aliissa99.medium.com/-a596e4d86f79
Shpherd：言語モデル生成の批評家https://arxiv.org/abs/2308.04592後でアップロードされます！
命令の逆翻訳との自己調整https://arxiv.org/pdf/2308.06259後でアップロードされます！
ネジ：リビジョンを使用した推論のためのモジュラーフレームワークhttps://arxiv.org/pdf/2309.13075計画なし！
Neftune：ノイズの多い埋め込みは、命令の微調整を改善しますhttps://arxiv.org/abs/2310.05914 https://cartinoe5930.tistory.com/entry/noise-makes-llm-better-neftune-%f0%9f%98%89
言語モデルはスーパーマリオです。無料のランチとしての相同モデルからの吸収能力https://arxiv.org/abs/2311.03099計画なし！
Loramoe：言語モデルの整合性の世界知識を維持するための専門家の混合物に革命をもたらすhttps://arxiv.org/abs/2312.09979計画なし！

検索拡張生成（RAG）

ペーパータイトル紙または参照サイトリンクペーパーレビュー
知識集約型NLPタスクの検索された生成https://arxiv.org/abs/2005.11401計画なし！
自己狂気：自己反省を通じて検索、生成、批評を学ぶhttps://arxiv.org/abs/2310.11511計画なし！
Instructretro：取得後の整理式前orainingの命令チューニングhttps://arxiv.org/abs/2310.07713計画なし！
大規模な言語モデルの検索された生成：調査https://arxiv.org/abs/2312.10997計画なし！

ベンチマーク？ ＆評価メトリック⚔️

ペーパータイトル紙または参照サイトリンクペーパーレビュー
ビッグベンチハード：挑戦的な大きなベンチのタスクと、チェーンオブオブサボがタムを解くことができるかどうかhttps://arxiv.org/abs/2210.09261後でアップロードされます！
大規模な言語モデルは公正な評価者ではありませんhttps://arxiv.org/abs/2305.17926 Will be uploaded later!
MT-Bench: Judging LLM-as-a-judge with MT-Bench https://arxiv.org/abs/2306.05685 Will be uploaded later!
InstructEval: Towards Holistic Evaluation of Instruction-Tuned Large Language Models https://arxiv.org/abs/2306.04757 Will be uploaded later!
FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets https://arxiv.org/abs/2307.10928 Will be uploaded later!
GAIA: A Benchmark for General AI Assistants https://arxiv.org/abs/2311.12983 No plan!

Context of LLM

Paper Title Paper or reference site Link Paper Review
A Length-Extrapolatable Transformer https://arxiv.org/abs/2212.10554 No plan!
Extending Context Window of Large Language Models via Positional Interpolation https://arxiv.org/abs/2306.15595 https://cartinoe5930.tistory.com/entry/LM%EC%9D%98-context-window-%EA%B8%B8%EC%96%B4%EC%95%BC-%ED%95%A0%EA%B9%8C-%EC%A7%A7%EC%95%84%EC%95%BC-%ED%95%A0%EA%B9%8C-%F0%9F%93%8F%F0%9F%A4%A8
LongNet: Scaling Transformers to 1,000,000,000 Tokens https://arxiv.org/abs/2307.02486 https://cartinoe5930.tistory.com/entry/LM%EC%9D%98-context-window-%EA%B8%B8%EC%96%B4%EC%95%BC-%ED%95%A0%EA%B9%8C-%EC%A7%A7%EC%95%84%EC%95%BC-%ED%95%A0%EA%B9%8C-%F0%9F%93%8F%F0%9F%A4%A8
Lost in the Middle: How Language Models Use Long Contexts https://arxiv.org/abs/2307.03172 https://cartinoe5930.tistory.com/entry/LM%EC%9D%98-context-window-%EA%B8%B8%EC%96%B4%EC%95%BC-%ED%95%A0%EA%B9%8C-%EC%A7%A7%EC%95%84%EC%95%BC-%ED%95%A0%EA%B9%8C-%F0%9F%93%8F%F0%9F%A4%A8
YaRN: Efficient Context Window Extension of Large Language Models https://arxiv.org/abs/2309.00071 No plan!

分析？

Paper Title Paper or reference site Link Paper Review
Why can GPT learn in-context? https://arxiv.org/abs/2212.10559 https://cartinoe5930.tistory.com/entry/Why-can-GPT-learn-in-context-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
Sparks of Artificial General Intelligence: Early experiments with GPT-4 paper: https://arxiv.org/abs/2303.12712, youtube: https://www.youtube.com/watch?v=Mqg3aTGNxZ0 https://cartinoe5930.tistory.com/entry/Sparks-of-Artificial-General-Intelligence-Early-experiments-with-GPT-4-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
The False Promise of Imitating Proprietary LLMs https://arxiv.org/abs/2305.15717 https://cartinoe5930.tistory.com/entry/%EA%B8%B0%EC%A1%B4-imitation-model%EC%9D%80-%EC%9E%98%EB%AA%BB-%ED%95%99%EC%8A%B5%EB%90%98%EA%B3%A0-%EC%9E%88%EB%8B%A4-%F0%9F%AB%A2-The-False-Promise-of-Imitating-Proprietary-L
TULU: How Far Can Camels Go? Exploring the State of Instructiopn Tuning on Open Resources https://arxiv.org/abs/2306.04751 Will be uploaded later!
How Is ChatGPT's Behavior Changing over Time? https://arxiv.org/abs/2307.09009 https://cartinoe5930.tistory.com/entry/ChatGPT%EC%9D%98-%EC%84%B1%EB%8A%A5%EC%9D%B4-%EC%95%88-%EC%A2%8B%EC%95%84%EC%A7%80%EA%B3%A0-%EC%9E%88%EB%8B%A4%EA%B5%AC-%F0%9F%98%B2%F0%9F%98%B2
Large Language Models Cannot Self-Correct Reasoning Yet https://arxiv.org/abs/2310.01798
How Far Are Large Language Models from Agents with Theory-of-Mind https://arxiv.org/pdf/2310.03051 No plan!
Can LLMs Follow Simple Rules https://arxiv.org/abs/2311.04235 https://www.youtube.com/watch?v=CY6o43037OY
Camels in a Changing Climate; Enhancing LM Adaptation with Tulu 2 https://arxiv.org/abs/2311.10702 No plan!
ChatGPT's One-year Anniversary; Are Open-Source Large Language Models Catching up https://arxiv.org/abs/2311.15653 No plan!
An In-depth Look at Gemini's Language Abilities https://arxiv.org/abs/2312.11444 No plan!

面白い？

Paper Title Paper or reference site Link Paper Review
DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature https://arxiv.org/abs/2301.11305 https://cartinoe5930.tistory.com/entry/%EC%9D%B4-%EA%B8%80%EC%9D%B4-LM%EC%9D%B4-%EB%A7%8C%EB%93%A4%EC%96%B4%EB%82%B8-%EA%B8%80%EC%9D%BC%EA%B9%8C-%EB%8F%84%EC%99%80%EC%A4%98-DetectGPT-DetectGPT-Zero-Shot-Machine-Generated-Text-Detection-using-Probability-Curvature-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback https://arxiv.org/abs/2302.12813 https://cartinoe5930.tistory.com/entry/ChatGPT%EC%9D%98-hallucination-%EC%96%B4%EB%96%BB%EA%B2%8C-%ED%95%B4%EA%B2%B0%ED%95%B4%EC%95%BC-%ED%95%A0%EA%B9%8C-Check-Your-Facts-and-Try-Again-Improving-Large-Language-Models-with-External-Knowledge-and-Automated-Feedback
RecurrentGPT: Interactive Generation of (Arbitrarily) Long Text https://arxiv.org/abs/2305.13304 https://cartinoe5930.tistory.com/entry/ChatGPT%EC%97%90-%EB%B0%98%EB%B3%B5-%EB%A9%94%EC%BB%A4%EB%8B%88%EC%A6%98LSTM%EC%9D%84-%EC%82%AC%EC%9A%A9%ED%95%9C%EB%8B%A4%EB%A9%B4-RecurrentGPT-Interactive-Generation-of-Arbitrarily-Long-Text-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
Large Language Models as Tool Makers https://arxiv.org/abs/2305.17126 https://cartinoe5930.tistory.com/entry/LM%EC%9D%B4-%EB%8F%84%EA%B5%AC%EB%A5%BC-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B2%8C-%EB%90%9C%EB%8B%A4%EB%A9%B4-%F0%9F%94%AC-Large-Language-Models-as-Tool-Makers-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
LLM-Blender: Ensembling Large Language Models with Pairwise Ranking and Generative Fusion https://arxiv.org/abs/2306.02561 No plan!
大きな言語モデルの知識蒸留https://arxiv.org/abs/2306.08543 https://cartinoe5930.tistory.com/entry/KD%EC%97%90-%EC%82%B4%EC%A7%9D%EC%9D%98-%EB%B3%80%ED%99%94%EB%A5%BC-%EC%A4%98%EB%B3%B4%EC%9E%90-%F0%9F%98%9C-Knowledge-Distillation-of-Large-Language-Models-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
Scaling Relationship on Learning Mathematical Reasoning with Large Language Models https://arxiv.org/abs/2308.01825 Will be uploaded later!
ToolLLM: Facilitating Lare Language Models to Master 16000+ Real-World APIs https://arxiv.org/abs/2307.16789 Will be uploaded later!
SelfCheck: Using LLMs to Zero-shot Check Their Own Step-by-Step Reasoning https://arxiv.org/abs/2308.00436 Will be uploaded later!
Solving Challenging Math Word Problems Using GPT-4 Code Interpreter with Code-based Self-Verification https://arxiv.org/abs/2308.07921 Will be uploaded later!
Large Language Models as Optimizers https://arxiv.org/abs/2309.03409 No plan!
FIAT: Fusing Learning Paradigms with Instruction-Accelerated Tuning https://arxiv.org/abs/2309.04663 https://www.youtube.com/watch?v=EZsZEcRDte0&pp=ygUgaHR0cHM6Ly9hcnhpdi5vcmcvYWJzLzIzMDkuMDQ2NjM%3D
Contrastive Decoding Improves Reasoning in Large Language Models https://arxiv.org/abs/2309.09117 https://www.youtube.com/watch?v=nMR56TkwC1Q&pp=ygUgaHR0cHM6Ly9hcnhpdi5vcmcvYWJzLzIzMDkuMDkxMTc%3D
Think before you speak: Training Language Models with Pause Tokens https://arxiv.org/abs/2310.02226 https://www.youtube.com/watch?v=MtJ1jacr_yI
Large Language Models Can Learn Rules https://arxiv.org/abs/2310.07064 No plan!
In-context Pretraining: Language Modeling Beyond Document Boundaries https://arxiv.org/abs/2310.10638 https://www.youtube.com/watch?v=GI-0lAaILrU
Learning From Mistakes Makes LLM Better Reasoner https://arxiv.org/abs/2310.20689 No plan!
Language Models can be Logical Solvers https://arxiv.org/abs/2311.06158 No plan!
MART: Improving LLM Safety with Multi-round Automatic Red-Teaming https://arxiv.org/abs/2311.07689 No plan!
Fine-tuning Language Models for Factuality https://arxiv.org/abs/2311.08401 No plan!
Positional Description Matters for Transformers Arithmetic https://arxiv.org/abs/2311.14737 No plan!
Weak-to-Strong Generalization: Eliciting Strong Capabilities with Weak Supervision https://arxiv.org/abs/2312.09390 https://openai.com/research/weak-to-strong-generalization
TinyGSM: achieving higher than 80 percentage on GSM8k with small language models https://arxiv.org/abs/2312.09241 No plan!

Korean LM ??

Paper Title Paper or reference site Link Paper Review
Morpheme-aware Subword Tokenizer: An Empirical Study of Tokenization Strategies for Various Korean NLP Tasks https://arxiv.org/abs/2010.02534 Will be uploaded later!
What Changes Can Large-scale Language Models Bring? Intensive Study on HyperCLOVA: Billions-scale Korean Generative Pretrained Transformers https://arxiv.org/abs/2109.04650 Will be uploaded later!

Computer Vision

Paper Title Paper or reference site Link Paper Review
history of CNN LeNet, AlexNet, VGGNet, GoogLeNet, ResNet, ResNeXt, Sception, Mobilenet, DenseNet, EfficientNet, ConvNext https://cartinoe5930.tistory.com/entry/CNN-network%EC%9D%98-%EC%97%AD%EC%82%AC
ViT: An Image Worth 16 x 16 Words: Transformers for Image Recognition at Scale https://arxiv.org/abs/2010.11929 https://cartinoe5930.tistory.com/entry/ViT-An-Image-Worth-16-x-16-Words-Transformers-for-Image-Recognition-at-Scale
Swin Transformer: Hierarchical Vision Transformer using Shifted Winodws https://arxiv.org/abs/2103.14030 https://cartinoe5930.tistory.com/entry/Swin-Transformer-Hierarchical-Vision-Transformer-using-Shifted-Windows-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
CLIP: Learning Transferable Visual Models From Natural Language Supervision https://arxiv.org/abs/2103.00020 https://cartinoe5930.tistory.com/entry/CLIP-Learning-Transferable-Visual-Models-From-Natural-Language-Supervision-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0

Multi-modal Models

Paper Title Paper or reference site Link Paper Review
Let's learn about VLM(Visual-Language Model) https://huggingface.co/blog/vision_language_pretraining#supporting-vision-language-models-in-%F0%9F%A4%97-transformers https://cartinoe5930.tistory.com/entry/VLMVision-Language-Model%EC%97%90-%EB%8C%80%ED%95%B4-%EC%95%8C%EC%95%84%EB%B3%B4%EC%9E%90
VisualBERT: A simple and Performant Baseline for Vision and Language https://arxiv.org/abs/1908.03557 https://cartinoe5930.tistory.com/entry/VisualBERT-A-Simple-and-Performant-Baseline-for-Vision-and-Language-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
ViLBERT: Pre-training Task-Agnostic Visiolinguistic Representations for Visual-and-Language Tasks https://arxiv.org/abs/1908.02265 https://cartinoe5930.tistory.com/entry/ViLBERT-Pretraining-Task-Agnostic-Visiolinguistic-Representations-for-Visual-and-Language-Tasks
LXMERT: Learning Cross-Modality Encoder Representations from Transformers https://arxiv.org/abs/1908.07490 https://cartinoe5930.tistory.com/entry/LXMERT-Learning-Cross-Modality-Encoder-Representations-from-Transformers-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
VL-BERT: Pre-training of Generic Visual-Linguistic Representations https://arxiv.org/abs/1908.08530 https://cartinoe5930.tistory.com/entry/VL-BERT-Pre-training-of-Generic-Visual-Linguistic-Representations-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
VLP: Unified Vision-Language Pre-Training for Image Captioning and VQA https://arxiv.org/abs/1909.11059 https://cartinoe5930.tistory.com/entry/VLP-Unified-Vision-Language-Pre-Traning-for-Image-Captioning-and-VQA-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks https://arxiv.org/abs/2004.06165 https://cartinoe5930.tistory.com/entry/Oscar-Object-Semantics-Aligned-Pre-training-for-Vision-Language-Tasks-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
VinVL: Revisiting Visual Representations in Vision-Language Models https://arxiv.org/abs/2101.00529 https://cartinoe5930.tistory.com/entry/VinVL-Revisiting-Visual-Representations-in-Vision-Language-Models-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision https://arxiv.org/abs/2102.03334 https://cartinoe5930.tistory.com/entry/ViLT-Vision-and-Language-Transformer-Without-Convolution-or-Region-Supervision-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
ALIGN: Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision https://arxiv.org/abs/2102.05918 https://cartinoe5930.tistory.com/entry/ALIGN-Scaling-up-Visual-and-Vision-Language-Representation-with-Noisy-Text-Supervision-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
ALBEF: Vision and Language Representation Learning with Momentum Distillation https://arxiv.org/abs/2107.07651 https://cartinoe5930.tistory.com/entry/ALBEF-Vision-and-Language-Representation-Learning-with-Momentum-Distillation-%EB%85%BC%EB%AC%B8
SimVLM: Simple Visual Language Model Pretraining with Weak Supervision https://arxiv.org/abs/2108.10904 https://cartinoe5930.tistory.com/entry/SimVLM-Simple-Visual-Language-Model-Pre-training-with-Weak-Supervision-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
VLMo: Unified Vision-Language Pre-training with Mixture-of-Modality-Experts https://arxiv.org/abs/2111.02358 https://cartinoe5930.tistory.com/entry/VLMo-Unified-Vision-Language-Pre-training-with-Mixture-of-Modality-Experts-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
LiT : Zero-Shot Transfer with Locked-image text Tuning https://arxiv.org/abs/2111.07991 https://cartinoe5930.tistory.com/entry/LiT%F0%9F%94%A5-Zero-Shot-Transfer-with-Locked-image-text-Tuning-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
FLAVA: A Foundational Language And Vision Alignment Model https://arxiv.org/abs/2112.04482 https://cartinoe5930.tistory.com/entry/FLAVA-A-Foundational-Language-And-Vision-Alignment-Model-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation https://arxiv.org/abs/2201.12086 https://cartinoe5930.tistory.com/entry/BLIP-Bootstrapping-Language-Image-Pre-training-fro-Unified-Vision-Language-Understanding-and-Generation-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0

Deep Learning Concept

Paper or Posting Title reference site Linkレビュー
Knowledge Distillation: Distilling the Knowledge in a Neural Network https://arxiv.org/abs/1503.02531 https://cartinoe5930.tistory.com/entry/Distilling-the-Knowledge-in-a-Neural-Network-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
What is Zero-shot, One-shot, Few-shot Learning? see my blog! https://cartinoe5930.tistory.com/entry/Zero-shot-One-shot-Few-shot-Learning%EC%9D%B4-%EB%AC%B4%EC%97%87%EC%9D%BC%EA%B9%8C
拡大する
追加情報
関連アプリ
おすすめ
関連情報 すべて