awesome ai papers

素晴らしいaiペーパーシャル

説明

このリポジトリは、出版日ごとに編成された重要なAIペーパーの最新リストです。コンピュータービジョン、自然言語処理、オーディオ処理、マルチモーダル学習、強化学習の5つの分野をカバーしています。作品を楽しんでいる場合は、このリポジトリにスターを提供してください。

メンテナー：Aimerou ndiaye

目次

1. 2023ペーパー
   • コンピュータービジョン
   • 自然言語処理
   • オーディオ処理
   • マルチモーダル学習
   • 強化学習
   • 他の論文
2. 2022ペーパー
   • コンピュータービジョン
   • 自然言語処理
   • オーディオ処理
   • マルチモーダル学習
   • 強化学習
   • 他の論文
3. 歴史的な論文

分類

最も関連性の高い論文を選択するために、引用数の観点から主観的な制限を選択しました。ここの各アイコンは、これらの基準の1つを満たすペーパータイプを指定しています。

？歴史論文：10k以上の引用とAIの進化における決定的な影響。

重要な論文：50を超える引用と最先端の結果。

⏫トレンド：1〜50の引用、採用が拡大した最近の革新的な論文。

？重要な記事：研究論文を伴わなかった決定的な作業。

---

2023ペーパー

コンピュータービジョン

• 01/2023：ミューズ：マスクされた生成トランス（ミューズ）を介したテキストからイメージの生成
• 02/2023：拡散モデルを備えた構造とコンテンツ誘導ビデオ統合（Gen-1）
• 02/2023：220億パラメーター（VIT 22B）へのビジョン変圧器のスケーリング
• 02/2023：テキストから画像への拡散モデルに条件付きコントロールの追加（ControlNet）
• 03/2023：VisualChatGPT：Visual Foundationモデルとの会話、描画、編集（VisualChatGPT）
• 03/2023：テキストからイメージの合成のためにガンを拡大する（ギガガン）
• 04/2023：何でもセグメント（サム）
• 04/2023：DINOV2：監督なしの堅牢な視覚的特徴を学ぶ（dinov2）
• 04/2023：視覚的な指示の調整
• 04/2023：潜在性を調整する：高解像度のビデオ統合が潜在的拡散モデル（videoldm）
• 04/2023：拡散モデルからの合成データは、イメージネット分類を改善します
• 04/2023：医療画像の何でもセグメント（Medsam）
• 05/2023：Ganをドラッグ：生成画像マニホールド（Draggan）でのインタラクティブポイントベースの操作
• 06/2023：NeuralAngelo：高忠実度ニューラル表面再構成（NeuralAngelo）
• 07/2023：SDXL：高解像度画像合成のための潜在拡散モデルの改善（SDXL）
• 08/2023：リアルタイムラディアンスフィールドレンダリングのための3Dガウススプラッティング
• 08/2023：QWEN-VL：理解、ローカリゼーションのための汎用性の高いビジョン言語モデル...（QWEN-VL）
• ⏫08/2023：MVDREAM：3D世代のマルチビュー拡散（MVDREAM）
• ⏫11/2023：フィレンツェ-2：さまざまなビジョンタスクの統一表現を進める（フィレンツェ-2）
• ⏫12/2023：Videopoet：ゼロショットビデオ生成のための大規模な言語モデル（videopoet）

NLP

• 01/2023：DetectGPT：確率曲率（DetectGPT）を使用したゼロショットマシンで生成されたテキスト検出
• 02/2023：Toolformer：言語モデルは、ツールを使用するように自分自身を教えることができます（Toolformer）
• 02/2023：llama：オープンで効率的な基礎言語モデル（llama）
• ？ 03/2023：GPT-4
• 03/2023：人工的な一般情報の火花：GPT-4を使用した初期実験（GPT-4評価）
• 03/2023：Hugginggpt：huggingface（hugginggpt）のchatgptとその友人とのAIタスクを解決する
• 03/2023：bloomberggpt：金融の大規模な言語モデル（Bloomberggpt）
• 04/2023：GPT-4による指導チューニング
• 04/2023：生成エージェント：人間のインタラクティブなシミュレーション（GENエージェント）
• 05/2023：Palm 2テクニカルレポート（Palm-2）
• 05/2023：思考の木：大規模な言語モデルによる意図的な問題解決（TOT）
• 05/2023：リマ：アラインメントの方が多い（リマ）
• 05/2023：Qlora：量子化されたLLMS（Qlora）の効率的な微調整
• 05/2023：Voyager：大規模な言語モデルを備えたオープンエンドの具体化されたエージェント（Voyager）
• 07/2023：Toolllm：16000以上の現実世界のAPI（Toolllm）を習得するための大規模な言語モデルを促進する
• 08/2023：Metagpt：Multi-Agent Collaborative Frameworkのメタプログラミング（Metagpt）
• 08/2023：コードllama：コードのオープンファンデーションモデル（コードllama）
• ⏫09/2023：RLAIF：AIフィードバックを使用した人間のフィードバックからの補強補強学習（RLAIF）
• 09/2023：オプティマイザーとしての大規模な言語モデル（OPRO）
• ⏫10/2023：ユーレカ：大規模な言語モデル（eureka）のコーディングによる人間レベルの報酬設計
• ⏫12/2023：大規模な言語モデルを使用したプログラム検索からの数学的発見（Funsearch）

オーディオ処理

• 01/2023：ニューラルコーデック言語モデルはゼロショットテキストから音声シンセサイザー（Vall-E）です
• 01/2023：MusicLM：テキストからの音楽の生成（MusicLM）
• 01/2023：audioldm：潜在的拡散モデルを備えたテキストからオーディオの生成（audioldm）
• 03/2023：Google USM：100言語を超えた自動音声認識のスケーリング（USM）
• 05/2023：1,000以上の言語（MMS）へのスピーチテクノロジーのスケーリング
• ⏫06/2023：シンプルで制御可能な音楽生成（MusicGen）
• ⏫06/2023：Audiopalm：話すことができる大きな言語モデル（Audiopalm）
• ⏫06/2023：VoiceBox：Text-Guided MultiNingual Universal Speech Generation at Scale（VoiceBox）

マルチモーダル学習

• 02/2023：言語が必要なものではありません：知覚を言語モデル（kosmos-1）と調整する
• 03/2023：Palm-E：具体化されたマルチモーダル言語モデル（Palm-E）
• 04/2023：audiogpt：スピーチ、音楽、サウンド、トーキングヘッドの理解と生成（audiogpt）
• 05/2023：ImageBind：それらをすべてバインドするための1つの埋め込みスペース（ImageBind）
• ⏫07/2023：スケーリングオートルーリングマルチモーダルモデル：事前トレーニングと命令チューニング（CM3LEON）
• ⏫07/2023：メタトランスフォーマー：マルチモーダル学習のための統一されたフレームワーク（Meta-Transformer）
• ⏫08/2023：SeamlessM4T：多言語とマルチモーダルの機械翻訳（SeamLessM4T）

強化学習

• 01/2023：世界モデルを通じて多様なドメインを習得する（dreamerv3）
• ⏫02/2023：オンラインRL（GLAM）を使用したインタラクティブな環境で大きな言語モデルを接地する
• ⏫02/2023：オフラインデータを使用した効率的なオンライン強化学習（RLPD）
• ⏫03/2023：言語モデルを使用した報酬設計
• 05/2023：直接選好最適化：あなたの言語モデルは密かに報酬モデル（DPO）です
• ⏫06/2023：ディープ補強学習（Alphadev）を使用して発見されたより速いソートアルゴリズム
• ⏫08/2023：レトロフォーザー：ポリシーグラデーション最適化を備えたレトロスペクティブラージランゲージエージェント（Retroformer）

他の論文

• 02/2023：最適化アルゴリズムの象徴的な発見（ライオン）
• 07/2023：RT-2：Vision-Language-actionモデルWeb知識をロボットコントロール（RT-2）に転送する
• ⏫11/2023：材料発見のための深い学習のスケーリング（GNOME）
• ⏫12/2023：説明可能な深い学習を伴う抗生物質の構造クラスの発見

2022ペーパー

コンピュータービジョン

• 01/2022：2020年代の慣習（Convnext）
• 01/2022：パッチはあなたが必要とするすべてです（Convmixer）
• 02/2022：Block-nerf：スケーラブルな大型シーンニューラルビュー合成（Block-nerf）
• 03/2022：dino：エンドツーエンドオブジェクト検出用の改善された除去アンカーボックスを備えたdetr（dino）
• 03/2022：カーネルを31×31にスケールアップ：CNNSの大型カーネルデザインの再訪（大型カーネルCNN）
• 03/2022：Tensorf：Tensorial Radiance Fields（Tensorf）
• 04/2022：Maxvit：Multi-Axis Vision Transformer（MaxVit）
• 04/2022：クリップレイテントを使用した階層的なテキストコンディショナル画像生成（Dall-E 2）
• 05/2022：深い言語理解を備えたフォトリアリスティックテキストから画像の拡散モデル（イメージ）
• 05/2022：git：ビジョンと言語のための生成画像からテキスト変圧器（git）
• 06/2022：CMT：畳み込みニューラルネットワークは視覚変圧器に会います（CMT）
• 07/2022：SWIN UNETR：脳腫瘍のセマンティックセグメンテーションのためのSwin Transformers ...（Swin Unetr）
• 07/2022：分類器のない拡散ガイダンス
• 08/2022：被験者駆動型の世代のための微調整テキストから画像への拡散モデル（DreamBooth）
• 09/2022：DreamFusion：Text-to-3Dを2D拡散した（DreamFusion）
• 09/2022：make-a-video：テキスト対ビデオのないテキストからビデオへの生成（make-a-video）
• 10/2022：ガイド付き拡散モデルの蒸留について
• 10/2022：LAION-5B：次世代の画像テキストモデルをトレーニングするためのオープンな大規模なデータセット（LAION-5B）
• 10/2022：Imagic：拡散モデルを使用したテキストベースの実際の画像編集（Imagic）
• 11/2022：視覚的なプロンプトチューニング
• 11/2022：MAGIC3D：高解像度のテキストから3Dコンテンツ作成（MAGIC3D）
• 11/2022：diffusiondet：オブジェクト検出の拡散モデル（diffusiondet）
• 11/2022：instructpix2pix：画像編集手順に従うことを学ぶ（instructpix2pix）
• 12/2022：テキスト間拡散のマルチコンセプトカスタマイズ（カスタム拡散）
• 12/2022：変圧器付きのスケーラブル拡散モデル（DIT）

NLP

• 01/2022：Lambda：ダイアログアプリケーションの言語モデル（Lambda）
• 01/2022：紹介されたチェーンプロンプトは、大規模な言語モデル（COT）で推論を引き出します
• 02/2022：アルファコード（アルファコード）を使用した競争レベルのコード生成
• 02/2022：Finetuned Languageモデルはゼロショット学習者（FLAN）です
• 03/2022：人間のフィードバックを使用して人間の指示に従うための言語モデルのトレーニング（instantgpt）
• 03/2022：マルチタスクプロンプトのトレーニングは、ゼロショットタスク一般化（T0）を有効にします
• 03/2022：トレーニングコンピューティング - 最適な大手言語モデル（チンチラ）
• 04/2022：私が言うように、できる限りのことをしてください：ロボットアフォーダンスの基礎言語（Saycan）
• 04/2022：GPT-Neox-20B：オープンソースオートレーゼンシス言語モデル（GPT-Neox）
• 04/2022：PALM：経路を使用した言語モデリングのスケーリング（PALM）
• 06/2022：模倣ゲームを超えて：ラングの能力の定量化と推定...（ビッグベンチ）
• 06/2022：言語モデル（Minerva）の定量的推論の問題の解決
• 10/2022：React：言語モデルでの相乗的推論と行動（React）
• 11/2022：ブルーム：176B-パラメーターオープンアクセス多言語モデル（ブルーム）
• ？ 11/2022：ダイアログの言語モデルの最適化（chatgpt）
• 12/2022：大規模な言語モデルは臨床知識（Med-Palm）をエンコードします

オーディオ処理

• 02/2022：MSLAM：スピーチとテキストのための大規模な多言語の共同トレーニング（MSLAM）
• 02/2022：2022を追加：最初のオーディオディープシンセシス検出チャレンジ（追加）
• 03/2022：パッチアウトを使用したオーディオトランスの効率的なトレーニング（PASST）
• 04/2022：Maestro：モダリティマッチング（Maestro）を通じて一致した音声テキスト表現
• 05/2022：SpeechT5：unified-modal encoder-decoder音声言語用の事前トレーニング...（seppeatt5）
• 06/2022：WAVLM：フルスタック音声処理（WAVLM）のための大規模な自己監視前トレーニング
• 07/2022：BIGSSL：ASRの大規模な半学習学習のフロンティア（BIGSL）の探索
• 08/2022：ムーラン：音楽オーディオと自然言語の共同埋め込み（ムーラン）
• 09/2022：Audiolm：オーディオ生成への言語モデリングアプローチ（Audiolm）
• 09/2022：オーディオゲン：テキストガイド付きオーディオ生成（オーディオゲン）
• 10/2022：高忠実度のニューラルオーディオ圧縮（ENCODEC）
• 12/2022：大規模な弱い監督（ささやき）による堅牢な音声認識

マルチモーダル学習

• 01/2022：BLIP：統一されたビジョン言語のための言語イメージ前訓練のブースストラップ...（BLIP）
• 02/2022：data2vec：スピーチ、ビジョン、...（data2vec）における自己教師の学習のための一般的なフレームワーク
• 03/2022：VL-Adapter：ビジョンと言語のタスクのパラメーター効率の高い転送学習（VL-Adapter）
• 04/2022：Winoground：Visio-Lingisticのビジョンと言語モデルの調査...（Winoground）
• 04/2022：フラミンゴ：少数のショット学習の視覚言語モデル（フラミンゴ）
• 05/2022：ジェネラリストエージェント（GATO）
• 05/2022：COCA：対照的なキャプションは画像テキストファンデーションモデル（COCA）です
• 05/2022：VLMO：混合ミューチャーエクスパー（VLMO）による統一されたビジョン言語のトレーニング前トレーニング
• 08/2022：外国語としての画像：すべてのビジョンとビジョン言語のタスク（BEIT）のBEIT事前化
• 09/2022：Pali：共同でスケーリングされた多言語イメージモデル（Pali）

強化学習

• 01/2022：野生の四角形ロボットの堅牢な知覚的な移動を学ぶ
• 02/2022：BC-Z：ロボット模倣学習によるゼロショットタスク一般化
• 02/2022：補強学習を伴うチャンピオングラントゥリスモドライバー（Sophy）を追い越す
• 02/2022：深い強化学習によるトカマックプラズマの磁気制御
• 08/2022：非常に並行して深い補強学習（ANYMAL）を使用して数分で歩くことを学ぶ
• 10/2022：強化学習を使用したより高速なマトリックス乗算アルゴリズムの発見（Alphatensor）

他の論文

• 02/2022：fourcastnet：グローバルデータ駆動型の高解像度の天気モデル...（fourcastnet）
• 05/2022：colabfold：すべての人がアクセスできるタンパク質の折り畳み（colabfold）
• 06/2022：GNNでのグラフ情報の使用の測定と改善
• 10/2022：TimesNet：一般的な時系列分析（TimesNet）のための時間的2D-変動モデリング
• 12/2022：RT-1：大規模な現実世界制御用のロボット変圧器（RT-1）

歴史的な論文

• ？ 1958年：パーセプトロン：脳内の情報ストレージと組織のための確率的モデル（パーセプトロン）
• ？ 1986年：バックプロパティングエラーによる学習表現（Backpropagation）
• ？ 1986：意思決定木の誘導（カート）
• ？ 1989：非表示のマルコフモデルとスピーチ認識の選択されたアプリケーションに関するチュートリアル（うーん）
• ？ 1989：多層フィードフォワードネットワークはユニバーサル近似器です
• ？ 1992：最適マージン分類器（SVM）のトレーニングアルゴリズム
• ？ 1996：バギング予測因子
• ？ 1998：ドキュメント認識に適用されるグラデーションベースの学習（CNN/GTN）
• ？ 2001：ランダムフォレスト
• ？ 2001：高速でエリート主義的な多目的遺伝的アルゴリズム（NSGA-II）
• ？ 2003：潜在ディリクレの割り当て（LDA）
• ？ 2006年：ニューラルネットワークでデータの次元を減らす（自動エンコーダー）
• ？ 2008年：T-SNE（T-SNE）を使用してデータを視覚化する
• ？ 2009：Imagenet：大規模な階層画像データベース（Imagenet）
• ？ 2012年：深い畳み込みニューラルネットワーク（Alexnet）を使用したImagenet分類
• ？ 2013：ベクター空間での単語表現の効率的な推定（Word2Vec）
• ？ 2013：自動エンコード変異ベイズ（VAE）
• ？ 2014年：生成敵ネットワーク（GAN）
• ？ 2014年：ドロップアウト：ニューラルネットワークが過剰に適合しないようにする簡単な方法（ドロップアウト）
• ？ 2014：ニューラルネットワークを使用したシーケンス学習へのシーケンス
• ？ 2014年：共同で調整と翻訳を学ぶことによるニューラル機械翻訳（RNNSearch-50）
• ？ 2014：Adam：確率的最適化の方法（Adam）
• ？ 2015：バッチ正規化：内部COVを減らすことでディープネットワークトレーニングの加速...（batchnorm）
• ？ 2015年：畳み込みにより深くなる（インセプション）
• ？ 2015年：深い補強学習を通じて人間レベルの制御（DeepQ Network）
• ？ 2015：より高速なR-CNN：リージョンプロポーザルネットワークを使用したリアルタイムオブジェクト検出（より速いR-CNN）
• ？ 2015：U-Net：生物医学画像セグメンテーションのための畳み込みネットワーク（U-Net）
• ？ 2015年：画像認識のための深い残留学習（ResNet）
• ？ 2016：あなたは一度だけ見る：統一されたリアルタイムオブジェクト検出（Yolo）
• ？ 2017：注意が必要です（トランス）
• ？ 2018：Bert：言語理解のための深い双方向トランスの事前訓練（BERT）
• ？ 2020年：言語モデルは少ないショット学習者です（GPT-3）
• ？ 2020年：拡散確率モデル（DDPM）の除去
• ？ 2020：画像は16x16の価値があります：大規模な画像認識のための変圧器（vit）
• ？ 2021：AlphaFold（Alphafold）による非常に正確なタンパク質構造予測
• ？ 2022：chatgpt：ダイアログの言語モデルの最適化（chatgpt）