machine learning list

機械学習の読書リストを引き出します

目的

このカリキュラムの目的は、言語モデルに焦点を当てて、新しいカリキュラムが機械学習の背景を学習するのを支援することです。私は、生産にMLを展開することに関連する論文と、長期的なスケーラビリティのために重要な技術のバランスをとろうとしました。

まだElicitで働いていない場合は、MLとソフトウェアエンジニアを雇用しています。

読み方

推奨読書順序：

1. すべてのトピックについては、「Tier 1」を読んでください
2. すべてのトピックについては、「Tier 2」をお読みください
3. 等

2024/4/1以降に追加されました

目次

• 基礎
  • 機械学習の紹介
  • トランス
  • キーファンデーションモデルアーキテクチャ
  • トレーニングと微調整
• 推論とランタイム戦略
  • コンテキスト内の推論
  • タスク分解
  • 議論
  • ツールの使用と足場
  • 誠実さ、事実、認識論
• アプリケーション
  • 科学
  • 予測
  • 検索とランキング
• 実際にはML
  • 生産展開
  • ベンチマーク
  • データセット
• 高度なトピック
  • 世界モデルと因果関係
  • 計画
  • 不確実性、キャリブレーション、積極的な学習
  • 解釈可能性とモデル編集
  • 強化学習
• 全体像
  • AIスケーリング
  • AI安全
  • 経済的および社会的影響
  • 哲学
• メンテナー

基礎

機械学習の紹介

ティア1

• 機械学習の簡単な紹介
• しかし、ニューラルネットワークとは何ですか？
• 勾配降下、ニューラルネットワークの学習方法

ティア2

• バックプロパゲーションの直感的な理解
• BackPropagationとは本当に何をしていますか？
• 深い強化学習の紹介

ティア3

• ニューラルネットワークとバックプロパゲーションの綴りの紹介：マイクログラードの構築
• バックプロパゲーション計算

トランス

ティア1

• しかし、GPTとは何ですか？変圧器への視覚的なイントロ
• 視覚的に説明されたトランスの注意
• 注意？注意！
• イラスト付き変圧器
• 図解GPT-2（トランス語モデルの視覚化）

ティア2

• GPTトークンザーを構築しましょう
• 共同で調整して翻訳することを学ぶことによるニューラル機械翻訳
• 注釈付き変圧器
• 注意が必要です

ティア3

• 高速で軽い変圧器に関する実用的な調査
• tabpfn：2秒で小さな表形式の分類の問題を解決する変圧器
• Grokking：小さなアルゴリズムデータセットに過剰適合していない一般化
• 変圧器回路の数学的フレームワーク

ティア4+

• オートレーフレフな変圧器の組成能力：合成、解釈可能なタスクに関する研究
• 変圧器を暗記します
• トランスフィードフォワードレイヤーは、キー価値の記憶です

キーファンデーションモデルアーキテクチャ

ティア1

• 言語モデルは教師なしマルチタスク学習者（GPT-2）です
• 言語モデルは少ないショット学習者です（GPT-3）

ティア2

• ラマ：オープンで効率的な基礎言語モデル（llama）
• 構造化された状態空間で長いシーケンスを効率的にモデリングする（ビデオ）（S4）
• 統一されたテキストツーテキストトランス（T5）を使用した転送学習の限界を調査する
• コードでトレーニングされた大きな言語モデルの評価（Openai Codex）
• 人間のフィードバックを使用して指示に従うための言語モデルのトレーニング（Openai指示）

ティア3

• ミストラル7B（ミストラル）
• Mixtral of Experts（Mixtral）
• ジェミニ：非常に有能なマルチモーダルモデルのファミリー（ジェミニ）
• MAMBA：選択状態空間（MAMBA）を使用した線形時間シーケンスモデリング
• スケーリング命令finetuned言語モデル（flan）

ティア4+

• 一貫性モデル
• Claudeモデルのモデルカードと評価（Claude 2）
• Olmo：言語モデルの科学の加速
• Palm 2テクニカルレポート（Palm 2）
• 教科書はあなたが必要とするすべてですII：PHI-1.5テクニカルレポート（PHI 1.5）
• ビジュアルインストラクションチューニング（llava）
• 調整のための研究室としての一般的な言語アシスタント
• Finetuned Languageモデルはゼロショット学習者です（Googleの指示）
• Galactica：科学の大規模な言語モデル
• ラムダ：ダイアログアプリケーションの言語モデル（Googleダイアログ）
• OPT：事前に訓練されたトランス語モデルを開く（メタGPT-3）
• 手のひら：経路を使用した言語モデリングのスケーリング（手のひら）
• 大規模な言語モデルを使用したプログラム統合（Google Codex）
• スケーリング言語モデル：トレーニングGopher（Gopher）からの方法、分析、洞察
• 言語モデルの定量的推論の問題の解決（Minerva）
• UL2：統一言語学習パラダイム（UL2）

トレーニングと微調整

ティア2

• テンソルプログラムV：ゼロショットハイパーパラメーター転送を介して大規模なニューラルネットワークを調整する
• 人間のフィードバックで要約することを学ぶ
• 数学の問題の問題を解決するための検証器をトレーニングします

ティア3

• 人間の好みを持つ前の言語モデル
• 弱くて強力な一般化：監督が弱い強力な能力を引き出す
• 少ないショットパラメーター効率の高い微調整は、コンテキスト内学習よりも優れており、安価です
• LORA：大規模な言語モデルの低ランク適応
• 生成言語モデルのみを備えた監視されていないニューラル機械翻訳

ティア4+

• 人間のデータを超えて：言語モデルを使用した問題解決のためのセルフトレーニングのスケーリング
• 自然言語のフィードバックでトレーニングすることにより、コード生成を改善します
• 言語モデリングは圧縮です
• リマ：アライメントの方が多い
• GISTトークンでプロンプトを圧縮することを学ぶ
• 中央で失われた：言語モデルが長いコンテキストを使用する方法
• Qlora：量子化されたLLMの効率的な微調整
• 静かな星：言語モデルは、話す前に考えるように自分自身を教えることができます
• 言語モデリングのための強化自己訓練（REST）
• 人間のデモンストレーションなしでオリンピアの幾何学を解決します
• 教えてはいけません：宣言的な事実は、LLMSがどのように一般化するかに影響します
• 教科書はあなたが必要とするすべてです
• Tinystories：言語モデルはどれほど小さく、今でも首尾一貫した英語を話すことができますか？
• 大規模な言語フィードバックを使用した言語モデルのトレーニング
• チューリング完全な変圧器：2つの変圧器は1つより強力です
• BYT5：事前に訓練されたバイトからバイトモデルを備えたトークンフリーの未来に向けて
• データ分布プロパティは、変圧器の緊急のコンテキスト学習を促進します
• 拡散LMは、制御可能なテキスト生成を改善します
• アーニー3.0：言語の理解と生成のための大規模な知識が事前トレーニングを強化した
• 中央を埋めるための言語モデルの効率的なトレーニング
• Ext5：転送学習のための極端なマルチタスクスケーリングに向けて
• プレフィックス調整：生成の連続プロンプトの最適化
• DataPoints間の自己関節：深い学習における個々の入出力ペアを超える
• プロンプトを使用した真の少ないショット学習 - 実際の視点

推論とランタイム戦略

コンテキスト内の推論

ティア2

• 思考の連鎖促進促進は、大規模な言語モデルで推論を引き出す
• 大規模な言語モデルはゼロショットの推論者です（段階的に考えましょう）
• 自己整合性は、言語モデルの一連の思考推論を改善します

ティア3

• プロンプトなしのチェーンの推論
• なぜ段階的に考えるのですか？推論は、経験の地域から生まれます

ティア4+

• Baldur：大規模な言語モデルによる全装甲生成と修理
• バイアスの高級整合性トレーニングは、考え方の偏った推論を減らします
• 言語モデルを使用した認定推論
• 仮説検索：言語モデルによる帰納的推論
• LLMSと抽象化と推論コーパス：成功、障害、およびオブジェクトベースの表現の重要性
• 大規模な言語モデルは、まだ自己修正されていません
• Stream of Search（SOS）：言語で検索することを学ぶ
• 潜在的な変数の推論を介した訓練チェーン
• デモンストレーションの役割を再考する：コンテキスト内学習が機能する理由は何ですか？
• 表面形式の競争：なぜ最高の確率の答えが必ずしも正しいとは限りません

タスク分解

ティア1

• 結果ではなく、プロセスを監督します
• 弱い専門家を増幅することにより、強力な学習者を監督します

ティア2

• 思考の木：大規模な言語モデルを使用した意図的な問題解決
• 因数分解された認知
• 繰り返し蒸留と増幅
• 人間のフィードバックで本を再帰的に要約します
• プロセスベースおよび結果ベースのフィードバックで数学の単語の問題を解決します

ティア3

• 検証因子化：アカデミックペーパーの要約で幻覚の検出と削減
• 大きな言語モデルを使用した忠実な推論
• 人間コンサルティングHCH
• 反復分解：推論プロセスを監督することにより、科学Q＆Aを改善します
• 言語モデルのカスケード

ティア4+

• 非文脈化：文章をスタンドアロンにする
• 因数分解された認知プライマー
• 思考のグラフ：大規模な言語モデルで精巧な問題を解決する
• Parsel：アルゴリズム推論のための統一された自然言語の枠組み
• AIチェーン：大規模な言語モデルプロンプトをチェーンすることによる透明で制御可能な人間との相互作用
• 挑戦に挑戦する大手タスクと、チェーンの考え方がそれらを解決できるかどうか
• 議論を1つずつ評価します
• 最小のプロンプトは、大規模な言語モデルで複雑な推論を可能にします
• Maieuticのプロンプト：再帰的な説明を使用した論理的に一貫した推論
• 言語モデルの組成ギャップの測定と縮小
• PAL：プログラム支援言語モデル
• React：言語モデルでの相乗効果と行動
• 選択推論：解釈可能な論理推論のために大規模な言語モデルを活用します
• あなたの作品を示す：言語モデルを使用した中間計算用のスクラッチパッド
• Summ^n：長い入力ダイアログとドキュメントのためのマルチステージ要約フレームワーク
• ThinkSum：大規模な言語モデルを使用したセットに関する確率的推論

議論

ティア2

• 議論によるAIの安全

ティア3

• 議論は、信頼できない専門家を監督するのに役立ちます
• 二ターンの議論は、人間が難しい読解の質問に答えるのを助けません

ティア4+

• 二重効率の高い議論によるスケーラブルなAI安全性
• マルチエージェントの議論を通じて言語モデルの事実と推論を改善する

ツールの使用と足場

ティア2

• トレーニング後の強化の影響を測定します
• WebGPT：人間のフィードバックを使用したブラウザ支援の質問

ティア3

• AI機能は、高価な再訓練なしで大幅に改善できます
• 言語モデルによる自動統計モデルの発見

ティア4+

• DSPY：宣言言語モデルの呼び出しを自己改善パイプラインにコンパイルします
• PROMPTBREEDER：迅速な進化による自己参照自己改善
• 独学オプティマイザー（STOP）：再帰的に自己改善コード生成
• Voyager：大規模な言語モデルを備えたオープンエンドの具体化されたエージェント
• リーガル：一般化可能な抽象化を発見するためのリファクタリングプログラム

誠実さ、事実、認識論

ティア2

• 人間の評価者を支援するための自己批判モデル

ティア3

• 言語モデルはどのような証拠を説得しますか？
• AI嘘つきをキャッチする方法：無関係な質問をすることでブラックボックスLLMSで嘘を検出する

ティア4+

• 言語モデルは常に彼らが考えていることを言っているわけではありません：考え方の促しにおける不誠実な説明
• 大規模な言語モデルにおける長期の事実

アプリケーション

科学

ティア3

• 大規模な言語モデルは、研究論文に関する有用なフィードバックを提供できますか？大規模な経験的分析
• 大規模な言語モデルは臨床知識をエンコードします
• 科学的発見に対する大規模な言語モデルの影響：GPT-4を使用した予備研究
• 情報を求める質問と回答のデータセットは、研究論文に固定されています

ティア4+

• Generalist Foundationモデルは、特別な目的のチューニングを補完できますか？医学のケーススタディ
• Nougat：学術文書のニューラル光学的理解
• SCIM：科学論文のインテリジェントなスキミングサポート
• Synergpt：個別化された薬物相乗効果と薬物の設計のためのコンテキスト学習
• 大規模な言語モデルを使用した正確な鑑別診断に向けて
• 人間と機械の科学的理解のためのベンチマークに向けて
• 科学的課題と方向性を発見するための検索エンジン
• 自動化ツールを使用して2週間で完全な系統的レビューが完了しました：ケーススタディ
• 事実またはフィクション：科学的主張の検証
• Multi-XScience：科学記事の極端なマルチドキュメント要約のための大規模なデータセット
• ピア：共同言語モデル
• PubMedQA：生物医学研究質問の回答のためのデータセット
• SCICO：科学的概念のための階層的なクロスドキュメントコアレファレンス
• Scitail：Science質問の​​回答からのテキスト係数データセット

予測

ティア3

• Ai-Augmented Predictions：LLMアシスタントは、人間の予測精度を改善します
• 言語モデルでの人間レベルの予測にアプローチします
• トランスは時系列予測に効果的ですか？
• ニューラルネットワークで将来の世界イベントを予測します

検索とランキング

ティア2

• 大規模なフレーズの密な表現を学習します
• 対照的なプリトレーニングによるテキストとコードの埋め込み（openai埋め込み）

ティア3

• 大規模な言語モデルは、ペアワイズランキングプロンプトを持つ効果的なテキストランカーです
• すべてのベクトルデータベースが等しくなるわけではありません
• レルム：検索された言語モデルのトレーニング前
• 知識集約型NLPタスクの検索された生成
• 手順を備えたタスクアウェア検索

ティア4+

• rankzephyr：効果的で堅牢なゼロショットリストワイズの再ランキングは簡単です！
• IR評価におけるいくつかの一般的な間違い、およびそれらをどのように避けることができるか
• インタラクティブなエージェントによる検索エンジンのブースト
• コルバート：バートをめぐるコンテキスト化された後期相互作用による効率的かつ効果的な通過検索
• 情報検索ベンチマークのために、下流タスクの精度を超えて移動します
• UnifiedQA：単一のQAシステムでフォーマット境界を越えます

実際にはML

生産展開

ティア1

• Pythonの機械学習：データサイエンス、機械学習、およびAIの主な開発と技術の動向
• 機械学習：技術的債務の高利子クレジットカード

ティア2

• データ集約型アプリケーションの設計
• ニューラルネットワークをトレーニングするためのレシピ

ベンチマーク

ティア2

• GPQA：大学院レベルのGoogle-Proof Q＆Aベンチマーク
• SWEベンチ：言語モデルは、実際のGitHubの問題を解決できますか？
• Truthfulqa：モデルが人間の虚偽を模倣する方法を測定します

ティア3

• フレックス：少数のショットNLPの統一評価
• 言語モデルのホリスティック評価（ヘルム）
• 大規模なマルチタスク言語の理解の測定
• Raft：実際の少数のテキスト分類ベンチマーク
• 言語モデルを使用した真の少数の学習

ティア4+

• ガイア：一般的なAIアシスタントのベンチマーク
• Conditionalqa：条件付き回答を伴う複雑な読解データセット
• 数学データセットによる数学的問題解決の測定
• 品質：長い入力テキストでの質問に答える、はい！
• スクロール：長い言語シーケンスにおける標準化された比較
• 自然言語の理解におけるベンチマークを修正するには何が必要ですか？

データセット

ティア2

• 一般的なクロール
• パイル：言語モデリングのための多様なテキストの800GBのデータセット

ティア3

• ダイアログの開始：ドキュメントをダイアログに変える
• MS MARCO：人間の生成された機械の読解データセット
• Microsoft Academic Graph
• TLDR9+：ソーシャルメディアの投稿を極端に要約するための大規模なリソース

高度なトピック

世界モデルと因果関係

ティア3

• 緊急世界の表現：合成タスクで訓練されたシーケンスモデルの探索
• 単語モデルから世界モデルへ：自然言語から思考の確率的言語に翻訳する
• 言語モデルは空間と時間を表します

ティア4+

• 大規模な言語モデルにおける扱いにくい推論を償却します
• cladder：言語モデルの因果推論の評価
• 因果ベイズの最適化
• 因果的推論と大規模な言語モデル：因果関係のために新しいフロンティアを開く
• 生成エージェント：人間の行動のインタラクティブなシミュレーション
• エージェントと言語モデルにおける積極的な因果戦略の受動的学習

計画

ティア4+

• *を超えて：検索ダイナミクスのブートストラップを介してトランスを使用したより良い計画
• 言語エージェントの認知アーキテクチャ

不確実性、キャリブレーション、積極的な学習

ティア2

• 専門家はチートしない：ペアを予測することによってあなたが知らないことを学ぶ
• 深い学習におけるベイジアンの不確実性のための単純なベースライン
• Plex：前提条件の大型モデル拡張機能を使用した信頼性に向けて

ティア3

• 言語モデルと確率的推論を使用したアクティブな優先推論
• 言語モデルで人間の好みを引き出す
• 対照的な例を取得することによる積極的な学習
• 自然言語でのテキスト分布の違いを説明する
• 自分の不確実性を言葉で表現するためのモデルを教える

ティア4+

• 実験を行い、自然言語と確率的推論でルールを修正する
• スターゲート：質問を明確にするための言語モデルを教える
• アクティブテスト：サンプル効率の高いモデル評価
• 言語報酬モデルの不確実性の推定

解釈可能性とモデル編集

ティア2

• 監督なしで言語モデルの潜在的な知識を発見します

ティア3

• 大規模な解釈可能性：アルパカの因果メカニズムの識別
• 手続き的に定義されたタスクに対する微調整の影響を機械的に分析する
• 代表エンジニアリング：AI透明性へのトップダウンアプローチ
• 影響力関数を使用した大規模な言語モデルの一般化を研究します
• 野生の解釈可能性：GPT-2で間接的なオブジェクト識別のための回路

ティア4+

• コードブックの機能：ニューラルネットワークのまばらで離散的な解釈可能性
• チューニングレンズを使用して、変圧器からの潜在的な予測を引き出します
• 言語モデルは、どのようにしてエンティティをコンテキストで結合しますか？
• AIブラックボックスを開く：メカニズムの解釈可能性を介したプログラム合成
• スパース機能回路：言語モデルの解釈可能な因果グラフの発見と編集
• 変圧器のメサ最適化アルゴリズムを明らかにします
• 大規模な高速モデル編集
• Git Re-Basin：モデルモジュロ順列対称性のマージ
• GPTで事実上の協会を見つけて編集します
• トランス内の大量編集メモリ

強化学習

ティア2

• 直接選好最適化：あなたの言語モデルは密かに報酬モデルです
• 反射：口頭での強化学習を伴う言語エージェント
• 一般的な強化学習アルゴリズム（アルファゼロ）を使用した自己プレイによるチェスと将軍の習得
• Muzero：Atari、Go、Chess、Shogiをマスターして、学んだモデルを計画して

ティア3

• 人間のフィードバックからの強化学習の未解決の問題と基本的な制限
• Alphastar：リアルタイム戦略ゲームスタークラフトのマスターII
• 意思決定トランス
• データが限られているAtariゲームをマスターする（efficientzero）
• Mastering stratego、不完全な情報の古典的なゲーム（Deepnash）

ティア4+

• Alphastar Unplugged：大規模なオフライン強化学習
• 認知負荷が限られているベイジアン補強学習
• 対照的な準備学習：RLなしの人間のフィードバックからの学習
• 捜索なしのグランドマスターレベルのチェス
• コンピューターを制御することを学習するためのデータ駆動型アプローチ
• アルファゼロのチェス知識の獲得
• ゲームのプレイヤー
• 検索された強化学習

全体像

AIスケーリング

ティア1

• 神経言語モデルのスケーリング法則
• 離陸速度
• 苦いレッスン

ティア2

• AIと計算
• 転送のためのスケーリング法
• トレーニングコンピューティング - 最適な大規模な言語モデル（チンチラ）

ティア3

• 大規模な言語モデルの緊急能力
• 0.1％の追加コンピューティング（U-PALM）でスケーリング法を超越する

ティア4+

• 言語モデルの物理学：パート3.3、知識容量のスケーリング法則
• スピードランニングと機械学習におけるパワー法の傾向
• 単一エージェントの補強学習のための法則のスケーリング
• ニューラルスケーリング法を超えて：データの剪定によるパワー法のスケーリングを破る
• 大規模な言語モデルの緊急能力
• ボードゲームでスケーリング法をスケーリングします

AI安全

ティア1

• マシンインテリジェンスの3つの影響
• 失敗はどのように見えるか
• 特定の対策がなければ、変革的AIへの最も簡単なパスはAIの買収につながる可能性があります

ティア2

• 壊滅的なAIのリスクの概要
• 「失敗がどのように見えるか」を明確にする（パート1）
• 人間の好みからの深いRL
• 深い学習の観点からのアライメントの問題

ティア3

• Scheming AIS：AISは、パワーを得るためにトレーニング中に偽物のアライメントを偽造しますか？
• 大規模な言語モデルのスケーラブル監視の進捗状況の測定
• 高度な機械学習システムにおける学習最適化からのリスク
• 報酬モデリングを介したスケーラブルなエージェントアライメント

ティア4+

• AIの欺ception：例、リスク、潜在的な解決策の調査
• 測定の改ざんを検出するためのベンチマーク
• AI安全へのOracleアプローチのテスト根としてのチェス
• 非人道的な未来への門を閉じます：超人的な目的の人工知能を開発しないことを選択すべき方法と理由
• 極端なリスクのモデル評価
• フロンティアAI開発の責任ある報告
• 安全性のケース：高度なAIシステムの安全性を正当化する方法
• スリーパーエージェント：安全トレーニングを通じて持続する欺ceptiveLLMSのトレーニング
• テクニカルレポート：大規模な言語モデルは、プレッシャーにさらされると戦略的にユーザーを欺くことができます
• テンソルトラスト：オンラインゲームからの解釈可能な迅速なインジェクション攻撃
• ニューラルモデルのトレーニングデータを検証するためのツール
• 収束的な安全境界を持つ慎重な科学者AIに向けて
• 言語エージェントのアラインメント
• 潜在的な知識を引き出す
• 害を減らすための赤いチームの言語モデル：方法、スケーリング行動、学んだ教訓
• 言語モデルを使用した赤いチームモデル
• ML安全性における未解決の問題

経済的および社会的影響

ティア3

• AIオートメーションからの爆発的な成長：議論のレビュー
• 言語モデルは、情報市場の非対称性を減らすことができます

ティア4+

• 人間の知識のギャップを埋める：アルファゼロでのコンセプトの発見と転送
• 基礎モデルとフェアユース
• GPTはGPTSです：大規模な言語モデルの労働市場の影響の可能性を早期に見てください
• AGIのレベル：AGIへの道の進捗状況を運用する
• ポリスとのスケーラブルな審議のためのLLMSの機会とリスク
• 基礎モデルの機会とリスクについて

哲学

ティア2

• 大規模な言語モデルでは参照なしで意味します

ティア4+

• 人工知能の意識：意識の科学からの洞察
• 哲学者は、哲学的に関連するAIを開発し、理論化し、使用する必要があります
• 自己報告を使用した道徳的地位のAIシステムの評価に向けて

メンテナー

[email protected]