machine learning list

引起機器學習閱讀清單

目的

該課程的目的是幫助新的啟發員工學習機器學習的背景，重點是語言模型。我試圖在論文之間取得平衡，這些論文與在生產中部署ML有關的論文和有關長期可擴展性重要的技術。

如果您還不在InItic工作 - 我們正在僱用ML和軟件工程師。

如何閱讀

推薦閱讀順序：

1. 閱讀所有主題的“ 1層”
2. 閱讀所有主題的“ tier 2”
3. ETC

在2024/4/1之後添加

目錄

• 基本面
  • 機器學習簡介
  • 變壓器
  • 關鍵基礎模型體系結構
  • 培訓和填充
• 推理和運行時策略
  • 在上下文推理
  • 任務分解
  • 辯論
  • 工具使用和腳手架
  • 誠實，事實和認識論
• 申請
  • 科學
  • 預測
  • 搜索和排名
• ML實踐
  • 生產部署
  • 基準
  • 數據集
• 高級主題
  • 世界模式和因果關係
  • 規劃
  • 不確定性，校準和主動學習
  • 可解釋性和模型編輯
  • 強化學習
• 大局
  • AI縮放
  • AI安全
  • 經濟和社會影響
  • 哲學
• 維護者

基本面

機器學習簡介

層1

• 機器學習的簡短介紹
• 但是什麼是神經網絡？
• 梯度下降，神經網絡如何學習

第2層

• 直觀的理解反向傳播
• 反向傳播的確在做什麼？
• 深入增強學習的簡介

層3

• 神經網絡和反向傳播的拼寫介紹：構建微電磁
• 反向傳播計算

變壓器

層1

• 但是什麼是GPT？變壓器的視覺介紹
• 視覺解釋在變壓器中的注意力
• 注意力？注意力！
• 插圖的變壓器
• 插圖的GPT-2（可視化變壓器語言模型）

第2層

• 讓我們構建GPT令牌機
• 神經機器翻譯通過共同學習對齊和翻譯
• 帶註釋的變壓器
• 注意就是您所需要的

層3

• 對更快，更輕的變壓器的實用調查
• TABPFN：在第二秒鐘解決小型表格分類問題的變壓器
• Grokking：在小算法數據集上超越過度擬合的概括
• 變壓器電路的數學框架

第4層以上

• 自迴旋變壓器的組成能力：一項關於合成，可解釋任務的研究
• 記憶變壓器
• 變壓器進紙層是鑰匙值記憶

關鍵基礎模型體系結構

層1

• 語言模型是無監督的多任務學習者（GPT-2）
• 語言模型是很少的學習者（GPT-3）

第2層

• 美洲駝：開放有效的基礎語言模型（Llama）
• 有效地用結構化狀態空間（視頻）（S4）對長序列進行有效建模
• 使用統一的文本到文本變壓器（T5）探索轉移學習的限制
• 評估經過代碼培訓的大型語言模型（OpenAI Codex）
• 培訓語言模型以人為反饋（OpenAI指示）遵循指示

層3

• Mistral 7b（Mistral）
• 專家混合（混合）
• 雙子座：一個高度強大的多模型的家族（雙子座）
• MAMBA：具有選擇性狀態空間（MAMBA）的線性時間序列建模
• 縮放指導說明語言模型（FLAN）

第4層以上

• 一致性模型
• Claude模型的型號和評估（Claude 2）
• Olmo：加速語言模型的科學
• Palm 2技術報告（Palm 2）
• 教科書就是您所需要的II：PHI-1.5技術報告（PHI 1.5）
• 視覺教學調整（LLAVA）
• 通用語言助理作為對齊實驗室的
• 填充語言模型是零拍的學習者（Google指示）
• Galactica：科學的大語言模型
• LAMDA：對話應用程序的語言模型（Google對話框）
• OPT：開放訓練預訓練的變壓器語言模型（Meta GPT-3）
• 棕櫚：使用途徑（棕櫚）的縮放語言建模
• 與大語言模型的程序合成（Google Codex）
• 縮放語言模型：訓練Gopher（Gopher）的方法，分析和見解
• 解決語言模型的定量推理問題（密涅瓦）
• UL2：統一語言學習範例（UL2）

培訓和填充

第2層

• 張量程序V：通過零射擊超參數轉移調整大型神經網絡
• 學習總結人類反饋
• 培訓驗證者以解決數學單詞問題

層3

• 具有人類偏好的訓練語言模型
• 弱到緊密的概括：通過弱監督引起強大的能力
• 與內在的學習相比，很少有參數效率的微調更好，更便宜
• 洛拉：大語言模型的低排名
• 僅使用生成語言模型的無監督神經機器翻譯

第4層以上

• 超越人類數據：通過語言模型來擴展解決問題的自我訓練
• 通過自然語言反饋來改善代碼生成
• 語言建模是壓縮
• 利馬：更少的是對齊
• 學習用要點令牌壓縮提示
• 中間丟失：語言模型如何使用長上下文
• QLORA：量化LLM的有效填充
• 安靜的明星：語言模型可以在說話之前自我思考
• 加強語言建模的自我訓練（REST）
• 解決沒有人類示範的奧林匹克幾何形狀
• 告訴，不要顯示：聲明性事實會影響LLM的概括如何
• 教科書就是您所需要的
• 微小的故事：語言模型可以說很小而仍然說英語連貫的英語？
• 培訓語言模型具有大規模的語言反饋
• 圖靈完整的變壓器：兩個變壓器比一個變壓器更強大
• BYT5：邁向具有預訓練字節模型的無令牌未來
• 數據分佈屬性驅動變壓器中出現的秘密學習
• 擴散LM改善可控文本生成
• Ernie 3.0：大規模知識增強了語言理解和產生的預訓練
• 有效培訓語言模型以填補中間
• EXT5：走向轉移學習的極端多任務縮放
• 前綴調整：優化發電的連續提示
• 數據點之間的自我注意：超越深度學習中的單個投入輸出對
• 帶有提示的真實數量學習 - 現實世界的觀點

推理和運行時策略

在上下文推理

第2層

• 思想鏈促使人們在大語言模型中引發推理
• 大型語言模型是零拍的推理器（讓我們逐步思考）
• 自諧情緒改善了語言模型中的思想推理鏈

層3

• 無需提示的基礎推理鏈
• 為什麼要逐步考慮？推理從經驗的當地出現

第4層以上

• Baldur：大型語言模型的全部防護和維修
• 偏見的一致性培訓減少了思想鏈中的偏見推理
• 使用語言模型認證的推理
• 假設搜索：使用語言模型的歸納推理
• LLMS和抽象和推理語料庫：成功，失敗和基於對象表示的重要性
• 大型語言模型還不能自我糾正推理
• 搜索流（SOS）：學習語言搜索
• 通過潛在的推理進行訓練鏈
• 重新思考示範的作用：是什麼使內在的學習工作？
• 表面競爭：為什麼最高概率答案並不總是正確的

任務分解

層1

• 監督過程，而不是結果
• 通過擴大弱專家來監督強大的學習者

第2層

• 思想樹：大型語言模型的故意解決問題
• 考慮認知
• 迭代蒸餾和擴增
• 遞歸用人類反饋總結書籍
• 通過基於過程和基於結果的反饋解決數學單詞問題

層3

• 驗證驗證：檢測和減少學術論文摘要中的幻覺
• 使用大型語言模型的忠實推理
• 人類諮詢HCH
• 迭代分解：通過監督推理過程改善科學問答
• 語言模型級聯

第4層以上

• 脫皮化：使句子獨立
• 考慮了認知底漆
• 思想圖：解決大型語言模型的詳盡問題
• Parsel：算法推理的統一自然語言框架
• 人工智能鏈：通過鏈接大語言模型提示，透明且可控制的人類互動
• 具有挑戰性的大台任務，以及經過思考的鏈條能否解決這些問題
• 一次評估論點一次
• 最小一是提示可以在大語言模型中實現複雜的推理
• Maieutic提示：邏輯上一致的推理和遞歸解釋
• 測量和縮小語言模型中的組成差距
• PAL：程序輔助語言模型
• 反應：在語言模型中協同推理和作用
• 選擇推導：利用大型語言模型用於可解釋的邏輯推理
• 顯示您的作品：用於與語言模型中間計算的刮擦板
• sump^n：長輸入對話和文檔的多階段摘要框架
• Thinksum：使用大語言模型的概率推理超過集合

辯論

第2層

• AI安全通過辯論

層3

• 辯論有助於監督不可靠的專家
• 兩轉的辯論並沒有幫助人類回答艱難的閱讀理解問題

第4層以上

• 可擴展的AI安全性通過雙重效率辯論
• 通過多種辯論改善語言模型中的事實和推理

工具使用和腳手架

第2層

• 測量訓練後增強的影響
• WebGPT：通過人類反饋的瀏覽器協助提問

層3

• 無需昂貴的重新培訓就可以顯著提高AI功能
• 具有語言模型的自動統計模型發現

第4層以上

• DSPY：彙編聲明語言模型將其調用到自我改善管道中
• 提示燒：通過迅速發展的自我指導自我完善
• 自學成才的優化器（Stop）：遞歸自我提高代碼生成
• Voyager：具有大語言模型的開放式體現代理
• 富豪：重構程序以發現可概括的抽象

誠實，事實和認識論

第2層

• 用於協助人類評估者的自我調查模型

層3

• 語言模型令人信服的是什麼證據？
• 如何通過提出無關的問題來捕獲AI騙子：在黑盒LLM中檢測到謊言

第4層以上

• 語言模型並不總是說出他們的想法：經過思考鏈中的不忠解釋
• 大語言模型中的長期事實

申請

科學

層3

• 大型語言模型可以提供有關研究論文的有用反饋嗎？大規模的經驗分析
• 大型語言模型編碼臨床知識
• 大語模型對科學發現的影響：使用GPT-4的初步研究
• 在研究論文中錨定的信息 - 尋求問題和答案的數據集

第4層以上

• 通才基礎模型可以勝過特殊實用的調整嗎？醫學案例研究
• Nougat：學術文獻的神經光學理解
• SCIM：聰明的掠奪科學論文支持
• Synergpt：針對個性化藥物協同預測和藥物設計的文本學習
• 通過大型語言模型進行準確的鑑別診斷
• 朝著人類和機器的科學理解的基準邁進
• 發現科學挑戰和方向的搜索引擎
• 使用自動化工具在2週內完成了完整的系統審查：案例研究
• 事實或小說：驗證科學主張
• 多XSCIENCE：一個大型數據集，用於極端多文件摘要的科學文章
• 同行：一種協作語言模型
• PubMedQA：生物醫學研究問題的數據集回答
• SCICO：科學概念的等級跨文檔核心
• Scitail：科學問題回答的文本需要數據集

預測

層3

• ai aigment的預測：LLM助手提高了人類的預測準確性
• 通過語言模型接近人級預測
• 變壓器有效時間序列預測嗎？
• 通過神經網絡預測未來的世界活動

搜索和排名

第2層

• 大規模學習短語的密集表示
• 對比預訓練（OpenAI嵌入）的文本和代碼嵌入

層3

• 大型語言模型是具有成對排名提示的有效文本排名者
• 並非所有矢量數據庫都是平等的
• 領域：檢索語言模型預訓練
• 用於知識密集型NLP任務的檢索生成一代
• 通過說明的任務感知檢索

第4層以上

• Rankzephyr：有效且穩健的零照片listwise Reranking輕而易舉！
• IR評估中的一些常見錯誤，以及如何避免它們
• 與交互式代理一起增強搜索引擎
• 科爾伯特：通過上下文化的晚期互動，有效有效地搜索伯特
• 超越下游任務準確性以獲取信息檢索基準測試
• UnifiedQA：與單個質量檢查系統的跨越格式邊界

ML實踐

生產部署

層1

• Python中的機器學習：數據科學，機器學習和AI的主要發展和技術趨勢
• 機器學習：技術債務的高利息信用卡

第2層

• 設計數據密集型應用程序
• 培訓神經網絡的食譜

基準

第2層

• GPQA：研究生級的Google-Progron-Pox-Peark Ab A-A
• SWE-Bench：語言模型可以解決現實世界中的問題嗎？
• 真實性：測量模型如何模仿人類的虛假性

層3

• Flex：統一評估NLP
• 語言模型的整體評估（Helm）
• 測量大量的多任務語言理解
• 木筏：現實世界中的幾個示波文本分類基準
• 使用語言模型的真實數量學習

第4層以上

• 蓋亞：通用AI助手的基準
• 條件：有條件答案的複雜閱讀理解數據集
• 使用數學數據集測量數學問題解決
• 質量：用長輸入文本回答問題，是的！
• 捲軸：長語言序列的標準化比較
• 在自然語言理解中修復基準需要什麼？

數據集

第2層

• 常見的爬網
• 堆：一個800GB的不同文本數據集用於語言建模

層3

• 對話框介紹：將文檔轉換為對話框
• 馬可女士：人類生成的機器閱讀理解數據集
• 微軟學術圖
• TLDR9+：一個大規模的社交媒體帖子的極端總結

高級主題

世界模式和因果關係

層3

• 新興世界表示：探索經過合成任務的序列模型
• 從單詞模型到世界模型：從自然語言轉換為思想的概率語言
• 語言模型代表空間和時間

第4層以上

• 在大語言模型中攤銷棘手的推斷
• Cladder：在語言模型中評估因果推理
• 因果貝葉斯優化
• 因果推理和大型語言模型：為因果關係開放新的領域
• 生成代理：人類行為的互動模擬
• 被動學習代理和語言模型中的主動因果策略

規劃

第4層以上

• 除了A*：通過搜索動力學引導與變壓器進行更好的計劃
• 語言代理的認知體系結構

不確定性，校準和主動學習

第2層

• 專家不作弊：通過預測對學習您不知道的知識
• 深度學習中貝葉斯不確定性的簡單基線
• PLEX：使用預估計的大型擴展的可靠性

層3

• 使用語言模型和概率推理的主動偏好推斷
• 通過語言模型引起人類的偏好
• 通過獲取對比示例積極學習
• 用自然語言描述文本分佈之間的差異
• 教學模型以表達他們的不確定性

第4層以上

• 用自然語言和概率推理進行實驗和修改規則
• 星際蓋特：教授語言模型以提出澄清的問題
• 主動測試：樣品高效的模型評估
• 語言獎勵模型的不確定性估計

可解釋性和模型編輯

第2層

• 在沒有監督的情況下發現語言模型中的潛在知識

層3

• 大規模的可解釋性：識別羊駝的因果機制
• 機械師分析微調對程序定義任務的影響
• 代表工程：AI透明度的自上而下的方法
• 通過影響功能研究大型語言模型的概括
• 野外解釋性：GPT-2小的間接對象識別電路

第4層以上

• 代碼手冊功能：神經網絡的稀疏和離散的解釋性
• 通過調諧鏡頭從變壓器中引起潛在預測
• 語言模型如何在上下文中綁定實體？
• 打開AI黑匣子：通過機械解釋性綜合程序
• 稀疏特徵電路：在語言模型中發現和編輯可解釋的因果圖
• 在變壓器中揭示MESA優化算法
• 快速模型編輯
• git re-basin：合併模型模型置換對稱性
• 在GPT中找到和編輯事實協會
• 變壓器中的質量編輯記憶

強化學習

第2層

• 直接偏好優化：您的語言模型是秘密的獎勵模型
• 反射：語言加強學習的語言代理商
• 通過自我遊戲掌握國際象棋和Shogi，並使用一般的增強學習算法（Alphazero）
• Muzero：通過學習模型來掌握Atari，Go，棋子和Shogi

層3

• 從人類反饋中學習的開放問題和強化學習的根本局限性
• Alphastar：掌握實時策略遊戲星際爭霸II
• 決策變壓器
• 用有限的數據掌握Atari遊戲（EfficityZero）
• 掌握Stratego，經典的不完美信息遊戲（Deepnash）

第4層以上

• Alphastar未插頭：大規模的離線增強學習
• 貝葉斯加固學習有限的認知負荷
• 對比性良心學習：從沒有RL的人類反饋中學習
• 大師級國際象棋無需搜索
• 一種學習控制計算機的數據驅動方法
• 在Alphazero中獲取國際象棋知識
• 遊戲玩家
• 檢索授權的增強學習

大局

AI縮放

層1

• 神經語言模型的縮放法律
• 起飛速度
• 痛苦的教訓

第2層

• AI和計算
• 縮放法律的轉移法律
• 培訓計算最佳的大語言模型（Chinchilla）

層3

• 大型語言模型的緊急能力
• 超越縮放定律具有0.1％的額外計算（U-PALM）

第4層以上

• 語言模型的物理學：第3.3部分，知識能力縮放定律
• 速度和機器學習的權力法趨勢
• 縮放單位強化學習法律
• 超越神經縮放法律：通過數據修剪擊敗功率定律縮放
• 大型語言模型的緊急能力
• 棋盤遊戲擴大規律法律

AI安全

層1

• 機器智能的三個影響
• 失敗是什麼樣的
• 沒有特定的對策，最簡單的變革性AI的途徑可能導致AI接管

第2層

• 災難性AI風險的概述
• 澄清“失敗是什麼樣”（第1部分）
• 來自人類偏好的深度RL
• 從深度學習的角度來對齊問題

層3

• 示意AIS：AIS在訓練過程中是否假裝對齊才能獲得權力？
• 測量大型語言模型可擴展監督的進度
• 高級機器學習系統中學習優化的風險
• 通過獎勵建模可擴展的代理對齊

第4層以上

• AI欺騙：對例子，風險和潛在解決方案的調查
• 用於檢測測量篡改的基準
• 國際象棋作為AI安全方法的測試理由
• 將大門關閉到不人道的未來：我們如何以及為什麼選擇不發展超人通用人工智能
• 極端風險的模型評估
• 負責任的Frontier AI開發報告
• 安全案例：如何證明高級AI系統的安全性
• 臥舖代理：訓練通過安全培訓持續存在的欺騙性LLM
• 技術報告：大語言模型可以在壓力下策略性地欺騙用戶
• 張量信任：在線遊戲的可解釋的提示注射攻擊
• 驗證神經模型的訓練數據的工具
• 邁向具有收斂安全界限的謹慎的科學家AI
• 語言代理的一致
• 引起潛在知識
• 紅色小組語言模型以減少危害：方法，縮放行為和經驗教訓
• 用語言模型的紅色小組語言模型
• ML安全中未解決的問題

經濟和社會影響

層3

• AI自動化的爆炸性增長：對論點的評論
• 語言模型可以減少信息市場中的不對稱性

第4層以上

• 橋接人類知識差距：概念發現和轉移alphazero
• 基礎模型和合理使用
• GPT是GPT：早期觀察勞動力市場的影響大語模型的潛力
• AGI的水平：在AGI的道路上操作進度
• LLM的機會和風險與Polis進行可擴展的審議
• 關於基礎模型的機會和風險

哲學

第2層

• 意思沒有大語言模型中沒有參考

第4層以上

• 人工智能中的意識：意識科學的見解
• 哲學家應該發展，理論化並使用哲學上相關的AI
• 使用自我報告評估AI系統的道德狀況

維護者

[email protected]