machine learning list

引起机器学习阅读清单

目的

该课程的目的是帮助新的启发员工学习机器学习的背景，重点是语言模型。我试图在论文之间取得平衡，这些论文与在生产中部署ML有关的论文和有关长期可扩展性重要的技术。

如果您还不在InItic工作 - 我们正在雇用ML和软件工程师。

如何阅读

推荐阅读顺序：

1. 阅读所有主题的“ 1层”
2. 阅读所有主题的“ tier 2”
3. ETC

在2024/4/1之后添加

目录

• 基本面
  • 机器学习简介
  • 变压器
  • 关键基础模型体系结构
  • 培训和填充
• 推理和运行时策略
  • 在上下文推理
  • 任务分解
  • 辩论
  • 工具使用和脚手架
  • 诚实，事实和认识论
• 申请
  • 科学
  • 预测
  • 搜索和排名
• ML实践
  • 生产部署
  • 基准
  • 数据集
• 高级主题
  • 世界模式和因果关系
  • 规划
  • 不确定性，校准和主动学习
  • 可解释性和模型编辑
  • 强化学习
• 大局
  • AI缩放
  • AI安全
  • 经济和社会影响
  • 哲学
• 维护者

基本面

机器学习简介

层1

• 机器学习的简短介绍
• 但是什么是神经网络？
• 梯度下降，神经网络如何学习

第2层

• 直观的理解反向传播
• 反向传播的确在做什么？
• 深入增强学习的简介

层3

• 神经网络和反向传播的拼写介绍：构建微电磁
• 反向传播计算

变压器

层1

• 但是什么是GPT？变压器的视觉介绍
• 视觉解释在变压器中的注意力
• 注意力？注意力！
• 插图的变压器
• 插图的GPT-2（可视化变压器语言模型）

第2层

• 让我们构建GPT令牌机
• 神经机器翻译通过共同学习对齐和翻译
• 带注释的变压器
• 注意就是您所需要的

层3

• 对更快，更轻的变压器的实用调查
• TABPFN：在第二秒钟解决小型表格分类问题的变压器
• Grokking：在小算法数据集上超越过度拟合的概括
• 变压器电路的数学框架

第4层以上

• 自回旋变压器的组成能力：一项关于合成，可解释任务的研究
• 记忆变压器
• 变压器进纸层是钥匙值记忆

关键基础模型体系结构

层1

• 语言模型是无监督的多任务学习者（GPT-2）
• 语言模型是很少的学习者（GPT-3）

第2层

• 美洲驼：开放有效的基础语言模型（Llama）
• 有效地用结构化状态空间（视频）（S4）对长序列进行有效建模
• 使用统一的文本到文本变压器（T5）探索转移学习的限制
• 评估经过代码培训的大型语言模型（OpenAI Codex）
• 培训语言模型以人为反馈（OpenAI指示）遵循指示

层3

• Mistral 7b（Mistral）
• 专家混合（混合）
• 双子座：一个高度强大的多模型的家族（双子座）
• MAMBA：具有选择性状态空间（MAMBA）的线性时间序列建模
• 缩放指导说明语言模型（FLAN）

第4层以上

• 一致性模型
• Claude模型的型号和评估（Claude 2）
• Olmo：加速语言模型的科学
• Palm 2技术报告（Palm 2）
• 教科书就是您所需要的II：PHI-1.5技术报告（PHI 1.5）
• 视觉教学调整（LLAVA）
• 通用语言助理作为对齐实验室的
• 填充语言模型是零拍的学习者（Google指示）
• Galactica：科学的大语言模型
• LAMDA：对话应用程序的语言模型（Google对话框）
• OPT：开放训练预训练的变压器语言模型（Meta GPT-3）
• 棕榈：使用途径（棕榈）的缩放语言建模
• 与大语言模型的程序合成（Google Codex）
• 缩放语言模型：训练Gopher（Gopher）的方法，分析和见解
• 解决语言模型的定量推理问题（密涅瓦）
• UL2：统一语言学习范例（UL2）

培训和填充

第2层

• 张量程序V：通过零射击超参数转移调整大型神经网络
• 学习总结人类反馈
• 培训验证者以解决数学单词问题

层3

• 具有人类偏好的训练语言模型
• 弱到紧密的概括：通过弱监督引起强大的能力
• 与内在的学习相比，很少有参数效率的微调更好，更便宜
• 洛拉：大语言模型的低排名
• 仅使用生成语言模型的无监督神经机器翻译

第4层以上

• 超越人类数据：通过语言模型来扩展解决问题的自我训练
• 通过自然语言反馈来改善代码生成
• 语言建模是压缩
• 利马：更少的是对齐
• 学习用要点令牌压缩提示
• 中间丢失：语言模型如何使用长上下文
• QLORA：量化LLM的有效填充
• 安静的明星：语言模型可以在说话之前自我思考
• 加强语言建模的自我训练（REST）
• 解决没有人类示范的奥林匹克几何形状
• 告诉，不要显示：声明性事实会影响LLM的概括如何
• 教科书就是您所需要的
• 微小的故事：语言模型可以说很小而仍然说英语连贯的英语？
• 培训语言模型具有大规模的语言反馈
• 图灵完整的变压器：两个变压器比一个变压器更强大
• BYT5：迈向具有预训练字节模型的无令牌未来
• 数据分布属性驱动变压器中出现的秘密学习
• 扩散LM改善可控文本生成
• Ernie 3.0：大规模知识增强了语言理解和产生的预训练
• 有效培训语言模型以填补中间
• EXT5：走向转移学习的极端多任务缩放
• 前缀调整：优化发电的连续提示
• 数据点之间的自我注意：超越深度学习中的单个投入输出对
• 带有提示的真实数量学习 - 现实世界的观点

推理和运行时策略

在上下文推理

第2层

• 思想链促使人们在大语言模型中引发推理
• 大型语言模型是零拍的推理器（让我们逐步思考）
• 自谐情绪改善了语言模型中的思想推理链

层3

• 无需提示的基础推理链
• 为什么要逐步考虑？推理从经验的当地出现

第4层以上

• Baldur：大型语言模型的全部防护和维修
• 偏见的一致性培训减少了思想链中的偏见推理
• 使用语言模型认证的推理
• 假设搜索：使用语言模型的归纳推理
• LLMS和抽象和推理语料库：成功，失败和基于对象表示的重要性
• 大型语言模型还不能自我纠正推理
• 搜索流（SOS）：学习语言搜索
• 通过潜在的推理进行训练链
• 重新思考示范的作用：是什么使内在的学习工作？
• 表面竞争：为什么最高概率答案并不总是正确的

任务分解

层1

• 监督过程，而不是结果
• 通过扩大弱专家来监督强大的学习者

第2层

• 思想树：大型语言模型的故意解决问题
• 考虑认知
• 迭代蒸馏和扩增
• 递归用人类反馈总结书籍
• 通过基于过程和基于结果的反馈解决数学单词问题

层3

• 验证验证：检测和减少学术论文摘要中的幻觉
• 使用大型语言模型的忠实推理
• 人类咨询HCH
• 迭代分解：通过监督推理过程改善科学问答
• 语言模型级联

第4层以上

• 脱皮化：使句子独立
• 考虑了认知底漆
• 思想图：解决大型语言模型的详尽问题
• Parsel：算法推理的统一自然语言框架
• 人工智能链：通过链接大语言模型提示，透明且可控制的人类互动
• 具有挑战性的大台任务，以及经过思考的链条能否解决这些问题
• 一次评估论点一次
• 最小一是提示可以在大语言模型中实现复杂的推理
• Maieutic提示：逻辑上一致的推理和递归解释
• 测量和缩小语言模型中的组成差距
• PAL：程序辅助语言模型
• 反应：在语言模型中协同推理和作用
• 选择推导：利用大型语言模型用于可解释的逻辑推理
• 显示您的作品：用于与语言模型中间计算的刮擦板
• sump^n：长输入对话和文档的多阶段摘要框架
• Thinksum：使用大语言模型的概率推理超过集合

辩论

第2层

• AI安全通过辩论

层3

• 辩论有助于监督不可靠的专家
• 两转的辩论并没有帮助人类回答艰难的阅读理解问题

第4层以上

• 可扩展的AI安全性通过双重效率辩论
• 通过多种辩论改善语言模型中的事实和推理

工具使用和脚手架

第2层

• 测量训练后增强的影响
• WebGPT：通过人类反馈的浏览器协助提问

层3

• 无需昂贵的重新培训就可以显着提高AI功能
• 具有语言模型的自动统计模型发现

第4层以上

• DSPY：汇编声明语言模型将其调用到自我改善管道中
• 提示烧：通过迅速发展的自我指导自我完善
• 自学成才的优化器（Stop）：递归自我提高代码生成
• Voyager：具有大语言模型的开放式体现代理
• 富豪：重构程序以发现可概括的抽象

诚实，事实和认识论

第2层

• 用于协助人类评估者的自我调查模型

层3

• 语言模型令人信服的是什么证据？
• 如何通过提出无关的问题来捕获AI骗子：在黑盒LLM中检测到谎言

第4层以上

• 语言模型并不总是说出他们的想法：经过思考链中的不忠解释
• 大语言模型中的长期事实

申请

科学

层3

• 大型语言模型可以提供有关研究论文的有用反馈吗？大规模的经验分析
• 大型语言模型编码临床知识
• 大语模型对科学发现的影响：使用GPT-4的初步研究
• 在研究论文中锚定的信息 - 寻求问题和答案的数据集

第4层以上

• 通才基础模型可以胜过特殊实用的调整吗？医学案例研究
• Nougat：学术文献的神经光学理解
• SCIM：聪明的掠夺科学论文支持
• Synergpt：针对个性化药物协同预测和药物设计的文本学习
• 通过大型语言模型进行准确的鉴别诊断
• 朝着人类和机器的科学理解的基准迈进
• 发现科学挑战和方向的搜索引擎
• 使用自动化工具在2周内完成了完整的系统审查：案例研究
• 事实或小说：验证科学主张
• 多XSCIENCE：一个大型数据集，用于极端多文件摘要的科学文章
• 同行：一种协作语言模型
• PubMedQA：生物医学研究问题的数据集回答
• SCICO：科学概念的等级跨文档核心
• Scitail：科学问题回答的文本需要数据集

预测

层3

• ai aigment的预测：LLM助手提高了人类的预测准确性
• 通过语言模型接近人级预测
• 变压器有效时间序列预测吗？
• 通过神经网络预测未来的世界活动

搜索和排名

第2层

• 大规模学习短语的密集表示
• 对比预训练（OpenAI嵌入）的文本和代码嵌入

层3

• 大型语言模型是具有成对排名提示的有效文本排名者
• 并非所有矢量数据库都是平等的
• 领域：检索语言模型预训练
• 用于知识密集型NLP任务的检索生成一代
• 通过说明的任务感知检索

第4层以上

• Rankzephyr：有效且稳健的零照片listwise Reranking轻而易举！
• IR评估中的一些常见错误，以及如何避免它们
• 与交互式代理一起增强搜索引擎
• 科尔伯特：通过上下文化的晚期互动，有效有效地搜索伯特
• 超越下游任务准确性以获取信息检索基准测试
• UnifiedQA：与单个质量检查系统的跨越格式边界

ML实践

生产部署

层1

• Python中的机器学习：数据科学，机器学习和AI的主要发展和技术趋势
• 机器学习：技术债务的高利息信用卡

第2层

• 设计数据密集型应用程序
• 培训神经网络的食谱

基准

第2层

• GPQA：研究生级的Google-Progron-Pox-Peark Ab A-A
• SWE-Bench：语言模型可以解决现实世界中的问题吗？
• 真实性：测量模型如何模仿人类的虚假性

层3

• Flex：统一评估NLP
• 语言模型的整体评估（Helm）
• 测量大量的多任务语言理解
• 木筏：现实世界中的几个示波文本分类基准
• 使用语言模型的真实数量学习

第4层以上

• 盖亚：通用AI助手的基准
• 条件：有条件答案的复杂阅读理解数据集
• 使用数学数据集测量数学问题解决
• 质量：用长输入文本回答问题，是的！
• 卷轴：长语言序列的标准化比较
• 在自然语言理解中修复基准需要什么？

数据集

第2层

• 常见的爬网
• 堆：一个800GB的不同文本数据集用于语言建模

层3

• 对话框介绍：将文档转换为对话框
• 马可女士：人类生成的机器阅读理解数据集
• 微软学术图
• TLDR9+：一个大规模的社交媒体帖子的极端总结

高级主题

世界模式和因果关系

层3

• 新兴世界表示：探索经过合成任务的序列模型
• 从单词模型到世界模型：从自然语言转换为思想的概率语言
• 语言模型代表空间和时间

第4层以上

• 在大语言模型中摊销棘手的推断
• Cladder：在语言模型中评估因果推理
• 因果贝叶斯优化
• 因果推理和大型语言模型：为因果关系开放新的领域
• 生成代理：人类行为的互动模拟
• 被动学习代理和语言模型中的主动因果策略

规划

第4层以上

• 除了A*：通过搜索动力学引导与变压器进行更好的计划
• 语言代理的认知体系结构

不确定性，校准和主动学习

第2层

• 专家不作弊：通过预测对学习您不知道的知识
• 深度学习中贝叶斯不确定性的简单基线
• PLEX：使用预估计的大型扩展的可靠性

层3

• 使用语言模型和概率推理的主动偏好推断
• 通过语言模型引起人类的偏好
• 通过获取对比示例积极学习
• 用自然语言描述文本分布之间的差异
• 教学模型以表达他们的不确定性

第4层以上

• 用自然语言和概率推理进行实验和修改规则
• 星际盖特：教授语言模型以提出澄清的问题
• 主动测试：样品高效的模型评估
• 语言奖励模型的不确定性估计

可解释性和模型编辑

第2层

• 在没有监督的情况下发现语言模型中的潜在知识

层3

• 大规模的可解释性：识别羊驼的因果机制
• 机械师分析微调对程序定义任务的影响
• 代表工程：AI透明度的自上而下的方法
• 通过影响功能研究大型语言模型的概括
• 野外解释性：GPT-2小的间接对象识别电路

第4层以上

• 代码手册功能：神经网络的稀疏和离散的解释性
• 通过调谐镜头从变压器中引起潜在预测
• 语言模型如何在上下文中绑定实体？
• 打开AI黑匣子：通过机械解释性综合程序
• 稀疏特征电路：在语言模型中发现和编辑可解释的因果图
• 在变压器中揭示MESA优化算法
• 快速模型编辑
• git re-basin：合并模型模型置换对称性
• 在GPT中找到和编辑事实协会
• 变压器中的质量编辑记忆

强化学习

第2层

• 直接偏好优化：您的语言模型是秘密的奖励模型
• 反射：语言加强学习的语言代理商
• 通过自我游戏掌握国际象棋和Shogi，并使用一般的增强学习算法（Alphazero）
• Muzero：通过学习模型来掌握Atari，Go，棋子和Shogi

层3

• 从人类反馈中学习的开放问题和强化学习的根本局限性
• Alphastar：掌握实时策略游戏星际争霸II
• 决策变压器
• 用有限的数据掌握Atari游戏（EfficityZero）
• 掌握Stratego，经典的不完美信息游戏（Deepnash）

第4层以上

• Alphastar未插头：大规模的离线增强学习
• 贝叶斯加固学习有限的认知负荷
• 对比性良心学习：从没有RL的人类反馈中学习
• 大师级国际象棋无需搜索
• 一种学习控制计算机的数据驱动方法
• 在Alphazero中获取国际象棋知识
• 游戏玩家
• 检索授权的增强学习

大局

AI缩放

层1

• 神经语言模型的缩放法律
• 起飞速度
• 痛苦的教训

第2层

• AI和计算
• 缩放法律的转移法律
• 培训计算最佳的大语言模型（Chinchilla）

层3

• 大型语言模型的紧急能力
• 超越缩放定律具有0.1％的额外计算（U-PALM）

第4层以上

• 语言模型的物理学：第3.3部分，知识能力缩放定律
• 速度和机器学习的权力法趋势
• 缩放单位强化学习法律
• 超越神经缩放法律：通过数据修剪击败功率定律缩放
• 大型语言模型的紧急能力
• 棋盘游戏扩大规律法律

AI安全

层1

• 机器智能的三个影响
• 失败是什么样的
• 没有特定的对策，最简单的变革性AI的途径可能导致AI接管

第2层

• 灾难性AI风险的概述
• 澄清“失败是什么样”（第1部分）
• 来自人类偏好的深度RL
• 从深度学习的角度来对齐问题

层3

• 示意AIS：AIS在训练过程中是否假装对齐才能获得权力？
• 测量大型语言模型可扩展监督的进度
• 高级机器学习系统中学习优化的风险
• 通过奖励建模可扩展的代理对齐

第4层以上

• AI欺骗：对例子，风险和潜在解决方案的调查
• 用于检测测量篡改的基准
• 国际象棋作为AI安全方法的测试理由
• 将大门关闭到不人道的未来：我们如何以及为什么选择不发展超人通用人工智能
• 极端风险的模型评估
• 负责任的Frontier AI开发报告
• 安全案例：如何证明高级AI系统的安全性
• 卧铺代理：训练通过安全培训持续存在的欺骗性LLM
• 技术报告：大语言模型可以在压力下策略性地欺骗用户
• 张量信任：在线游戏的可解释的提示注射攻击
• 验证神经模型的训练数据的工具
• 迈向具有收敛安全界限的谨慎的科学家AI
• 语言代理的一致
• 引起潜在知识
• 红色小组语言模型以减少危害：方法，缩放行为和经验教训
• 用语言模型的红色小组语言模型
• ML安全中未解决的问题

经济和社会影响

层3

• AI自动化的爆炸性增长：对论点的评论
• 语言模型可以减少信息市场中的不对称性

第4层以上

• 桥接人类知识差距：概念发现和转移alphazero
• 基础模型和合理使用
• GPT是GPT：早期观察劳动力市场的影响大语模型的潜力
• AGI的水平：在AGI的道路上操作进度
• LLM的机会和风险与Polis进行可扩展的审议
• 关于基础模型的机会和风险

哲学

第2层

• 意思没有大语言模型中没有参考

第4层以上

• 人工智能中的意识：意识科学的见解
• 哲学家应该发展，理论化并使用哲学上相关的AI
• 使用自我报告评估AI系统的道德状况

维护者

[email protected]