annotated_deep_learning_paper_implementations

Labml.AI深度学习论文实施

这是神经网络和相关算法的简单Pytorch实现的集合。这些实现记录了解释，

该网站将其作为并排格式的注释提供。我们相信这些将帮助您更好地理解这些算法。

我们几乎每周都会积极维护此仓库并添加新的实现。用于更新。

纸张实施

变压器

• 多头注意
• 变压器构建块
• 变压器XL
  • 相对多头注意
• 旋转位置嵌入
• 线性偏见（alibi）的注意
• 复古的
• 压缩变压器
• GPT体系结构
• GLU变体
• KNN-LM：通过记忆的概括
• 反馈变压器
• 开关变压器
• 快速重量变压器
• fnet
• 无注意变压器
• 蒙版语言模型
• MLP混合：视觉的全MLP体系结构
• 注意MLP（GMLP）
• 视觉变压器（VIT）
• 底漆EZ
• 滴漏

低级适应（Lora）

Eleuther gpt-neox

• 生成48GB GPU
• 两个48GB GPU上的芬太纳
• llm.int8（）

扩散模型

• 降级扩散概率模型（DDPM）
• 剥离扩散隐式模型（DDIM）
• 潜在扩散模型
• 稳定的扩散

生成对抗网络

• 原始甘
• 带有深度卷积网络的gan
• 循环
• Wasserstein Gan
• Wasserstein gan受到坡度罚款
• Stylegan 2

经常性高速公路网络

LSTM

HyperNetworks -HyperLSTM

重新连接

Convmixer

胶囊网络

U-net

草图RNN

图神经网络

• 图表网络（GAT）
• Graph Coadisnect网络V2（GATV2）

反事实遗憾最小化（CFR）

用不完整的信息解决游戏，例如使用CFR扑克。

• 库恩扑克

强化学习

• 近端策略优化和广义优势估计
• 带有决斗网络，优先重播和双Q网络的深Q网络。

优化器

• 亚当
• Amsgrad
• 热身的亚当优化器
• NOAM优化器
• 整流的Adam优化器
• Anbelief Optimizer
• Sophia-G Optimizer

归一化层

• 批量归一化
• 层归一化
• 实例归一化
• 组归一化
• 体重标准化
• 批量通道的归一化
• 深处

蒸馏

自适应计算

• 庞德涅特

不确定

• 证据深度学习以量化分类不确定性

激活

• 模糊的瓷砖激活

Langauge模型采样技术

• 贪婪抽样
• 温度采样
• TOP-K采样
• 核采样

可扩展的培训/推理

• Zero3内存优化

安装

pip install labml-nn