Production Level Deep Learning下载 - Production Level Deep Learning源代码下载

Production Level Deep Learning

其他源码

1.0.0

下载

生产水平深度学习指南？ ⛴️

？中文翻译

？新：机器学习采访

注意：此存储库处于连续的发展，所有反馈和贡献都非常欢迎？

在生产中部署深度学习模型可能具有挑战性，因为它远远超出了具有良好性能的培训模型。为了部署生产水平深度学习系统（如下），需要设计和开发几种不同的组件：

该回购旨在成为建立生产级深度学习系统的工程指南，该系统将部署在现实世界应用中。

此处介绍的材料是从完整的堆栈深度学习训练营中借来的（由UC Berkeley的Pieter Abbeel，OpenAI的Josh Tobin，Turnitin的Sergey Karayev），THITITIN的Sergey Karayev），Robert Crowe的TFX Workshop，以及Pipeline.ai的Advanced.iai的Advanced KubeFlow Meetup。

机器学习项目

乐趣？事实： 85％的AI项目失败。 ^1个潜在原因包括：

技术上不可行或范围不佳
永远不要飞跃生产
不清楚的成功标准（指标）
团队管理不佳

1。ML项目生命周期

了解您领域中艺术状态的重要性：
- 帮助了解什么可能
- 帮助知道接下来要做什么

2。ML项目的心理模型

定义和确定ML项目时需要考虑的两个重要因素：

高影响力：
- 管道的复杂部分
- “廉价预测”很有价值
- 自动化复杂的手动过程很有价值的地方
低成本：
- 成本是由：
  - 数据可用性
  - 绩效要求：成本倾向于按准确性要求超级线性扩展
  - 问题困难：
    - 一些严重的问题包括：无监督的学习，强化学习和某些监督学习

完整的堆栈管道

下图代表了生产水平深度学习系统中不同组件的高级概述：

在下文中，我们将浏览每个模块，并推荐适合每个组件的从业者的工具集和框架以及最佳实践。

1。数据管理

1.1数据源

监督深度学习需要大量标记的数据
标记自己的数据是昂贵的！
以下是一些数据资源：
- 开源数据（从一开始，但不是优势）
- 数据增强（用于计算机视觉的必须，NLP的选项）
- 合成数据（几乎总是值得从NLP中开始）

1.2数据标记

要求：单独的软件堆栈（标签平台），临时人工和QC
标签的劳动来源：
- 众包（机械土耳其人）：便宜且可扩展，可靠性，需要QC
- 雇用自己的注释者：少量QC，昂贵，扩展缓慢
- 数据标签服务公司：
  - 图
标签平台：
- Diffgram：培训数据软件（计算机视觉）
- 神童：由主动学习提供支持的注释工具（由Spacy的开发人员），文本和图像
- Hive：AI作为计算机视觉的服务平台
- 主管：整个计算机视觉平台
- 标签框：计算机视觉
- 缩放AI数据平台（计算机视觉和NLP）

1.3。数据存储

数据存储选项：
- 对象存储：存储二进制数据（图像，声音文件，压缩文本）
  - 亚马逊S3
  - CEPH对象存储
- 数据库：存储元数据（文件路径，标签，用户活动等）。
  - Postgres是大多数应用程序的正确选择，具有一流的SQL和对非结构化JSON的大力支持。
- 数据湖：要从数据库中获得的汇总特征（例如日志）
  - 亚马逊红移
- 功能商店：商店，访问和共享机器学习功能（提取功能在计算上可能很昂贵，并且几乎无法扩展，因此，不同型号和团队重复使用功能是高性能ML团队的关键）。
  - 盛宴（Google Cloud，开源）
  - 米开朗基罗调色板（Uber）
建议：在培训时，将数据复制到本地或网络文件系统（NFS）中。 ¹

1.4。数据版本

这是部署的ML模型的“必须”：
部署的ML模型是部分代码，部分数据。 ¹没有数据版本指导意味着没有模型版本操作。
数据版权平台：
- DVC：用于ML项目的开源版本控制系统
- Pachyderm：数据的版本控制
- DOLT：具有类似GIT的SQL数据库，用于数据和模式

1.5。数据处理

生产模型的培训数据可能来自不同的来源，包括在数据库和对象存储中存储的数据，日志处理以及其他分类器的输出。
任务之间存在依赖关系，每个任务的依赖项完成后都需要启动。例如，对新日志数据进行培训，需要在培训之前采取预处理步骤。
makefiles不可扩展。在这方面，“工作流管理器”变得非常重要。
工作流编排：
- 路易吉（Luigi）由Spotify
- Airbnb的气流：动态，可扩展，优雅且可扩展（最广泛使用）
  - DAG工作流程
  - 有条件执行：在失败时重试
  - 推动器用TensorFlow服务支持Docker图像
  - 一个.py文件中的整个工作流程

2。开发，培训和评估

2.1。软件工程

优胜者语言：Python
编辑：
- vim
- emacs
- VS代码（作者推荐）：内置git登台和差异，棉绒代码，通过SSH远程打开项目
- 笔记本：很难扩展项目的起点（有趣的事实：Netflix的笔记本驱动的架构是一个例外，完全基于NTERACT套件）。
  - NTERACT：jupyter笔记本的下一代基于React的UI
  - Papermill：是一个用于参数化，执行和分析Jupyter笔记本的NTERACT库。
  - 通勤者：另一个NTERACT项目，可提供笔记本的仅阅读显示（例如S3存储桶）。
- 简化：与小程序的交互式数据科学工具
计算建议¹ ：
- 对于个人或初创企业：
  - 开发：4倍图灵体系结构PC
  - 培训/评估：使用相同的4X GPU PC。运行许多实验时，要么购买共享服务器或使用云实例。
- 对于大公司：
  - 开发：每毫升科学家购买4倍的图灵架构PC，或者让他们使用V100实例
  - 培训/评估：使用适当的供应和处理失败的云实例
云提供商：
- GCP：将GPU连接到任何实例 +具有TPU的选项
- AWS：

2.2。资源管理

将免费资源分配给程序
资源管理选项：
- 老派集群工作调度程序（例如Slurm Workload Manager）
- Docker + Kubernetes
- kubeflow
- polyaxon（付费功能）

2.3。 DL框架

除非有充分的理由不，请使用Tensorflow/keras或pytorch。 ¹
下图显示了不同框架与它们如何代表“发展”和“生产”的比较。

2.4。实验管理

发展，培训和评估策略：
- 始终开始简单
  - 在小批次上训练小型模型。只有在起作用的情况下，才能扩展到较大的数据和模型，以及高参数调整！
- 实验管理工具：
- 张板
  - 提供ML实验所需的可视化和工具
- 损失（监视ML）
- 彗星：让您在ML项目上跟踪代码，实验和结果
- 体重与偏见：通过简单的协作记录和可视化研究的每个细节
- MLFlow跟踪：用于记录参数，代码版本，指标和输出文件以及结果的可视化。
  - 使用Python中的一行代码进行自动实验跟踪
  - 并排比较实验
  - 超级参数调整
  - 支持基于Kubernetes的工作

2.5。高参数调整

方法：
- 网格搜索
- 随机搜索
- 贝叶斯优化
- 超频带和异步连续减半算法（ASHA）
- 基于人群的培训
平台：
- Raytune：Ray Tune是一个python库，用于在任何规模上进行超参数调整（重点是深度学习和深度强化学习）。支持任何机器学习框架，包括Pytorch，XGBoost，MXNET和KERAS。
- Katib：Kubernete的原生参数调整和神经体系结构搜索系统，灵感来自[Google Vizier]（https://static.googleusercontent.com/media/ BCB15507F4B52991A0783013DF4222240E942381.PDF）并支持多个ML/DL框架（例如Tensorflow，Mxnet和Pytorch）。
- Hyperas：围绕HyperOPT的简单包装器，用于Keras，带有简单的模板符号来定义高参数范围来调整。
- Sigopt：可扩展的企业级优化平台
- 从[weights＆偏见]扫描（https://www.wandb.com/）：开发人员未明确指定参数。相反，它们是通过机器学习模型近似和学习的。
- KERAS调谐器：针对KERAS的高参数调谐器，专门针对具有Tensorflow 2.0的TF.Keras。

2.6。分布式培训

数据并行性：当迭代时间太长时使用它（Tensorflow和Pytorch支持）
- 射线分布式培训
模型并行性：当模型不适合单个GPU时
其他解决方案：
- Horovod

3。故障排除[TBD]

4。测试和部署

4.1。测试和CI/CD

与传统软件相比，机器学习生产软件需要更多样化的测试套件：

单位和集成测试：
- 测试类型：
  - 训练系统测试：测试培训管道
  - 验证测试：验证集的测试预测系统
  - 功能测试：在几个重要示例上测试预测系统
连续集成：将每个新代码更改推向回购后运行测试
持续整合的SaaS：
- Argo：开源Kubernetes本地工作流程引擎，用于协调并行工作（启动工作流，活动，CI和CD）。
- CircleCi：包括语言支持，自定义环境，灵活资源分配，由Instacart，Lyft和StackShare使用。
- 特拉维斯CI
- buildkite：快速，稳定的构建，开源代理几乎在任何机器和架构上运行，使用您自己的工具和服务的自由
- 詹金斯：旧学校建造系统

4.2。 Web部署

由预测系统和服务系统组成
- 预测系统：过程输入数据，做出预测
- 服务系统（Web服务器）：
  - 牢记
  - 使用REST API服务预测HTTP请求
  - 调用预测系统响应
服务选项：
- 1. 部署到VM，通过添加实例扩展
- 1. 部署为容器，通过编排扩展
  - 容器
    - Docker
  - 集装箱编排：
    - Kubernetes（现在最受欢迎）
    - Mesos
    - 马拉松
- 1. 将代码部署为“无服务器功能”
- 1. 通过模型服务解决方案部署
模型服务：
- ML模型的专门Web部署
- 批次请求GPU推断
- 框架：
  - TensorFlow服务
  - MXNET模型服务器
  - 快船（伯克利）
  - SaaS解决方案
    - 塞尔登：在Kubernetes上的任何框架中建立的服务和规模模型
    - 算法
决策：CPU或GPU？
- CPU推论：
  - 如果CPU推断符合要求，则最好。
  - 通过添加更多服务器或无服务器来扩展。
- GPU推论：
  - TF服务或快船
  - 自适应批处理很有用
（奖励）部署jupyter笔记本：
- KubeFlow Arigring是一个混合部署软件包，可以让您部署Jupyter笔记本电脑代码！