Production Level Deep Learning下載 - Production Level Deep Learning源代碼下載

Production Level Deep Learning

其他源碼

1.0.0

下載

生產水平深度學習指南？ ⛴️

？中文翻譯

？新：機器學習採訪

注意：此存儲庫處於連續的發展，所有反饋和貢獻都非常歡迎？

在生產中部署深度學習模型可能具有挑戰性，因為它遠遠超出了具有良好性能的培訓模型。為了部署生產水平深度學習系統（如下），需要設計和開發幾種不同的組件：

該回購旨在成為建立生產級深度學習系統的工程指南，該系統將部署在現實世界應用中。

此處介紹的材料是從完整的堆棧深度學習訓練營中藉來的（由UC Berkeley的Pieter Abbeel，OpenAI的Josh Tobin，Turnitin的Sergey Karayev），THITITIN的Sergey Karayev），Robert Crowe的TFX Workshop，以及Pipeline.ai的Advanced.iai的Advanced KubeFlow Meetup。

機器學習項目

樂趣？事實： 85％的AI項目失敗。 ^1個潛在原因包括：

技術上不可行或範圍不佳
永遠不要飛躍生產
不清楚的成功標準（指標）
團隊管理不佳

1。ML項目生命週期

了解您領域中藝術狀態的重要性：
- 幫助了解什麼可能
- 幫助知道接下來要做什麼

2。ML項目的心理模型

定義和確定ML項目時需要考慮的兩個重要因素：

高影響力：
- 管道的複雜部分
- “廉價預測”很有價值
- 自動化複雜的手動過程很有價值的地方
低成本：
- 成本是由：
  - 數據可用性
  - 績效要求：成本傾向於按準確性要求超級線性擴展
  - 問題困難：
    - 一些嚴重的問題包括：無監督的學習，強化學習和某些監督學習

完整的堆棧管道

下圖代表了生產水平深度學習系統中不同組件的高級概述：

在下文中，我們將瀏覽每個模塊，並推薦適合每個組件的從業者的工具集和框架以及最佳實踐。

1。數據管理

1.1數據源

監督深度學習需要大量標記的數據
標記自己的數據是昂貴的！
以下是一些數據資源：
- 開源數據（從一開始，但不是優勢）
- 數據增強（用於計算機視覺的必須，NLP的選項）
- 合成數據（幾乎總是值得從NLP中開始）

1.2數據標記

要求：單獨的軟件堆棧（標籤平台），臨時人工和QC
標籤的勞動來源：
- 眾包（機械土耳其人）：便宜且可擴展，可靠性，需要QC
- 僱用自己的註釋者：少量QC，昂貴，擴展緩慢
- 數據標籤服務公司：
  - 圖
標籤平台：
- Diffgram：培訓數據軟件（計算機視覺）
- 神童：由主動學習提供支持的註釋工具（由Spacy的開發人員），文本和圖像
- Hive：AI作為計算機視覺的服務平台
- 主管：整個計算機視覺平台
- 標籤框：計算機視覺
- 縮放AI數據平台（計算機視覺和NLP）

1.3。數據存儲

數據存儲選項：
- 對象存儲：存儲二進制數據（圖像，聲音文件，壓縮文本）
  - 亞馬遜S3
  - CEPH對象存儲
- 數據庫：存儲元數據（文件路徑，標籤，用戶活動等）。
  - Postgres是大多數應用程序的正確選擇，具有一流的SQL和對非結構化JSON的大力支持。
- 數據湖：要從數據庫中獲得的匯總特徵（例如日誌）
  - 亞馬遜紅移
- 功能商店：商店，訪問和共享機器學習功能（提取功能在計算上可能很昂貴，並且幾乎無法擴展，因此，不同型號和團隊重複使用功能是高性能ML團隊的關鍵）。
  - 盛宴（Google Cloud，開源）
  - 米開朗基羅調色板（Uber）
建議：在培訓時，將數據複製到本地或網絡文件系統（NFS）中。 ¹

1.4。數據版本

這是部署的ML模型的“必須”：
部署的ML模型是部分代碼，部分數據。 ¹沒有數據版本指導意味著沒有模型版本操作。
數據版權平台：
- DVC：用於ML項目的開源版本控制系統
- Pachyderm：數據的版本控制
- DOLT：具有類似GIT的SQL數據庫，用於數據和模式

1.5。數據處理

生產模型的培訓數據可能來自不同的來源，包括在數據庫和對象存儲中存儲的數據，日誌處理以及其他分類器的輸出。
任務之間存在依賴關係，每個任務的依賴項完成後都需要啟動。例如，對新日誌數據進行培訓，需要在培訓之前採取預處理步驟。
makefiles不可擴展。在這方面，“工作流管理器”變得非常重要。
工作流編排：
- 路易吉（Luigi）由Spotify
- Airbnb的氣流：動態，可擴展，優雅且可擴展（最廣泛使用）
  - DAG工作流程
  - 有條件執行：在失敗時重試
  - 推動器用TensorFlow服務支持Docker圖像
  - 一個.py文件中的整個工作流程

2。開發，培訓和評估

2.1。軟件工程

優勝者語言：Python
編輯：
- vim
- emacs
- VS代碼（作者推薦）：內置git登台和差異，棉絨代碼，通過SSH遠程打開項目
- 筆記本：很難擴展項目的起點（有趣的事實：Netflix的筆記本驅動的架構是一個例外，完全基於NTERACT套件）。
  - NTERACT：jupyter筆記本的下一代基於React的UI
  - Papermill：是一個用於參數化，執行和分析Jupyter筆記本的NTERACT庫。
  - 通勤者：另一個NTERACT項目，可提供筆記本的僅閱讀顯示（例如S3存儲桶）。
- 簡化：與小程序的交互式數據科學工具
計算建議¹ ：
- 對於個人或初創企業：
  - 開發：4倍圖靈體系結構PC
  - 培訓/評估：使用相同的4X GPU PC。運行許多實驗時，要么購買共享服務器或使用雲實例。
- 對於大公司：
  - 開發：每毫昇科學家購買4倍的圖靈架構PC，或者讓他們使用V100實例
  - 培訓/評估：使用適當的供應和處理失敗的雲實例
雲提供商：
- GCP：將GPU連接到任何實例 +具有TPU的選項
- AWS：

2.2。資源管理

將免費資源分配給程序
資源管理選項：
- 老派集群工作調度程序（例如Slurm Workload Manager）
- Docker + Kubernetes
- kubeflow
- polyaxon（付費功能）

2.3。 DL框架

除非有充分的理由不，請使用Tensorflow/keras或pytorch。 ¹
下圖顯示了不同框架與它們如何代表“發展”和“生產”的比較。

2.4。實驗管理

發展，培訓和評估策略：
- 始終開始簡單
  - 在小批次上訓練小型模型。只有在起作用的情況下，才能擴展到較大的數據和模型，以及高參數調整！
- 實驗管理工具：
- 張板
  - 提供ML實驗所需的可視化和工具
- 損失（監視ML）
- 彗星：讓您在ML項目上跟踪代碼，實驗和結果
- 體重與偏見：通過簡單的協作記錄和可視化研究的每個細節
- MLFlow跟踪：用於記錄參數，代碼版本，指標和輸出文件以及結果的可視化。
  - 使用Python中的一行代碼進行自動實驗跟踪
  - 並排比較實驗
  - 超級參數調整
  - 支持基於Kubernetes的工作

2.5。高參數調整

方法：
- 網格搜索
- 隨機搜索
- 貝葉斯優化
- 超頻帶和異步連續減半算法（ASHA）
- 基於人群的培訓
平台：
- Raytune：Ray Tune是一個python庫，用於在任何規模上進行超參數調整（重點是深度學習和深度強化學習）。支持任何機器學習框架，包括Pytorch，XGBoost，MXNET和KERAS。
- KATIB：Kubernete的高參數調整和神經體系結構搜索，受[Google Vizier]的啟發（htttatic.googleusercontent.com/media/ research.google.com/ja/ja/ja/ja/ja/ja/pubs/archive/archive/archive/bcb15507f4b529991a1a078888888813dffffffffffffffffffffffffffffffffff L/DL框架（例如Tensorflow，MXNET和Pytorch）。
- Hyperas：圍繞HyperOPT的簡單包裝器，用於Keras，帶有簡單的模板符號來定義高參數範圍來調整。
- Sigopt：可擴展的企業級優化平台
- 從[weights＆偏見]掃描（https://www.wandb.com/）：開發人員未明確指定參數。相反，它們是通過機器學習模型近似和學習的。
- KERAS調諧器：針對KERAS的高參數調諧器，專門針對具有Tensorflow 2.0的TF.Keras。

2.6。分佈式培訓

數據並行性：當迭代時間太長時使用它（Tensorflow和Pytorch支持）
- 射線分佈式培訓
模型並行性：當模型不適合單個GPU時
其他解決方案：
- Horovod

3。故障排除[TBD]

4。測試和部署

4.1。測試和CI/CD

與傳統軟件相比，機器學習生產軟件需要更多樣化的測試套件：

單位和集成測試：
- 測試類型：
  - 訓練系統測試：測試培訓管道
  - 驗證測試：驗證集的測試預測系統
  - 功能測試：在幾個重要示例上測試預測系統
連續集成：將每個新代碼更改推向回購後運行測試
持續整合的SaaS：
- Argo：開源Kubernetes本地工作流程引擎，用於協調並行工作（啟動工作流，活動，CI和CD）。
- CircleCi：包括語言支持，自定義環境，靈活資源分配，由Instacart，Lyft和StackShare使用。
- 特拉維斯CI
- buildkite：快速，穩定的構建，開源代理幾乎在任何機器和架構上運行，使用您自己的工具和服務的自由
- 詹金斯：舊學校建造系統

4.2。 Web部署

由預測系統和服務系統組成
- 預測系統：過程輸入數據，做出預測
- 服務系統（Web服務器）：
  - 牢記
  - 使用REST API服務預測HTTP請求
  - 調用預測系統響應
服務選項：
- 1. 部署到VM，通過添加實例擴展
- 1. 部署為容器，通過編排擴展
  - 容器
    - Docker
  - 集裝箱編排：
    - Kubernetes（現在最受歡迎）
    - Mesos
    - 馬拉松
- 1. 將代碼部署為“無服務器功能”
- 1. 通過模型服務解決方案部署
模型服務：
- ML模型的專門Web部署
- 批次請求GPU推斷
- 框架：
  - TensorFlow服務
  - MXNET模型服務器
  - 快船（伯克利）
  - SaaS解決方案
    - 塞爾登：在Kubernetes上的任何框架中建立的服務和規模模型
    - 演算法
決策：CPU或GPU？
- CPU推論：
  - 如果CPU推斷符合要求，則最好。
  - 通過添加更多服務器或無服務器來擴展。
- GPU推論：
  - TF服務或快船
  - 自適應批處理很有用
（獎勵）部署jupyter筆記本：
- KubeFlow Arigring是一個混合部署軟件包，可以讓您部署Jupyter筆記本電腦代碼！