Production Level Deep Learning

生産レベルの深い学習のガイド？ ⛴⛴️

??中国語の翻訳

？§新しい：機械学習インタビュー

？♥注：このレポは継続的な開発中であり、すべてのフィードバックと貢献は大歓迎ですか？

生産に深い学習モデルを展開することは、パフォーマンスの良いトレーニングモデルをはるかに超えているため、困難な場合があります。生産レベルのディープラーニングシステムを展開するために、いくつかの異なるコンポーネントを設計および開発する必要があります（以下を参照）。

このレポは、現実世界のアプリケーションで展開される生産レベルのディープラーニングシステムを構築するためのエンジニアリングガイドラインになることを目的としています。

ここに紹介する資料は、フルスタックのディープラーニングブートキャンプ（カリフォルニア州バークレーのピーターアブビール、オープンアライのジョシュトービン、トゥルーチンのセルゲイカラエフ）、ロバートクロウによるTFXワークショップ、およびパイプラインの高度なクベフェローミートアップから借りたものです。

機械学習プロジェクト

楽しい ？事実： AIプロジェクトの85％が失敗します。 ^1つの潜在的な理由は次のとおりです。

• 技術的には実行不可能またはスコープが不十分です
• 生産に飛躍しないでください
• 不明確な成功基準（指標）
• チーム管理が悪い

1。MLプロジェクトライフサイクル

• あなたのドメインで最新技術を理解することの重要性：
  • 何が可能かを理解するのに役立ちます
  • 次に何を試すべきかを知るのに役立ちます

2。MLプロジェクトのメンタルモデル

MLプロジェクトを定義および優先順位付けする際に考慮すべき2つの重要な要因：

• 影響力の高い：
  • パイプラインの複雑な部分
  • 「安い予測」が価値がある場合
  • 複雑な手動プロセスを自動化することが価値があります
• 低コスト：
  • コストは次のとおりです。
    • データの可用性
    • パフォーマンス要件：コストは、精度要件で超直線的に拡大する傾向があります
    • 問題の難しさ：
      • 困難な問題には、監視されていない学習、強化学習、および監視された学習の特定のカテゴリが含まれます。

フルスタックパイプライン

次の図は、生産レベルの深い学習システムのさまざまなコンポーネントの高レベルの概要を表しています。

以下では、各モジュールを通過し、各コンポーネントに適合する実践者からのベストプラクティスだけでなく、ツールセットとフレームワーク、およびフレームワークを推奨します。

1。データ管理

1.1データソース

• 監視された深い学習には、多くのラベル付きデータが必要です
• 自分のデータのラベル付けには費用がかかります！
• データのリソースは次のとおりです。
  • オープンソースデータ（最初に適していますが、利点ではありません）
  • データ増強（コンピュータービジョンの必須、NLPのオプション）
  • 合成データ（ほとんどの場合、NLPの特に、ほとんど常に価値があります）

1.2データラベル付け

• 要求：個別のソフトウェアスタック（ラベリングプラットフォーム）、一時的な労働、およびQC
• ラベル付けのための労働源：
  • クラウドソーシング（機械ターク）：安価でスケーラブルで、信頼性が低く、ニーズQC
  • 自分のアノテーターの雇用：QCの必要性が少なく、高価で、スケーリングが遅くなります
  • データラベリングサービス会社：
    • フィギュア
• ラベル付けプラットフォーム：
  • diffgram：データソフトウェアのトレーニング（コンピュータービジョン）
  • Prodigy：アクティブな学習（スペイシーの開発者）、テキスト、画像を搭載した注釈ツール
  • Hive：コンピュータービジョンのサービスプラットフォームとしてのAI
  • 監督：コンピュータービジョンプラットフォーム全体
  • ラベルボックス：コンピュータービジョン
  • スケールAIデータプラットフォーム（コンピュータービジョンとNLP）

1.3。データストレージ

• データストレージオプション：
  • オブジェクトストア：バイナリデータ（画像、サウンドファイル、圧縮テキスト）をストア
    • Amazon S3
    • Cephオブジェクトストア
  • データベース：メタデータ（ファイルパス、ラベル、ユーザーアクティビティなど）を保存します。
    • Postgresは、ほとんどのアプリケーションにとって正しい選択であり、クラス最高のSQLと非構造化JSONの優れたサポートがあります。
  • データレイク：データベースから取得できない機能を集約する（例：ログ）
    • Amazon Redshift
  • 機能ストア：ストア、アクセス、および共有機械学習機能（機能抽出は計算上の高価であり、スケーリングがほぼ不可能である可能性があるため、さまざまなモデルとチームによる機能を再利用することは、高性能MLチームの鍵です）。
    • Feast（Google Cloud、オープンソース）
    • ミケランジェロパレット（Uber）
• 提案：トレーニング時に、データをローカルまたはネットワークファイルシステム（NFS）にコピーします。 ¹

1.4。データバージョン化

• 展開されたMLモデルの「必須」です。
  展開されたMLモデルは、パーツコード、パートデータです。 ¹データバージョンは、モデルバージョンリングがないことを意味します。
• データバージョンプラットフォーム：
  • DVC：MLプロジェクト用のオープンソースバージョン制御システム
  • pachyderm：データのバージョン制御
  • DOLT：データとスキーマ用のGit-Likeバージョンコントロールを備えたSQLデータベース

1.5。データ処理

• 生産モデルのトレーニングデータは、 DBおよびオブジェクトストアの保存データ、ログ処理、その他の分類子の出力など、さまざまなソースから得られます。
• タスク間に依存関係があり、依存関係が終了した後にそれぞれを開始する必要があります。たとえば、新しいログデータのトレーニングには、トレーニング前の前処理ステップが必要です。
• MakeFilesはスケーラブルではありません。この点で「ワークフローマネージャー」がかなり重要になります。
• ワークフローオーケストレーション：
  • SpotifyによるLuigi
  • Airbnbによるエアフロー：ダイナミック、拡張可能、エレガント、スケーラブル（最も広く使用されています）
    • ダグワークフロー
    • 堅牢な条件付き実行：障害の場合の再試行
    • Pusherは、TensorflowのサービングでDocker画像をサポートしています
    • 単一の.pyファイルの全体のワークフロー

2。開発、トレーニング、および評価

2.1。ソフトウェアエンジニアリング

• 勝者言語：Python
• 編集者：
  • vim
  • emacs
  • vsコード（著者が推奨）：組み込みのgitステージングとdiff、糸くずコード、sshを通じてリモートでオープンプロジェクト
  • ノートブック：プロジェクトの出発点として優れており、スケーリングが難しい（楽しい事実：Netflixのノートブック主導のアーキテクチャは例外であり、完全にNteractスイートに基づいています）。
    • nteract：Jupyterノートブック用の次世代ReactベースのUI
    • Papermill：Jupyterノートブックをパラメーター化、実行、分析するために構築されたNteractライブラリです。
    • 通勤者：ノートブックの読み取り専用ディスプレイを提供する別のNteractプロジェクト（S3バケットから）。
  • RERICELIT：アプレットを使用したインタラクティブデータサイエンスツール
• 推奨事項¹を計算する1：
  • 個人またはスタートアップの場合：
    • 開発：4倍のチューリングアーキテクチャPC
    • トレーニング/評価：同じ4x GPU PCを使用します。多くの実験を実行するときは、共有サーバーを購入するか、クラウドインスタンスを使用します。
  • 大企業の場合：
    • 開発：科学者1 mlあたり4倍のチューリングアーキテクチャPCを購入するか、V100インスタンスを使用させます
    • トレーニング/評価：適切なプロビジョニングと障害の処理でクラウドインスタンスを使用する
• クラウドプロバイダー：
  • GCP：gpusを任意のインスタンス +に接続するオプションはtpusを持っています
  • AWS：

2.2。リソース管理

• プログラムに無料のリソースを割り当てる
• リソース管理オプション：
  • オールドスクールクラスタージョブスケジューラ（例：Slurm Workload Manager）
  • Docker + Kubernetes
  • Kubeflow
  • Polyaxon（有料機能）

2.3。 DLフレームワーク

• 正当な理由がない限り、Tensorflow/KerasまたはPytorchを使用してください。 ¹
• 次の図は、「開発」と「生産」をどのように表しているかについての異なるフレームワークの比較を示しています。

2.4。実験管理

• 開発、トレーニング、評価戦略：
  • 常にシンプルを開始します
    • 小さなバッチで小さなモデルをトレーニングします。それが機能する場合のみ、より大きなデータとモデルからスケーリング、およびハイパーパラメーターのチューニング！
  • 実験管理ツール：
  • テンソルボード
    • ML実験に必要な視覚化とツーリングを提供します
  • losswise（mlの監視）
  • 彗星：MLプロジェクトでコード、実験、結果を追跡できます
  • ウェイトとバイアス：簡単なコラボレーションで研究のすべての詳細を記録および視覚化する
  • MLFLOW追跡：ロギングパラメーター、コードバージョン、メトリック、出力ファイル、および結果の視覚化。
    • Pythonの1つのコードを使用した自動実験追跡
    • 実験の並んで比較
    • ハイパーパラメーターチューニング
    • Kubernetesベースのジョブをサポートします

2.5。ハイパーパラメーターチューニング

• アプローチ：

  • グリッド検索
  • ランダム検索
  • ベイズの最適化
  • ハイパーバンドと非同期連続ハービングアルゴリズム（ASHA）
  • 人口ベースのトレーニング

• プラットフォーム：

  • Raytune：Ray Tuneは、あらゆる規模でハイパーパラメーターチューニング用のPythonライブラリです（深い学習と深い強化学習に焦点を当てています）。 Pytorch、Xgboost、MXNet、Kerasなどの機械学習フレームワークをサポートしています。
  • Katib：[Google Vizier]に触発されたハイパーパラメーターチューニングおよびニューラルアーキテクチャ検索のためのKuberneteのネイティブシステム（https://static.googleusercontent.com/media/ research.google.com/pubs/archive//pubs/archive/ BCB15507F4B52991A0783013DF42222240E942381.pdf）および複数のML/DLフレームワーク（Tensorflow、MXNet、およびPytorchなど）をサポートします。
  • Hyperas：KerasのHyperoptの周りのシンプルなラッパー。ハイパーパラメーターの範囲を定義するためのシンプルなテンプレート表記があります。
  • SIGOPT：スケーラブルなエンタープライズグレードの最適化プラットフォーム
  • [Weights＆Biase]からのスイープ（https://www.wandb.com/）：パラメーターは、開発者によって明示的に指定されていません。代わりに、機械学習モデルによって近似および学習されます。
  • Keras Tuner：Kerasのハイパーパラメーターチューナー、特にTensorflow 2.0のTF.Keras用。

2.6。分散トレーニング

• データの並列性：イテレーション時間が長すぎるときに使用します（TensorflowとPytorchの両方のサポート）
  • レイの分散トレーニング
• モデルの並列性：モデルが単一のGPUに適合しない場合
• その他のソリューション：
  • ホロボド

3。トラブルシューティング[TBD]

4。テストと展開

4.1。テストとCI/CD

機械学習生産ソフトウェアには、従来のソフトウェアよりも多様なテストスイートが必要です。

• ユニットと統合テスト：
  • テストの種類：
    • トレーニングシステムテスト：トレーニングパイプラインのテスト
    • 検証テスト：検証セットのテスト予測システム
    • 機能テスト：いくつかの重要な例で予測システムをテストします
• 継続的な統合：各新しいコード変更がリポジトリに押し込まれた後の実行テスト
• 継続的な統合のためのSaaS：
  • ARGO：並列ジョブを調整するためのオープンソースKubernetesネイティブワークフローエンジン（ワークフロー、イベント、CI、CDを介入）。
  • Circleci：言語包括的なサポート、カスタム環境、柔軟なリソース割り当て、Instacart、Lyft、およびStackshareが使用します。
  • トラビスCI
  • BuildKite：高速で安定したビルド、オープンソースエージェントはほぼすべてのマシンとアーキテクチャで実行され、独自のツールとサービスを使用する自由
  • Jenkins：Old School Build System

4.2。 Webデプロイメント

• 予測システムとサービングシステムで構成されています
  • 予測システム：入力データを処理し、予測を行います
  • サービングシステム（Webサーバー）：
    • スケールを念頭に置いて予測を提供します
    • REST APIを使用して、予測HTTPリクエストを提供します
    • 予測システムを呼び出して応答します
• サービングオプション：
  • 1. インスタンスを追加して、VMSに展開します
  • 2. コンテナとして展開し、オーケストレーションを介してスケーリングします
    • コンテナ
      • Docker
    • コンテナオーケストレーション：
      • Kubernetes（今最も人気のある）
      • メソス
      • マラソン
  • 3. 「サーバーレス関数」としてコードを展開する
  • 4. モデルサービングソリューションを介して展開します
• モデルサービング：
  • MLモデルの専門的なWeb展開
  • GPU推論のバッチ要求
  • フレームワーク：
    • Tensorflowサービング
    • MXNETモデルサーバー
    • クリッパー（バークレー）
    • SaaSソリューション
      • セルドン：Kubernetesのフレームワークに組み込まれたサーブモデルとスケール
      • アルゴリズム
• 意思決定：CPUまたはGPU？
  • CPU推論：
    • CPU推論が要件を満たしている場合に望ましい。
    • サーバーを追加するか、サーバーレスにすることでスケーリングします。
  • GPU推論：
    • TFサービングまたはクリッパー
    • 適応バッチは便利です
• （ボーナス）Jupyterノートブックの展開：
  • Kubeflow Fairingは、 Jupyterノートブックコードを展開できるハイブリッド展開パッケージです。

4.5サービスメッシュとトラフィックルーティング

• モノリシックアプリケーションから分散マイクロサービスアーキテクチャへの移行は困難な場合があります。
• サービスメッシュ（マイクロサービスのネットワークで構成される）は、このような展開の複雑さを軽減し、開発チームへの負担を緩和します。
  • ISTIO：サービスメッシュでは、サービスコードのコード変更がほとんどないかまったくない、負荷分散、サービス間認証、監視、監視、展開サービスのネットワークの作成を容易にします。

4.4。監視：

• 監視の目的：
  • ダウンタイム、エラー、および配信シフトのアラート
  • キャッチサービスおよびデータ回帰
• クラウドプロバイダーソリューションはまともです
• Kiali：サービスメッシュ構成機能を備えたISTIOの観測可能性コンソール。これらの質問に答えます：マイクロサービスはどのように接続されていますか？彼らはどのように演奏していますか？

私たちは終わりましたか？

4.5。組み込みおよびモバイルデバイスに展開します

• 主な課題：メモリフットプリントと計算制約
• ソリューション：
  • 量子化
  • モデルサイズの削減
    • モビレネット
  • 知識の蒸留
    • Distillbert（NLP用）
• 組み込みおよびモバイルフレームワーク：
  • Tensorflow Lite
  • Pytorch Mobile
  • コアML
  • MLキット
  • フリッツ
  • OpenVino
• モデル変換：
  • オープンニューラルネットワーク交換（ONNX）：ディープラーニングモデル向けのオープンソース形式

4.6。オールインワンソリューション

• Tensorflow Extended（TFX）
• ミケランジェロ（Uber）
• Google Cloud AIプラットフォーム
• Amazon Sagemaker
• ネプチューン
• フロイド
• 紙のスペース
• 決定されたAI
• Domino Data Lab

Tensorflow Extended（TFX）

[TBD]

エアフローとKubeflow MLパイプライン

[TBD]

その他の便利なリンク：

• 実用的なディープラーニングシステムの構築から学んだ教訓
• 機械学習：技術的債務の高利子クレジットカード

貢献

参考文献：

[1]：フルスタックディープラーニングブートキャンプ、2019年11月。

[2]：Pipeline.aiによるAdvanced Kubeflow Workshop、2019年。

[3]：TFX：生産における現実世界の機械学習