mlreefダウンロードmlreefソースコードのダウンロード

mlreef

パイソン

1.0.0

ダウンロード

機械学習のためのコラボレーションプラットフォーム

Mlreefは、他の何千人ものユーザーと機械学習作業を協力し、再現し、共有するのに役立つオープンソースのML-OPSプラットフォームです。

重要：このリポジトリをサポートおよび更新しなくなりました。私たちはまだこのプロジェクトに積極的に取り組んでいますが、Gitlabのメインレポで。

mlreef

Mlreefは、4つのメインセクションを含むML/DL開発プラットフォームです。

データ管理 - 完全版のデータホスティングおよび処理インフラストラクチャ
公開コードリポジトリ - データパイプラインで不変の使用のためのコンテナ化およびバージョンのスクリプトリポジトリ
実験マネージャー - 実験追跡、環境、結果
ML-Ops- ML / DLジョブ向けのパイプラインおよびオーケストレーションソリューション（K8S / Cloud / Bare-Metal）

サインアップして、数分で実験を開始します。

Mlreefがあなたの機械学習開発ライフサイクルを合理化する方法の詳細については、私たちのホームページをご覧ください

データ管理

Git / Git LFSリポジトリを使用してデータをホストします。
- データと同時に動作します
- 完全バージョンまたはLFSバージョンコントロール
- データ処理と視覚化履歴に関する完全なビュー
外部ストレージをmlreefに接続し、パイプラインでデータを直接使用します
データセット管理（アクセス、履歴、パイプライン）

公開コード

argparseを介してパラメーションを追加します...

 # Example params for a ResNet50 script
def process_arguments ( args ):
    parser = argparse . ArgumentParser ( description = 'ResNet50' )
    parser . add_argument ( '--input-path' , action = 'store' , help = 'path to directory of images' )
    parser . add_argument ( '--output-path' , action = 'store' , default = '.' , help = 'path to output metrics' )
    parser . add_argument ( '--height' , action = 'store' , default = 224 , help = 'height of images (int)' )
    parser . add_argument ( '--width' , action = 'store' , default = 224 , help = 'width of images (int)' )
    parser . add_argument ( '--channels' , action = 'store' , default = 3 , help = 'channels of images: 1 = grayscale, 3 = RGB ,'
                                                                      '4=RGBA (int)' )
    parser . add_argument ( '--use-pretrained' , action = 'store' , default = True , help = 'use pretrained ResNet50 weights (bool)' )
    parser . add_argument ( '--epochs' , action = 'store' , default = 5 , help = 'number of epochs for training' )
    parser . add_argument ( '--batch-size' , action = 'store' , default = 32 , help = 'batch size fed to the neural network (int)' )
    parser . add_argument ( '--validation-split' , action = 'store' , default = .25 , help = 'fraction of images to be used for '
                                                                                'validation (float)' )
    parser . add_argument ( '--class-mode' , action = 'store' , default = 'binary' , help = '"categorical", "binary", "sparse",'
                                                                                    ' "input", or None' )
    parser . add_argument ( '--learning-rate' , action = 'store' , default = 0.0001 ,
                        help = 'learning rate of Adam Optimizer (float)'
                             '' )
    parser . add_argument ( '--loss' , action = 'store' , default = 'sparse_categorical_crossentropy' , help = 'loss function used to'
                                                                                           ' compile model' )
    params = vars ( parser . parse_args ( args ))
    return params

...そしてあなたのスクリプトを公開すると、次のようになります。

スクリプトのコンテナ化
- パイプラインでの簡単なハイパーパラメーターアクセスを含む、常に動作するスクリプト
- 実行環境（特定のパッケージとバージョンを含む）
- ハイパーパラメーター
  - 現在使用されている値を持つコマンドラインパラメーターのArgparser
  - 明示的なパラメーター辞書
  - 入力検証とガイド
バージョンおよびコードブランチに基づく複数のコンテナ

実験マネージャー

完全な実験セットアップログ
- コミットされていないローカル変更を含む完全なソース制御情報
- 実行環境（特定のパッケージとバージョンを含む）
- ハイパーパラメーター
完全な実験出力自動キャプチャ
- アーティファクトストレージと標準出力ログ
- すべての実験の個々の実験と比較グラフのパフォーマンスメトリック
- 生成されたログと出力に関する詳細なビュー
広範なプラットフォームのサポートと統合
- Pytorch、Tensorflow、Keras、Scikit-Learnなど、すべてのPythonベースのML/DLフレームワークをサポートしました。