awesome mlopsダウンロード - awesome mlopsソースコードのダウンロード

awesome mlops

その他のソースコード

1.0.0

ダウンロード

素晴らしいmlops

素晴らしいMLOPSツールのキュレーションリスト。

Awesome-Pythonに触発されました。

素晴らしいmlops
- Automl
- 機械学習用のCI/CD
- クロンジョブモニタリング
- データカタログ
- データ強化
- データ探索
- データ管理
- データ処理
- データ検証
- データの視覚化
- ドリフト検出
- 機能エンジニアリング
- 機能ストア
- ハイパーパラメーターチューニング
- 知識共有
- 機械学習プラットフォーム
- モデルの公平性とプライバシー
- モデルの解釈可能性
- モデルライフサイクル
- モデルサービング
- モデルのテストと検証
- 最適化ツール
- 簡素化ツール
- 視覚分析とデバッグ
- ワークフローツール
リソース
- 記事
- 本
- イベント
- 他のリスト
- ポッドキャスト
- スラック
- ウェブサイト
貢献

Automl

Automlを実行するためのツール。

Autogluon-画像、テキスト、表、時系列、マルチモーダルデータの自動機械学習。
Autokeras -Autokerasの目標は、すべての人が機械学習にアクセスできるようにすることです。
Autopytorch- Pytorchの自動アーキテクチャ検索とハイパーパラメーターの最適化。
AutoSklearn-自動化された機械学習ツールキットとSCIKIT-LEARN推定器のドロップイン交換。
EvalML-ドメイン固有の関数を使用してMLパイプラインを構築、最適化、評価するライブラリ。
flaml-正確なMLモデルを自動的に、効率的に、経済的に見つけます。
H2O Automl-モデルの自動トレーニングとチューニングを含むMLワークフローを自動化します。
MINDSDB -MLモデルを簡単に開発、トレーニング、展開できるデータベースのAIレイヤー。
MLBOX -MLBOXは、強力な自動機械学習Pythonライブラリです。
モデル検索 - 大規模なモデルアーキテクチャ検索のためのAutomlアルゴリズムを実装するフレームワーク。
NNI-自動化機械学習ライフサイクル用のオープンソースAutomlツールキット。

機械学習用のCI/CD

機械学習用のCI/CDを実行するためのツール。

ClearML -MLワークフローを合理化する自動魔術的CI/CD。
CML-機械学習プロジェクトにCI/CDを実装するためのオープンソースライブラリ。
Kitops - データサイエンティストとDevOps間のモデルのハンドオフを容易にするオープンソースMLOPSプロジェクト。

クロンジョブモニタリング

CRONジョブを監視するためのツール（繰り返しジョブ）。

CRONITOR -CRONジョブまたはスケジュールされたタスクを監視します。
HealthChecksio-シンプルで効果的なCronジョブモニタリング。

データカタログ

データカタログのためのツール。

Amundsen-データとの相互作用時に生産性を向上させるためのデータ発見とメタデータエンジン。
Apache Atlas-データカタログを構築するためのオープンなメタデータ管理およびガバナンス機能を提供します。
CKAN-データハブとデータポータルをパワーするためのオープンソースDMS（データ管理システム）。
Datahub -LinkedInの一般化されたメタデータ検索および発見ツール。
MAGDA-すべてのビッグデータと小さなデータのフェデレーションされたオープンソースデータカタログ。
Metacat-ハイブ、RDS、Teradata、Redshift、S3、Cassandra用の統合メタデータエクスプロレーションAPIサービス。
OpenMetadata-データを発見し、協力し、正しく取得するための単一の場所。

データ強化

データ強化のためのツールとライブラリ。

シュノーケル - 監督が弱いトレーニングデータを迅速に生成するためのシステム。
upgini-公開およびコミュニティの共有データソースの機能を備えたトレーニングデータセットを強化します。

データ探索

データ探索を実行するためのツール。

Apache Zeppelin-データ駆動型のインタラクティブなデータ分析と共同ドキュメントを有効にします。
Bamboolib -Pandas DataFramesの直感的なGUI。
DataPrep- Pythonでデータを収集、クリーニング、視覚化します。
Google Colab-使用するためにセットアップを必要としないJupyterノートブックサービスをホストしました。
Jupyterノートブック - インタラクティブコンピューティング用のWebベースのノートブック環境。
JupyterLab-プロジェクトJupyterの次世代ユーザーインターフェイス。
JupyText-マークダウンドキュメント、ジュリア、Python、またはRスクリプトなどのJupyterノートブック。
PANDASプロファイリング-Pandas DataFrameオブジェクトからHTMLプロファイリングレポートを作成します。
Polynote -First Class Scalaサポートを備えたポリグロットノートブック。

データ管理

データ管理を実行するためのツール。

Arrikto-ハイブリッドKubernetesの世界のためのシンプルで超高速ストレージ。
BlazingsQL- Python用の軽量のGPU加速型SQLエンジン。 Rapids Cudfに建てられました。
Delta Lake- Apache Sparkやその他のエンジンにスケーラブルな酸トランザクションをもたらす貯蔵層。
DOLT -SQLデータベースは、Gitリポジトリのようにフォーク、クローン、分岐、マージ、プッシュ、プルを可能にします。
DUD-ソースコードと構築データパイプラインとともにデータをバージョン化するための軽量CLIツール。
DVC-データセットと機械学習モデルの管理とバージョン。
GIT LFS-大きなファイルをバージョンするためのオープンソースGIT拡張機能。
HUB-あらゆるサイズのAIデータセットを作成、保存、コラボレーションするためのデータセット形式。
摂取 - データサイエンスプロジェクトでデータを読み込んで共有するための軽量のツールセット。
Lakefs-オブジェクトストレージの上には、繰り返し可能なアトミックおよびバージョンのデータ湖。
Marquez-データエコシステムのメタデータを収集、集約、視覚化します。
Milvus -FAISS、NMSLIB、およびイライラを搭載したオープンソースのベクトル類似性検索エンジン。
Pinecone-軽量SDKで使用されるマネージドおよび分散ベクトルの類似性検索。
QDRANT-拡張フィルタリングサポートを備えたオープンソースベクトル類似性検索エンジン。
キルト - S3サポートを備えた自己組織化データハブ。

データ処理

データ処理とデータパイプラインに関連するツール。

Airflow -Platform to Platform toプログラムで作家、スケジュール、監視ワークフロー。
Azkaban -LinkedInで作成されたバッチワークフロージョブスケジューラHadoopジョブを実行します。
Dagster-機械学習、分析、およびETLのためのデータオーケストレーター。
Hadoop-クラスター全体の大きなデータセットの分散処理を可能にするフレームワーク。
OpenRefine-乱雑なデータを操作して改善するための電動ツール。
Spark-大規模なデータ処理用の統一分析エンジン。

データ検証

データ検証に関連するツール。

Cerberus- Python用の軽量で拡張可能なデータ検証ライブラリ。
CleanLab-データ中心のAI用のPythonライブラリおよび乱雑で実世界のデータとラベルを使用した機械学習。
大きな期待 - データセットに対してデータをテストできるPythonデータ検証フレームワーク。
JSON Schema- JSONドキュメントに注釈を付けて検証できる語彙。
TFDV-機械学習データを調査および検証するためのライブラリ。

データの視覚化

データの視覚化、レポート、ダッシュボードのためのツール。

count-sql/ドラッグアンドドロップクエリおよび視覚化ツールに基づく視覚化ツール。
Dash -Python、R、Julia、およびJupyter用の分析Webアプリ。
データスタジオ - GAのデータとダッシュボードを超えたいパワーユーザー向けのレポートソリューション。
ファセット - 機械学習データセットを理解して分析するための視覚化。
Grafana-マルチプラットフォームのオープンソース分析とインタラクティブな視覚化Webアプリケーション。
LUX-視覚化とデータ分析プロセスを自動化することにより、高速かつ簡単なデータ探索。
Metabase-すべての人にビジネスインテリジェンスと分析を得るための最も簡単で最速の方法。
Redash-データソースに接続し、データを簡単に視覚化、ダッシュボード、データを共有します。
SOLIDUI -AIに生成された視覚化プロトタイピングと編集プラットフォーム、2Dおよび3Dモデルをサポートします。
スーパーセット - モダンなエンタープライズ対応のビジネスインテリジェンスWebアプリケーション。
Tableau-ビジネスインテリジェンス業界で使用される強力で最も急速に成長しているデータ視覚化ツール。

ドリフト検出

ドリフト検出に関連するツールとライブラリ。

Alibi検出 - 外れ値、敵対的、ドリフト検出に焦点を当てたオープンソースのPythonライブラリ。
Frouros-機械学習システムでのドリフト検出のためのオープンソースPythonライブラリ。
TorchDrift- Pytorchのデータおよびコンセプトドリフトライブラリ。

機能エンジニアリング

機能エンジニアリングに関連するツールとライブラリ。

機能エンジン - sklearnのような機能を備えた機能エンジニアリングパッケージ。
featuretools -自動機能エンジニアリング用のPythonライブラリ。
TSFRESH-時系列から関連する機能を自動的に抽出するためのPythonライブラリ。

機能ストア

データサービング用の機能ストアツール。

バタフリー - 建物の機能ストアのツール。生データを美しい機能に変換します。
Bytehub-使いやすい機能ストア。時系列データ向けに最適化されています。
FEAST-機械学習用のエンドツーエンドのオープンソース機能ストア。
FEATHR-エンタープライズグレードの高性能機能ストア。
featureform-仮想機能ストア。既存のデータインフラストラクチャを機能ストアに変えます。
Tecton-機能の完全なライフサイクルを調整するために構築された完全に管理された機能プラットフォーム。

ハイパーパラメーターチューニング

ハイパーパラメーターチューニングを実行するためのツールとライブラリ。

アドバイザー - ハイパーパラメーターチューニングのためのGoogle Vizierのオープンソースの実装。
Hyperas-便利なハイパーパラメーターの最適化のための非常にシンプルなラッパー。
Hyperopt- Pythonでの分散非同期ハイパーパラメーターの最適化。
Katib-ハイパーパラメーターチューニングおよびニューラルアーキテクチャ検索用のKubernetesベースのシステム。
Kerastuner-使いやすく、スケーラブルなハイパーパラメーター最適化フレームワーク。
Optuna-ハイパーパラメーター検索を自動化するためのオープンソースハイパーパラメーター最適化フレームワーク。
Scikit Optimize-高価でノイズの多いブラックボックス機能を最小限に抑えるためのシンプルで効率的なライブラリ。
TALOS -Tensorflow、Keras、Pytorchのハイパーパラメーターの最適化。
Tune-あらゆるスケールでの実験実行およびハイパーパラメーターチューニングのためのPythonライブラリ。

知識共有

チーム/会社全体に知識を共有するためのツール。

ナレッジレポ - データサイエンティストおよびその他の技術職業向けの知識共有プラットフォーム。
Kyso-データの洞察の1つの場所で、チーム全体がデータから学ぶことができます。

機械学習プラットフォーム

完全な機械学習プラットフォームソリューション。

AIware -AIwareは、MLOPSチームがMLモデルを評価、展開、統合、スケーリング、監視するのを支援します。
アルゴリズム - 健全なMLライフサイクルで機械学習操作を安全に管理します。
Allegro AI- ML/DLの研究を製品に変換します。もっと早く。
ボディワーク - Pythonで開発された機械学習プロジェクトをKubernetesに展開します。
CNVRG-AIモデルを大規模に構築および展開するためのエンドツーエンドの機械学習プラットフォーム。
Dagshub-データ、モデル、パイプライン管理のためのオープンソースツールに基づいたプラットフォーム。
DataIKU-データへのアクセスを民主化し、企業がAIへの独自のパスを構築できるようにするプラットフォーム。
Datarobot-AIプラットフォームデータサイエンスを民主化し、エンドツーエンドMLを大規模に自動化します。
Domino-データサイエンスツール、アプリ、結果、モデル、および知識の1つの場所。
エッジインパルス - エッジデバイス用のAI/MLアルゴリズムを作成、最適化、展開するためのプラットフォーム。
Envd-データサイエンスおよびAI/MLエンジニアリングチームの機械学習開発環境。
FEDML-あらゆる規模のどこでも、連合学習のワークフローを簡素化します。
Gradient -MulticLoud CI/CDおよびMLOPSプラットフォーム用の機械学習チーム用。
H2O-すべての人のためにAIを民主化するという使命を備えたAIのオープンソースリーダー。
Hopsworks-規模の機械学習モデルを開発および操作するためのオープンソースプラットフォーム。
Iguazio-エンドツーエンドの機械学習パイプラインでMLOPを自動化するデータサイエンスプラットフォーム。
Katonic- Katonic MLOPSプラットフォームでインテリジェンスのサイクルを自動化します。
Knime-簡単で直感的な環境を使用して、データサイエンスを作成および生産します。
Kubeflow -KubernetesのMLワークフローの展開をシンプルで、ポータブルでスケーラブルにします。
Lynxkite-非常に大きなグラフやその他のデータセットのための完全なグラフデータサイエンスプラットフォーム。
MLワークスペース - 機械学習とデータサイエンスに特化したオールインワンのWebベースのIDE。
MLEREEF -ML作業を協力し、再現し、共有するのに役立つオープンソースMLOPSプラットフォーム。
Modzy-エンタープライズおよびエッジでの機械学習（ML）モデルを展開、接続、実行、監視します。
neu.ro-オープンソースと独自のツールをクライアント指向のシステムに統合するMlopsプラットフォーム。
Omnimizer- MLモデルとエッジハードウェアの間のギャップを埋めることにより、MLOPを簡素化および加速します。
Pachyderm-企業向けに設計されたKubernetesのデータ系統とKubernetesのエンドツーエンドのパイプラインを組み合わせます。
Polyaxon -Kubernetesでの再現可能でスケーラブルな機械学習と深い学習のためのプラットフォーム。
Sagemaker- MLモデルを迅速に構築、トレーニング、展開する機能を提供する完全に管理されたサービス。
SAS VIYA-分析ライフサイクルをサポートするクラウドネイティブAI、分析およびデータ管理プラットフォーム。
Sematic-ラップトップのプロトタイプからクラウドにすぐに移動するオープンソースのエンドツーエンドのパイプラインツール。
SIGOPT-実行を簡単に追跡し、トレーニングを視覚化し、ハイパーパラメーターのチューニングをスケーリングできるプラットフォーム。
TrueFoundry -MLモデルのトレーニングとサービングを簡素化するために、Kubernetes上のクラウドネイティブMLOPSプラットフォーム。
Valohai-モデルライフサイクル全体を管理しながら、POCから生産に連れて行ってくれます。

モデルの公平性とプライバシー

生産におけるモデルの公平性とプライバシーを実行するためのツール。

AIF360-データセットと機械学習モデルの公平性メトリックの包括的なセット。
Fairlearn-機械学習モデルの公平性を評価および改善するためのPythonパッケージ。
Opacus-プライバシーが異なるPytorchモデルのトレーニングを可能にするライブラリ。
Tensorflowプライバシー - トレーニングのためのライブラリトレーニングデータのためのプライバシーを備えた機械学習モデル。

モデルの解釈可能性

モデルの解釈可能性/説明可能性を実行するためのツール。

Alibi- MLモデルの検査と解釈を可能にするオープンソースPythonライブラリ。
captum -pytorchのモデル解釈性と理解のライブラリ。
ELI5-機械学習分類子をデバッグし、予測を説明するのに役立つPythonパッケージ。
StrettionMl-モデルを理解し、責任ある機械学習を可能にするのに役立つツールキット。
ライム - 機械学習分類器の予測を説明します。
lucid-ニューラルネットワークの解釈可能性における研究のためのインフラストラクチャとツールの収集。
SAGE- Shapley値を使用してグローバルな機能の重要性を計算するため。
SHAP-機械学習モデルの出力を説明するゲーム理論的アプローチ。

モデルライフサイクル

モデルライフサイクルを管理するためのツール（追跡実験、パラメーター、メトリック）。

航空 - 重量とバイアスの再現可能なAIおよびMLを実行するためのフレームワーク。
AIM- 1000のMLトレーニングランを記録、検索、比較する非常に簡単な方法。
Cascade-迅速なプロトタイピングと実験管理のためのML-エンジニアリングツールのライブラリ。
彗星 - データセット、コードの変更、実験履歴、モデルを追跡します。
ギルドAI-オープンソースの実験追跡、パイプラインオートメーション、およびハイパーパラメーターチューニング。
記念品 - Amazon S3とGoogle Cloudストレージへのサポートを備えた機械学習用のバージョン制御。
LossWise-機械学習プロジェクトの進捗を簡単に追跡できます。
MLFLOW-機械学習ライフサイクル用のオープンソースプラットフォーム。
ModelDB-オープンソースMLモデルバージョン、メタデータ、および実験管理。
Neptune AI-ワークフローに適合する最も軽量の実験管理ツール。
Sacred-実験を構成、整理、ログ、および再現するのに役立つツール。
ウェイトとバイアス - 機械学習実験を視覚化および追跡するためのツール。

モデルサービング

生産でモデルを提供するためのツール。

Banana-サーバーレスGPUでML推論コードをホストし、1つのコードでアプリに統合します。
Beam -ServerLess GPUで開発し、非常にパフォーマンスのあるAPIを展開し、MLモデルを迅速にプロトタイプします。
BENTOML-高性能MLモデルサービング用のオープンソースプラットフォーム。
BudgetML -10行未満のコードでML推論サービスを予算に展開します。
COG-標準の生産対応コンテナにMLモデルをパッケージ化できるオープンソースツール。
皮質 - インフラストラクチャにサービスを提供する機械学習モデル。
GeniusRise-ホスト推論API、バルク推論、微調整テキスト、ビジョン、オーディオ、マルチモーダルモデル。
グラデーション - モデルの周りにカスタマイズ可能なUIコンポーネントを作成します。
GraphPipe-機械学習モデルの展開は簡単になりました。
ハイドロスフィア - 機械学習を生産に展開するためのプラットフォーム。
KfServing -Kubernetes任意のフレームワークでMLモデルを提供するためのカスタムリソース定義。
Localai-推測のためのOpenAI API仕様と互換性のあるドロップイン交換REST API。
MERLIN-機械学習モデルを展開および提供するためのプラットフォーム。
MLEM-バージョンとGitopsの原則に従ってMLモデルを展開します。
Opyrator -MLコードをWeb API、Interactive GUIなどを使用してマイクロサービスに変えます。
予測 - イベントコレクション、アルゴリズムの展開、評価、APIを介した予測結果のクエリ。
quix-機械学習モデルを使用して、データストリームをリアルタイムで処理するためのサーバーレスプラットフォーム。
Rune -Edgemlパイプラインとアプリケーションをカプセル化および展開するためのコンテナを提供します。
セルドン - 最大の効率と最小限のリスクで、POCから生産までのMLプロジェクトを利用してください。
Streamlit-一見シンプルなPythonスクリプトを使用して、MLプロジェクトのアプリを作成できます。
Tensorflowサービング - 生産用に設計されたMLモデル向けの柔軟な高性能サービスシステム。
TorchServe- Pytorchモデルを提供するための柔軟で使いやすいツール。
Triton Inference Server-最適化されたクラウドおよびエッジ推論ソリューションを提供します。
VESPA-サービング時にビッグデータを介して機械学習の推論を保存、検索、整理、作成します。
Wallaroo.ai-クラウド環境とエッジ環境の両方でMLモデルを展開、提供、および最適化するためのプラットフォーム。

モデルのテストと検証

モデルのテストと検証のためのツール。

DeepChecks-さまざまなチェックとスイートを使用して、MLモデルとデータを検証するためのオープンソースパッケージ。
StarWhale -MLOPS/LLMOPSモデルの構築、評価、微調整のためのプラットフォーム。
Trubrics-データサイエンスとドメインの専門家フィードバックを使用して、機械学習を検証します。

最適化ツール

生産におけるモデルのスケーラビリティに関連する最適化ツール。

Accelerate-マルチGPU、TPU、混合精度でPytorchモデルをトレーニングおよび使用する簡単な方法。
Dask -Analyticsに高度な並列性を提供し、あなたが愛するツールの規模でのパフォーマンスを可能にします。
DeepSpeed-分散トレーニングを容易、効率的、効果的にするディープラーニング最適化ライブラリ。
ファイバー - 最新のコンピュータークラスター用のPython分散コンピューティングライブラリ。
Horovod- Tensorflow、Keras、Pytorch、およびApache Mxnetの分散ディープラーニングトレーニングフレームワーク。
Mahout-分散線形代数フレームワークと数学的に表現力豊かなScala DSL。
Mllib -Apache Sparkのスケーラブルな機械学習ライブラリ。
Modin-単一のコードを変更することにより、パンダワークフローをスピードアップします。
nebullvm- AI推論を強化するための使いやすいライブラリ。
NOS-最適化された方法でKubernetesでAIワークロードを実行するためのオープンソースモジュール。
PetaStorm-ディープラーニングモデルの単一マシンまたは分散トレーニングと評価を有効にします。
Rapids-GPUでエンドツーエンドのデータサイエンスおよび分析パイプラインを完全に実行する機能を提供します。
Ray-分散アプリケーションを構築および実行するための高速かつシンプルなフレームワーク。
SINGA -DLモデルとMLモデルの分散トレーニングに焦点を当てたApacheトップレベルプロジェクト。
TPOT-遺伝子プログラミングを使用して機械学習パイプラインを最適化する自動MLツール。

簡素化ツール

機械学習の簡素化と標準化に関連するツール。

シャーシ - モデルをどこでも実行するMLフレンドリーなコンテナに変えます。
ハーマイオニー - より迅速かつ簡単な方法で、より整理されたコードのセットアップをデータ科学者に支援します。
Hydra-複雑なアプリケーションをエレガントに構成するためのフレームワーク。
Koalas -Apache SparkのPandas API。ビッグデータと対話するとき、データ科学者をより生産的にします。
Ludwig-ユーザーは、コードを書く必要なく、深い学習モデルをトレーニングおよびテストすることができます。
mlnotify-トレーニングをチェックし続ける必要はありません。1つのインポートラインだけで、2番目のインポートがわかります。
Pycaret-オープンソース、Pythonの低コード機械学習ライブラリ。
SAGIFY-AWSセージメーカーでML/DLモデルを訓練および展開するCLIユーティリティ。
SOOPERVISOR -MLプロジェクトをKubernetes（Argo Workflow）、Airflow、AWS Batch、およびSlurmに輸出します。
Soorgeon -Monolithic Jupyter Notebookを保守可能なパイプラインに変換します。
Traingenerator-機械学習用のテンプレートコードを生成するWebアプリ。
Turi Create-カスタム機械学習モデルの開発を簡素化します。