awesome mlops

很棒的MLOP

精選的很棒的MLOP工具列表。

靈感來自很棒的佩頓。

• 很棒的MLOP
  • 汽車
  • CI/CD用於機器學習
  • CRON工作監控
  • 數據目錄
  • 數據豐富
  • 數據探索
  • 數據管理
  • 數據處理
  • 數據驗證
  • 數據可視化
  • 漂移檢測
  • 功能工程
  • 功能存儲
  • 高參數調整
  • 知識共享
  • 機器學習平台
  • 榜樣公平和隱私
  • 模型解釋性
  • 模型生命週期
  • 模型服務
  • 模型測試和驗證
  • 優化工具
  • 簡化工具
  • 視覺分析和調試
  • 工作流工具
• 資源
  • 文章
  • 圖書
  • 事件
  • 其他列表
  • podcast
  • 鬆弛
  • 網站
• 貢獻

---

汽車

執行汽車的工具。

• AutoGluon-圖像，文本，表格，時間序列和多模式數據的自動化機器學習。
• Autokeras -Autokeras目標是使每個人都可以訪問機器學習。
• AutopyTorch- Pytorch的自動體系結構搜索和超參數優化。
• AutoSklearn-自動化機器學習工具包和Scikit-Learn估算器的置換式替換。
• evalml-使用域特異性函數來構建，優化和評估ML管道的庫。
• FLAML-在自動，有效，經濟上找到準確的ML模型。
• H2O Automl-自動化ML工作流程，其中包括自動培訓和模型調整。
• MindSDB-數據庫的AI層，可讓您輕鬆開發，訓練和部署ML模型。
• MLBOX -MLBOX是一個功能強大的自動化機器學習Python庫。
• 模型搜索 - 實現自動算法的模型體系結構搜索的框架。
• NNI-一種用於自動化機器學習生命週期的開源汽車工具包。

CI/CD用於機器學習

用於執行CI/CD進行機器學習的工具。

• ClearMl-自動魔術CI/CD簡化您的ML工作流程。
• CML-用於在機器學習項目中實現CI/CD的開源庫。
• Kitops - 開源MLOPS項目，可以簡化數據科學家和DevOps之間的模型交接。

CRON工作監控

監視Cron工作的工具（重複工作）。

• cronitor-監視任何CRON作業或計劃的任務。
• HealthChecksio-簡單有效的CRON工作監控。

數據目錄

數據編目的工具。

• Amundsen-數據發現和元數據引擎，用於提高與數據交互時的生產率。
• Apache Atlas-提供開放的元數據管理和治理功能來構建數據目錄。
• CKAN-用於為數據中心和數據門戶供電的開源DMS（數據管理系統）。
• DataHub- LinkedIn的廣義元數據搜索和發現工具。
• MAGDA-用於所有大數據和小數據的聯合，開源數據目錄。
• Metacat-統一元數據探索API服務，用於Hive，RDS，Teradata，Redshift，S3和Cassandra。
• OpenMetadata-一個可以發現，協作和獲取數據正確的地方。

數據豐富

數據豐富的工具和庫。

• 浮潛 - 一種用於快速生成培訓數據的系統。
• upgini-豐富了培訓數據集，並具有來自公共和社區共享數據源的功能。

數據探索

執行數據探索的工具。

• Apache Zeppelin-啟用數據驅動的交互式數據分析和協作文檔。
• Bamboolib-熊貓數據框的直觀GUI。
• DataPrep-在Python中收集，清潔和可視化數據。
• Google Colab-託管了jupyter筆記本電腦服務，不需要設置才能使用。
• Jupyter筆記本 - 用於交互式計算的基於Web的筆記本電腦環境。
• Jupyterlab-項目jupyter的下一代用戶界面。
• jupytext- jupyter筆記本作為Markdown Documents，Julia，Python或R腳本。
• PANDAS PROPILING-創建來自PANDAS DataFrame對象的HTML分析報告。
• polynote-具有一流的Scala支持的多面筆記本。

數據管理

執行數據管理的工具。

• Arrikto-雜種Kubernetes世界的簡單簡單，超快的存儲。
• BlazingSQL-輕巧的GPU加速，SQL引擎，用於Python。建立在急流CUDF上。
• Delta Lake-帶來可擴展的儲存層，酸交易到Apache Spark和其他發動機。
• DOLT -SQL數據庫，您可以像GIT存儲庫一樣分叉，克隆，分支，合併，推和拉。
• DUD-一種輕巧的CLI工具，用於與源代碼以及構建數據管道一起版本的數據控制。
• DVC-數據集和機器學習模型的管理和版本。
• Git LFS-用於版本化大文件的開源GIT擴展名。
• 集線器 - 用於在任何大小的AI數據集上創建，存儲和協作的數據集格式。
• 攝入量 - 一組輕巧的工具，用於在數據科學項目中加載和共享數據。
• Lakefs-可重複的，原子和版本的數據湖在物體存儲之上。
• Marquez-收集，匯總和可視化數據生態系統的元數據。
• MILVUS-由Faiss，Nmslib和煩惱提供動力的開源嵌入向量相似性搜索引擎。
• Pinecone-輕型SDK使用的託管和分佈式向量相似性搜索。
• QDRANT-帶有擴展過濾支持的開源矢量相似性搜索引擎。
• 被子 - 具有S3支持的自組織數據中心。

數據處理

與數據處理和數據管道有關的工具。

• 氣流 - 編程作者，時間表和監視工作流的平台。
• Azkaban-在LinkedIn創建的批處理工作流程調度程序以運行Hadoop作業。
• DAGSTER-用於機器學習，分析和ETL的數據編排。
• Hadoop-框架，允許在群集之間分佈式數據集分佈式處理。
• OpenRefine-用於使用混亂數據並改進數據的電動工具。
• Spark - 用於大規模數據處理的統一分析引擎。

數據驗證

與數據驗證有關的工具。

• Cerberus- Python的輕巧，可擴展的數據驗證庫。
• 清潔行 - 以數據為中心的AI和機器學習的Python庫，具有混亂的現實數據和標籤。
• 巨大的期望 - 一個Python數據驗證框架，允許針對數據集測試您的數據。
• JSON Schema-詞彙量，允許您註釋和驗證JSON文檔。
• TFDV-用於探索和驗證機器學習數據的庫。

數據可視化

數據可視化，報告和儀表板的工具。

• 計數 - 基於筆記本的SQL/拖放查詢和可視化工具。
• Dash- Python，R，Julia和Jupyter的分析網絡應用程序。
• 數據工作室 - 為想要超越GA的數據和儀表板的電力用戶報告解決方案。
• 方面 - 用於理解和分析機器學習數據集的可視化。
• Grafana-多平台開源分析和交互式可視化Web應用程序。
• LUX-通過自動化可視化和數據分析過程來快速簡便的數據探索。
• Metabase-最簡單，最快的方法是為所有人獲取商業智能和分析。
• REDASH-連接到任何數據源，可以輕鬆可視化，儀表板並共享您的數據。
• Solidui- AI生成的可視化原型製作和編輯平台，支持2D和3D模型。
• 超集團 - 現代，可企業就緒的商業智能網絡應用程序。
• Tableau-商業智能行業中使用的功能強大，增長最快的數據可視化工具。

漂移檢測

工具和庫與漂移檢測有關。

• alibi檢測 - 開源Python庫，重點是離群值，對抗和漂移檢測。
• FROUROS-用於機器學習系統中漂移檢測的開源Python庫。
• Torchdrift- Pytorch的數據和概念漂移庫。

功能工程

與特徵工程有關的工具和庫。

• 功能引擎 - 具有Sklearn類似功能的功能工程包。
• FeatureTools -Python庫用於自動化功能工程。
• TSFRESH- PYTHON庫，用於自動提取時間序列的相關功能。

功能存儲

功能存儲工具用於數據服務。

• Butterfree-用於建築功能商店的工具。將您的原始數據轉換為美麗的功能。
• BYTEHUB-易於使用的功能商店。針對時間序列數據進行了優化。
• 盛宴 - 用於機器學習的端到端開源功能商店。
• FEATHR-企業級高性能功能商店。
• 功能形式 - 虛擬功能存儲。將您現有的數據基礎架構變成功能存儲。
• Tecton-一個完整的功能平台，旨在精心設計功能的完整生命週期。

高參數調整

工具和庫執行超參數調整。

• 顧問 - Google Vizier進行超級參數調整的開源實現。
• Hyperas-非常簡單的包裝器，可方便地參數優化。
• python中的HyperOPT-分佈式異步超參數優化。
• KATIB-基於Kubernetes的高參數調整和神經體系結構搜索系統。
• Kerastuner-易於使用，可擴展的超參數優化框架。
• Optuna-開源超參數優化框架以自動化超參數搜索。
• Scikit優化 - 簡單有效的庫，以最大程度地減少昂貴且嘈雜的黑盒功能。
• TALOS-張量，keras和pytorch的高參數優化。
• Tune -Python庫進行實驗執行和任何規模的超參數調整。

知識共享

與整個團隊/公司共享知識的工具。

• 知識回購 - 數據科學家和其他技術專業的知識共享平台。
• Kyso-一個用於數據見解的地方，以便您的整個團隊可以從數據中學習。

機器學習平台

完整的機器學習平台解決方案。

• AIWARE- AIWARE幫助MLOPS團隊評估，部署，集成，擴展和監視ML模型。
• 算法 - 通過健康的ML生命週期安全地控制機器學習操作。
• Allegro AI-將ML/DL研究轉化為產品。快點。
• Bodywork-部署在Python開發的機器學習項目到Kubernetes。
• CNVRG-一個端到端的機器學習平台，可大規模構建和部署AI模型。
• Dagshub-建立在用於數據，模型和管道管理的開源工具上的平台。
• Dataiku-平台將對數據的訪問民主化，並使企業能夠建立自己通往AI的道路。
• DataRobot-AI平台將數據科學民主化並自動化端到端ML的大規模自動化。
• 多米諾骨牌 - 數據科學工具，應用程序，結果，模型和知識的一個地方。
• 邊緣衝動 - 用於創建，優化和部署邊緣設備的AI/ML算法的平台。
• Envd-數據科學和AI/ML工程團隊的機器學習開發環境。
• FEDML-簡化任何規模的聯合學習的工作流程。
• 梯度 - 機器學習團隊的多雲CI/CD和MLOPS平台。
• H2O- AI的開源負責人，其使命是為每個人進行民主化。
• Hopsworks-開源平台，用於開發和操作機器學習模型。
• Iguazio-數據科學平台，該平台可自動使用端到端機器學習管道自動化MLOP。
• Katonic-使用Katonic MLOPS平台自動化您的智能週期。
• Knime-使用一個簡單而直觀的環境來創建和生產數據科學。
• KubeFlow-將ML工作流部署在Kubernetes上的簡單，便攜式和可擴展性。
• Lynxkite-一個完整的圖形數據科學平台，用於非常大的圖形和其他數據集。
• ML工作區 - 基於Web的多合一IDE專門用於機器學習和數據科學。
• MLREEF-開源MLOPS平台，可幫助您協作，複製和分享您的ML工作。
• Modzy-在企業和邊緣中部署，連接，運行和監視機器學習（ML）模型。
• neu.ro-將開源和專有工具集成到客戶端系統中的MLOPS平台。
• Omnimizer-通過彌合ML模型和邊緣硬件之間的差距來簡化和加速MLOP。
• pachyderm-將數據譜係與Kubernetes上的端到端管道結合在一起，為企業設計。
• Polyaxon-一個可再現可擴展的機器學習和對Kubernetes的深度學習的平台。
• Sagemaker-完全管理的服務，可快速構建，培訓和部署ML模型的能力。
• SAS VIYA-支持分析生命週期的雲本地AI，分析和數據管理平台。
• Sematic-一種開源端到端管道工具，可立即從筆記本電腦原型到雲。
• Sigopt-一個平台，可以輕鬆跟踪跑步，可視化訓練和縮放超參數調整。
• TrueFoundry- Kubernetes上的一個雲本地MLOP平台，以簡化ML模型的培訓和服務。
• Valohai-在管理整個模型生命週期的同時，將您從POC到生產。

榜樣公平和隱私

在生產中執行模型公平和隱私的工具。

• AIF360-數據集和機器學習模型的一組全面的公平指標。
• Fairlearn -Python軟件包，用於評估和改善機器學習模型的公平性。
• OPACUS-一個可以培訓具有不同隱私的Pytorch模型的庫。
• TensorFlow隱私 - 用於培訓機器學習模型的圖書館，具有用於培訓數據的隱私。

模型解釋性

執行模型可解釋性/解釋性的工具。

• Alibi-開源Python庫啟用ML模型檢查和解釋。
• Captum-模型的解釋性和理解Pytorch的庫。
• ELI5- Python軟件包，有助於調試機器學習分類器並解釋其預測。
• 解釋 - 一種工具包，可幫助了解模型並啟用負責任的機器學習。
• 石灰 - 解釋任何機器學習分類器的預測。
• Lucid-收集基礎架構和用於神經網絡可解釋性研究的工具。
• SAGE-用於使用Shapley值計算全球特徵的重要性。
• Shap-一種遊戲理論方法，可以解釋任何機器學習模型的輸出。

模型生命週期

管理模型生命週期的工具（跟踪實驗，參數和指標）。

• 航空氣流 - 用於對重量和偏見進行可重複的AI和ML的框架。
• AIM-一種超級令人愉悅的方式，用於記錄，搜索和比較1000次ML培訓運行。
• 級聯 - 用於快速原型和實驗管理的ML工程工具庫。
• 彗星 - 跟踪數據集，代碼更改，實驗歷史記錄和模型。
• 公會AI-開源實驗跟踪，管道自動化和高參數調整。
• KeepSake-機器學習的版本控制，並支持Amazon S3和Google Cloud Storage。
• Losswise-使跟踪機器學習項目的進度變得容易。
• MLFLOW-機器學習生命週期的開源平台。
• MODELDB-開源ML模型版本，元數據和實驗管理。
• Neptune AI-適合任何工作流程的最輕巧的實驗管理工具。
• 神聖 - 一種工具，可以幫助您配置，組織，日誌和復制實驗。
• 權重和偏見 - 一種可視化和跟踪機器學習實驗的工具。

模型服務

用於生產模型的工具。

• 香蕉 - 在無服務器GPU上託管您的ML推理代碼，並將其與一行代碼集成到您的應用中。
• 梁 - 在無服務器GPU，部署高性能API和快速原型ML模型上開發。
• Bentoml-高性能ML模型服務的開源平台。
• 預算 - 以少於10行代碼的預算部署ML推理服務。
• COG-開源工具，可讓您在標準的，可製作生產的容器中包裝ML型號。
• 皮層 - 機器學習模型服務基礎架構。
• Geniusrise-主機推理API，批量推理和微調文本，視覺，音頻和多模式模型。
• Gradio-圍繞模型創建可自定義的UI組件。
• GraphPipe-機器學習模型部署變得簡單。
• 水圈 - 將機器學習部署到生產的平台。
• KFServing -Kubernetes自定義資源定義用於在任意框架上使用ML模型。
• Localai-與OpenAI API規格兼容用於推斷的替換REST API。
• 梅林 - 一個用於部署和服務機器學習模型的平台。
• MLEM-版本並按照Gitops原則部署ML模型。
• OPYRATOR-使用Web API，Interactive GUI等將ML代碼轉換為微服務。
• 預測 - 事件收集，算法的部署，評估，通過API查詢預測結果。
• Quix-無服務器平台，用於使用機器學習模型實時處理數據流。
• 符文 - 提供封裝和部署Edgeml管道和應用程序的容器。
• Seldon-將您的ML項目從POC到生產，最高效率和最小的風險。
• 簡化 - 可讓您使用欺騙性簡單的Python腳本為您的ML項目創建應用程序。
• Tensorflow服務 - 用於生產的ML模型的靈活，高性能服務系統。
• Torchserve-一種可靈活且易於使用的工具，用於服務Pytorch型號。
• Triton推理服務器 - 提供了優化的雲和邊緣推理解決方案。
• Vespa-在服務時間對大數據進行商品搜索，組織和進行機器學習的推論。
• wallaroo.ai-一個用於在雲和邊緣環境中部署，服務和優化ML模型的平台。

模型測試和驗證

測試和驗證模型的工具。

• Deepnecks-帶有各種檢查和套房的ML模型和數據的開源軟件包。
• 《星際》 - 用於建立模型，評估和微調的MLOPS/LLMOPS平台。
• Trubrics-使用數據科學和域專家反饋驗證機器學習。

優化工具

優化工具與生產中的模型可伸縮性有關。

• 加速 - 一種使用多GPU，TPU，混合精液訓練和使用Pytorch型號的簡單方法。
• dask-為分析提供高級並行性，為您喜歡的工具提供大規模的性能。
• 深速 - 深度學習優化庫，使分佈式培訓變得容易，高效且有效。
• 光纖 - 現代計算機簇的Python分發計算庫。
• HOROVOD-分佈式的深度學習訓練框架，用於Tensorflow，Keras，Pytorch和Apache MXNET。
• Mahout-分佈式線性代數框架和數學表達性的Scala DSL。
• MLLIB- Apache Spark的可擴展機器學習庫。
• modin-通過更改單行代碼來加快熊貓工作流程。
• nebullvm-易於使用的庫，可提高AI推理。
• NOS-以優化的方式在Kubernetes上運行AI工作負載的開源模塊。
• Petastorm-啟用單機器或分佈式培訓以及深度學習模型的評估。
• Rapids-賦予能夠完全在GPU上執行端到端數據科學和分析管道。
• 射線 - 用於構建和運行分佈式應用程序的快速而簡單的框架。
• Singa -Apache頂級項目，專注於DL和ML模型的分佈式培訓。
• TPOT-使用遺傳編程優化機器學習管道的自動ML工具。

簡化工具

與機器學習相關的工具簡化和標準化。

• 底盤 - 將模型變成幾乎任何地方運行的ML友好容器。
• 赫敏 - 幫助數據科學家以更簡單，更簡單的方式來建立更多有組織的代碼。
• Hydra-用於優雅配置複雜應用程序的框架。
• 考拉 - 阿帕奇火花上的熊貓API。在與大數據互動時，使數據科學家提高了生產力。
• 路德維希（Ludwig） - 允許用戶無需編寫代碼而訓練和測試深度學習模型。
• mlnotify-無需繼續檢查您的培訓，只有一條進口行，您會知道它已經完成的第二條。
• Pycaret -Python的開源，低代碼機學習庫。
• Sagify-在AWS SageMaker上訓練和部署ML/DL模型的CLI實用程序。
• Soopervisor-向Kubernetes（Argo Workfrows），氣流，AWS批處理和Slurm出口ML項目。
• Soorgeon-將整體式jupyter筆記本電腦轉換為可維護的管道。
• traingenerator-一個用於生成機器學習模板代碼的Web應用程序。
• Turi創建 - 簡化自定義機器學習模型的開發。

視覺分析和調試

進行視覺分析和調試ML/DL模型的工具。

• Aporia-可觀察性，具有ML模型的自定義監視和解釋性。
• Arize-免費的端到端ML可觀察性和模型監視平台。
• 顯然 - 交互式報告以分析驗證或生產監控過程中的ML模型。
• 提琴手 - 監視，解釋和分析您的AI生產中的AI。
• 歧管 - 用於機器學習的模型 - 不合穩定的視覺調試工具。
• Nannyml-算法能夠完全捕獲數據漂移對性能的影響。
• Netron-神經網絡，深度學習和機器學習模型的可視化器。
• OPIK-使用一套可觀察性工具評估，測試和運送LLM應用程序。
• Phoenix-用於故障排除和微調生成LLM，CV和表格模型的筆記本中的MLOP。
• 激光 - 用於監視生產中AI模型的開源解決方案。
• 超級方 - 在自助服務SaaS平台中的全自動，企業級模型可觀察性。
• Whylogs-數據記錄的開源標準。啟用ML監視和可觀察性。
• 黃磚 - 視覺分析和診斷工具，可促進機器學習模型選擇。

工作流工具

在機器學習環境中創建工作流或管道的工具和框架。

• Argo-開源容器本地工作流程引擎，用於在Kubernetes上進行平行工作。
• Automate Studio-快速構建和部署AI驅動的工作流程。
• Couler-用於在不同工作流引擎上構建和管理工作流程的統一界面。
• DSTACK-一種自動化數據和培訓工作流程的開核工具。
• Flyte-易於創建用於機器學習的並發，可擴展和可維護的工作流程。
• 漢密爾頓 - 用於定義數據流的可擴展通用微框架。
• 羽衣甘藍 - 旨在簡化部署kubeflow管道工作流的數據科學經驗。
• KEDRO-在數據和ML管道上實現軟件工程最佳實踐的庫。
• Luigi- Python模塊，可幫助您構建批處理作業的複雜管道。
• 元流 - 對人類友好的自由，可幫助科學家和工程師構建和管理數據科學項目。
• MLRUN-數據科學家構建，運行和監視ML任務和管道的通用機制。
• 管弦樂隊 - 視覺管道編輯器和工作流編排，易於使用UI，並基於Kubernetes。
• ploomber-編寫可維護的，可維護的生產的管道。在本地開發，部署到雲。
• 豪宅 - 專為現代基礎設施而設計的工作流管理系統。
• VDP-一種開源工具，將無縫的AI無縫集成到現代數據堆棧中。
• Wordware-非技術領域專家可以構建特定於任務的AI代理的Web主持IDE。
• Zenml-一種可擴展的開源MLOPS框架，可創建可再現管道。

---

資源

在哪裡可以發現新工具並討論現有工具。

文章

• 參觀端到端機器學習平台（DataBaseline）
• 連續交付機器學習（Martin Fowler）
• 傳達MLOP的願景：基於成熟的方法（GIGAOM）
• 機器學習操作（MLOPS）：概述，定義和體系結構（ARXIV）
• MLOPS路線圖：完整的MLOPS職業指南（Scaleer Blogs）
• MLOP：機器學習中的連續交付和自動化管道（Google）
• MLOP：機器學習作為工程學科（媒介）
• 機器學習規則：ML工程的最佳實踐（Google）
• ML測試分數：ML生產準備和降低技術債務的標題（Google）
• 什麼是MLOPS？ （nvidia）

圖書

• 用MLFLOW（apress）開始MLOPS
• 建造機器學習管道（O'Reilly）
• 建造機器學習動力應用程序（O'Reilly）
• 生產深度學習（AI夏季）
• 設計機器學習系統（O'Reilly）
• 工程MLOPS（PACKT）
• 在企業（O'Reilly）中實施MLOP
• 引入MLOP（O'Reilly）
• 用於機器學習的KubeFlow（O'Reilly）
• Kubeflow操作指南（O'Reilly）
• 機器學習設計模式（O'Reilly）
• 機器學習工程（MANNING）
• ML OPS：操作數據科學（O'Reilly）
• MLOPS工程（Manning）
• MLOPS生命週期工具包（APRESS）
• 用MLFlow（Packt）進行大規模的實踐深度學習
• 實用的MLOP（O'Reilly）
• 準備生產的應用深度學習（Packt）
• 可靠的機器學習（O'Reilly）
• 機器學習解決方案建築師手冊（Packt）

事件

• 應用（） - ML數據工程會議
• MLOPS會議 - 主題和麵板
• MLOPS世界：生產中的機器學習會議
• NORMCONF- NORMCORE技術會議
• 斯坦福MLSYS研討會系列

其他列表

• 應用的ML
• 很棒的汽車紙
• 很棒的汽車
• 很棒的數據科學
• 很棒的數據程序
• 很棒的深度學習
• 很棒的遊戲數據集（包括AI內容）
• 很棒的機器學習
• 很棒的MLOP
• 很棒的生產機器學習
• 很棒的python
• 生產深度學習

podcast

• AI如何構建這個
• Google的Kubernetes播客
• 機器學習 - 軟件工程每日
• MLOPS.Community
• 管道對話
• 實用AI：機器學習，數據科學
• 本週機器學習和AI
• 真正的ML談話

鬆弛

• KubeFlow工作區
• MLOPS社區Wokspace

網站

• ML的功能存儲
• 用ML製成
• ML-OPS
• MLOPS社區
• MLOP指南
• 現在

貢獻

歡迎所有貢獻！請先查看貢獻指南。