awesome mlops

很棒的MLOP

精选的很棒的MLOP工具列表。

灵感来自很棒的佩顿。

• 很棒的MLOP
  • 汽车
  • CI/CD用于机器学习
  • CRON工作监控
  • 数据目录
  • 数据丰富
  • 数据探索
  • 数据管理
  • 数据处理
  • 数据验证
  • 数据可视化
  • 漂移检测
  • 功能工程
  • 功能存储
  • 高参数调整
  • 知识共享
  • 机器学习平台
  • 榜样公平和隐私
  • 模型解释性
  • 模型生命周期
  • 模型服务
  • 模型测试和验证
  • 优化工具
  • 简化工具
  • 视觉分析和调试
  • 工作流工具
• 资源
  • 文章
  • 图书
  • 事件
  • 其他列表
  • 播客
  • 松弛
  • 网站
• 贡献

---

汽车

执行汽车的工具。

• AutoGluon-图像，文本，表格，时间序列和多模式数据的自动化机器学习。
• Autokeras -Autokeras目标是使每个人都可以访问机器学习。
• AutopyTorch- Pytorch的自动体系结构搜索和超参数优化。
• AutoSklearn-自动化机器学习工具包和Scikit-Learn估算器的置换式替换。
• evalml-使用域特异性函数来构建，优化和评估ML管道的库。
• FLAML-在自动，有效，经济上找到准确的ML模型。
• H2O Automl-自动化ML工作流程，其中包括自动培训和模型调整。
• MindSDB-数据库的AI层，可让您轻松开发，训练和部署ML模型。
• MLBOX -MLBOX是一个功能强大的自动化机器学习Python库。
• 模型搜索 - 实现自动算法的模型体系结构搜索的框架。
• NNI-一种用于自动化机器学习生命周期的开源汽车工具包。

CI/CD用于机器学习

用于执行CI/CD进行机器学习的工具。

• ClearMl-自动魔术CI/CD简化您的ML工作流程。
• CML-用于在机器学习项目中实现CI/CD的开源库。
• Kitops - 开源MLOPS项目，可以简化数据科学家和DevOps之间的模型交接。

CRON工作监控

监视Cron工作的工具（重复工作）。

• cronitor-监视任何CRON作业或计划的任务。
• HealthChecksio-简单有效的CRON工作监控。

数据目录

数据编目的工具。

• Amundsen-数据发现和元数据引擎，用于提高与数据交互时的生产率。
• Apache Atlas-提供开放的元数据管理和治理功能来构建数据目录。
• CKAN-用于为数据中心和数据门户供电的开源DMS（数据管理系统）。
• DataHub- LinkedIn的广义元数据搜索和发现工具。
• MAGDA-用于所有大数据和小数据的联合，开源数据目录。
• Metacat-统一元数据探索API服务，用于Hive，RDS，Teradata，Redshift，S3和Cassandra。
• OpenMetadata-一个可以发现，协作和获取数据正确的地方。

数据丰富

数据丰富的工具和库。

• 浮潜 - 一种用于快速生成培训数据的系统。
• upgini-丰富了培训数据集，并具有来自公共和社区共享数据源的功能。

数据探索

执行数据探索的工具。

• Apache Zeppelin-启用数据驱动的交互式数据分析和协作文档。
• Bamboolib-熊猫数据框的直观GUI。
• DataPrep-在Python中收集，清洁和可视化数据。
• Google Colab-托管了jupyter笔记本电脑服务，不需要设置才能使用。
• Jupyter笔记本 - 用于交互式计算的基于Web的笔记本电脑环境。
• Jupyterlab-项目jupyter的下一代用户界面。
• jupytext- jupyter笔记本作为Markdown Documents，Julia，Python或R脚本。
• PANDAS PROPILING-创建来自PANDAS DataFrame对象的HTML分析报告。
• polynote-具有一流的Scala支持的多面笔记本。

数据管理

执行数据管理的工具。

• Arrikto-杂种Kubernetes世界的简单简单，超快的存储。
• BlazingSQL-轻巧的GPU加速，SQL引擎，用于Python。建立在急流CUDF上。
• Delta Lake-带来可扩展的储存层，酸交易到Apache Spark和其他发动机。
• DOLT -SQL数据库，您可以像GIT存储库一样分叉，克隆，分支，合并，推和拉。
• DUD-一种轻巧的CLI工具，用于与源代码以及构建数据管道一起版本的数据控制。
• DVC-数据集和机器学习模型的管理和版本。
• Git LFS-用于版本化大文件的开源GIT扩展名。
• 集线器 - 用于在任何大小的AI数据集上创建，存储和协作的数据集格式。
• 摄入量 - 一组轻巧的工具，用于在数据科学项目中加载和共享数据。
• Lakefs-可重复的，原子和版本的数据湖在物体存储之上。
• Marquez-收集，汇总和可视化数据生态系统的元数据。
• MILVUS-由Faiss，Nmslib和烦恼提供动力的开源嵌入向量相似性搜索引擎。
• Pinecone-轻型SDK使用的托管和分布式向量相似性搜索。
• QDRANT-带有扩展过滤支持的开源矢量相似性搜索引擎。
• 被子 - 具有S3支持的自组织数据中心。

数据处理

与数据处理和数据管道有关的工具。

• 气流 - 编程作者，时间表和监视工作流的平台。
• Azkaban-在LinkedIn创建的批处理工作流程调度程序以运行Hadoop作业。
• DAGSTER-用于机器学习，分析和ETL的数据编排。
• Hadoop-框架，允许在群集之间分布式数据集分布式处理。
• OpenRefine-用于使用混乱数据并改进数据的电动工具。
• Spark - 用于大规模数据处理的统一分析引擎。

数据验证

与数据验证有关的工具。

• Cerberus- Python的轻巧，可扩展的数据验证库。
• 清洁行 - 以数据为中心的AI和机器学习的Python库，具有混乱的现实数据和标签。
• 巨大的期望 - 一个Python数据验证框架，允许针对数据集测试您的数据。
• JSON Schema-词汇量，允许您注释和验证JSON文档。
• TFDV-用于探索和验证机器学习数据的库。

数据可视化

数据可视化，报告和仪表板的工具。

• 计数 - 基于笔记本的SQL/拖放查询和可视化工具。
• Dash- Python，R，Julia和Jupyter的分析网络应用程序。
• 数据工作室 - 为想要超越GA的数据和仪表板的电力用户报告解决方案。
• 方面 - 用于理解和分析机器学习数据集的可视化。
• Grafana-多平台开源分析和交互式可视化Web应用程序。
• LUX-通过自动化可视化和数据分析过程来快速简便的数据探索。
• Metabase-最简单，最快的方法是为所有人获取商业智能和分析。
• REDASH-连接到任何数据源，可以轻松可视化，仪表板并共享您的数据。
• Solidui- AI生成的可视化原型制作和编辑平台，支持2D和3D模型。
• 超集团 - 现代，可企业就绪的商业智能网络应用程序。
• Tableau-商业智能行业中使用的功能强大，增长最快的数据可视化工具。

漂移检测

工具和库与漂移检测有关。

• alibi检测 - 开源Python库，重点是离群值，对抗和漂移检测。
• FROUROS-用于机器学习系统中漂移检测的开源Python库。
• Torchdrift- Pytorch的数据和概念漂移库。

功能工程

与特征工程有关的工具和库。

• 功能引擎 - 具有Sklearn类似功能的功能工程包。
• FeatureTools -Python库用于自动化功能工程。
• TSFRESH- PYTHON库，用于自动提取时间序列的相关功能。

功能存储

功能存储工具用于数据服务。

• Butterfree-用于建筑功能商店的工具。将您的原始数据转换为美丽的功能。
• BYTEHUB-易于使用的功能商店。针对时间序列数据进行了优化。
• 盛宴 - 用于机器学习的端到端开源功能商店。
• FEATHR-企业级高性能功能商店。
• 功能形式 - 虚拟功能存储。将您现有的数据基础架构变成功能存储。
• Tecton-一个完整的功能平台，旨在精心设计功能的完整生命周期。

高参数调整

工具和库执行超参数调整。

• 顾问 - Google Vizier进行超级参数调整的开源实现。
• Hyperas-非常简单的包装器，可方便地参数优化。
• python中的HyperOPT-分布式异步超参数优化。
• KATIB-基于Kubernetes的高参数调整和神经体系结构搜索系统。
• Kerastuner-易于使用，可扩展的超参数优化框架。
• Optuna-开源超参数优化框架以自动化超参数搜索。
• Scikit优化 - 简单有效的库，以最大程度地减少昂贵且嘈杂的黑盒功能。
• TALOS-张量，keras和pytorch的高参数优化。
• Tune -Python库进行实验执行和任何规模的超参数调整。

知识共享

与整个团队/公司共享知识的工具。

• 知识回购 - 数据科学家和其他技术专业的知识共享平台。
• Kyso-一个用于数据见解的地方，以便您的整个团队可以从数据中学习。

机器学习平台

完整的机器学习平台解决方案。

• AIWARE- AIWARE帮助MLOPS团队评估，部署，集成，扩展和监视ML模型。
• 算法 - 通过健康的ML生命周期安全地控制机器学习操作。
• Allegro AI-将ML/DL研究转化为产品。快点。
• Bodywork-部署在Python开发的机器学习项目到Kubernetes。
• CNVRG-一个端到端的机器学习平台，可大规模构建和部署AI模型。
• Dagshub-建立在用于数据，模型和管道管理的开源工具上的平台。
• Dataiku-平台将对数据的访问民主化，并使企业能够建立自己通往AI的道路。
• DataRobot-AI平台将数据科学民主化并自动化端到端ML的大规模自动化。
• 多米诺骨牌 - 数据科学工具，应用程序，结果，模型和知识的一个地方。
• 边缘冲动 - 用于创建，优化和部署边缘设备的AI/ML算法的平台。
• Envd-数据科学和AI/ML工程团队的机器学习开发环境。
• FEDML-简化任何规模的联合学习的工作流程。
• 梯度 - 机器学习团队的多云CI/CD和MLOPS平台。
• H2O- AI的开源负责人，其使命是为每个人进行民主化。
• Hopsworks-开源平台，用于开发和操作机器学习模型。
• Iguazio-数据科学平台，该平台可自动使用端到端机器学习管道自动化MLOP。
• Katonic-使用Katonic MLOPS平台自动化您的智能周期。
• Knime-使用一个简单而直观的环境来创建和生产数据科学。
• KubeFlow-将ML工作流部署在Kubernetes上的简单，便携式和可扩展性。
• Lynxkite-一个完整的图形数据科学平台，用于非常大的图形和其他数据集。
• ML工作区 - 基于Web的多合一IDE专门用于机器学习和数据科学。
• MLREEF-开源MLOPS平台，可帮助您协作，复制和分享您的ML工作。
• Modzy-在企业和边缘中部署，连接，运行和监视机器学习（ML）模型。
• neu.ro-将开源和专有工具集成到客户端系统中的MLOPS平台。
• Omnimizer-通过弥合ML模型和边缘硬件之间的差距来简化和加速MLOP。
• pachyderm-将数据谱系与Kubernetes上的端到端管道结合在一起，为企业设计。
• Polyaxon-一个可再现可扩展的机器学习和对Kubernetes的深度学习的平台。
• Sagemaker-完全管理的服务，可快速构建，培训和部署ML模型的能力。
• SAS VIYA-支持分析生命周期的云本地AI，分析和数据管理平台。
• Sematic-一种开源端到端管道工具，可立即从笔记本电脑原型到云。
• Sigopt-一个平台，可以轻松跟踪跑步，可视化训练和缩放超参数调整。
• TrueFoundry- Kubernetes上的一个云本地MLOP平台，以简化ML模型的培训和服务。
• Valohai-在管理整个模型生命周期的同时，将您从POC到生产。

榜样公平和隐私

在生产中执行模型公平和隐私的工具。

• AIF360-数据集和机器学习模型的一组全面的公平指标。
• Fairlearn -Python软件包，用于评估和改善机器学习模型的公平性。
• OPACUS-一个可以培训具有不同隐私的Pytorch模型的库。
• TensorFlow隐私 - 用于培训机器学习模型的图书馆，具有用于培训数据的隐私。

模型解释性

执行模型可解释性/解释性的工具。

• Alibi-开源Python库启用ML模型检查和解释。
• Captum-模型的解释性和理解Pytorch的库。
• ELI5- Python软件包，有助于调试机器学习分类器并解释其预测。
• 解释 - 一种工具包，可帮助了解模型并启用负责任的机器学习。
• 石灰 - 解释任何机器学习分类器的预测。
• Lucid-收集基础架构和用于神经网络可解释性研究的工具。
• SAGE-用于使用Shapley值计算全球特征的重要性。
• Shap-一种游戏理论方法，可以解释任何机器学习模型的输出。

模型生命周期

管理模型生命周期的工具（跟踪实验，参数和指标）。

• 航空气流 - 用于对重量和偏见进行可重复的AI和ML的框架。
• AIM-一种超级令人愉悦的方式，用于记录，搜索和比较1000次ML培训运行。
• 级联 - 用于快速原型和实验管理的ML工程工具库。
• 彗星 - 跟踪数据集，代码更改，实验历史记录和模型。
• 公会AI-开源实验跟踪，管道自动化和高参数调整。
• KeepSake-机器学习的版本控制，并支持Amazon S3和Google Cloud Storage。
• Losswise-使跟踪机器学习项目的进度变得容易。
• MLFLOW-机器学习生命周期的开源平台。
• MODELDB-开源ML模型版本，元数据和实验管理。
• Neptune AI-适合任何工作流程的最轻巧的实验管理工具。
• 神圣 - 一种工具，可以帮助您配置，组织，日志和复制实验。
• 权重和偏见 - 一种可视化和跟踪机器学习实验的工具。

模型服务

用于生产模型的工具。

• 香蕉 - 在无服务器GPU上托管您的ML推理代码，并将其与一行代码集成到您的应用中。
• 梁 - 在无服务器GPU，部署高性能API和快速原型ML模型上开发。
• Bentoml-高性能ML模型服务的开源平台。
• 预算 - 以少于10行代码的预算部署ML推理服务。
• COG-开源工具，可让您在标准的，可制作生产的容器中包装ML型号。
• 皮层 - 机器学习模型服务基础架构。
• Geniusrise-主机推理API，批量推理和微调文本，视觉，音频和多模式模型。
• Gradio-围绕模型创建可自定义的UI组件。
• GraphPipe-机器学习模型部署变得简单。
• 水圈 - 将机器学习部署到生产的平台。
• KFServing -Kubernetes自定义资源定义用于在任意框架上使用ML模型。
• Localai-与OpenAI API规格兼容用于推断的替换REST API。
• 梅林 - 一个用于部署和服务机器学习模型的平台。
• MLEM-版本并按照Gitops原则部署ML模型。
• OPYRATOR-使用Web API，Interactive GUI等将ML代码转换为微服务。
• 预测 - 事件收集，算法的部署，评估，通过API查询预测结果。
• Quix-无服务器平台，用于使用机器学习模型实时处理数据流。
• 符文 - 提供封装和部署Edgeml管道和应用程序的容器。
• Seldon-将您的ML项目从POC到生产，最高效率和最小的风险。
• 简化 - 可让您使用欺骗性简单的Python脚本为您的ML项目创建应用程序。
• Tensorflow服务 - 用于生产的ML模型的灵活，高性能服务系统。
• Torchserve-一种可灵活且易于使用的工具，用于服务Pytorch型号。
• Triton推理服务器 - 提供了优化的云和边缘推理解决方案。
• Vespa-在服务时间对大数据进行商品搜索，组织和进行机器学习的推论。
• wallaroo.ai-一个用于在云和边缘环境中部署，服务和优化ML模型的平台。

模型测试和验证

测试和验证模型的工具。

• Deepnecks-带有各种检查和套房的ML模型和数据的开源软件包。
• 《星际》 - 用于建立模型，评估和微调的MLOPS/LLMOPS平台。
• Trubrics-使用数据科学和域专家反馈验证机器学习。

优化工具

优化工具与生产中的模型可伸缩性有关。

• 加速 - 一种使用多GPU，TPU，混合精液训练和使用Pytorch型号的简单方法。
• dask-为分析提供高级并行性，为您喜欢的工具提供大规模的性能。
• 深速 - 深度学习优化库，使分布式培训变得容易，高效且有效。
• 光纤 - 现代计算机簇的Python分发计算库。
• HOROVOD-分布式的深度学习训练框架，用于Tensorflow，Keras，Pytorch和Apache MXNET。
• Mahout-分布式线性代数框架和数学表达性的Scala DSL。
• MLLIB- Apache Spark的可扩展机器学习库。
• modin-通过更改单行代码来加快熊猫工作流程。
• nebullvm-易于使用的库，可提高AI推理。
• NOS-以优化的方式在Kubernetes上运行AI工作负载的开源模块。
• Petastorm-启用单机器或分布式培训以及深度学习模型的评估。
• Rapids-赋予能够完全在GPU上执行端到端数据科学和分析管道。
• 射线 - 用于构建和运行分布式应用程序的快速而简单的框架。
• Singa -Apache顶级项目，专注于DL和ML模型的分布式培训。
• TPOT-使用遗传编程优化机器学习管道的自动ML工具。

简化工具

与机器学习相关的工具简化和标准化。

• 底盘 - 将模型变成几乎任何地方运行的ML友好容器。
• 赫敏 - 帮助数据科学家以更简单，更简单的方式来建立更多有组织的代码。
• Hydra-用于优雅配置复杂应用程序的框架。
• 考拉 - 阿帕奇火花上的熊猫API。在与大数据互动时，使数据科学家提高了生产力。
• 路德维希（Ludwig） - 允许用户无需编写代码而训练和测试深度学习模型。
• mlnotify-无需继续检查您的培训，只有一条进口行，您会知道它已经完成的第二条。
• Pycaret -Python的开源，低代码机学习库。
• Sagify-在AWS SageMaker上训练和部署ML/DL模型的CLI实用程序。
• Soopervisor-向Kubernetes（Argo Workfrows），气流，AWS批处理和Slurm出口ML项目。
• Soorgeon-将整体式jupyter笔记本电脑转换为可维护的管道。
• traingenerator-一个用于生成机器学习模板代码的Web应用程序。
• Turi创建 - 简化自定义机器学习模型的开发。

视觉分析和调试

进行视觉分析和调试ML/DL模型的工具。

• Aporia-可观察性，具有ML模型的自定义监视和解释性。
• Arize-免费的端到端ML可观察性和模型监视平台。
• 显然 - 交互式报告以分析验证或生产监控过程中的ML模型。
• 提琴手 - 监视，解释和分析您的AI生产中的AI。
• 歧管 - 用于机器学习的模型 - 不合稳定的视觉调试工具。
• Nannyml-算法能够完全捕获数据漂移对性能的影响。
• Netron-神经网络，深度学习和机器学习模型的可视化器。
• OPIK-使用一套可观察性工具评估，测试和运送LLM应用程序。
• Phoenix-用于故障排除和微调生成LLM，CV和表格模型的笔记本中的MLOP。
• 激光 - 用于监视生产中AI模型的开源解决方案。
• 超级方 - 在自助服务SaaS平台中的全自动，企业级模型可观察性。
• Whylogs-数据记录的开源标准。启用ML监视和可观察性。
• 黄砖 - 视觉分析和诊断工具，可促进机器学习模型选择。

工作流工具

在机器学习环境中创建工作流或管道的工具和框架。

• Argo-开源容器本地工作流程引擎，用于在Kubernetes上进行平行工作。
• Automate Studio-快速构建和部署AI驱动的工作流程。
• Couler-用于在不同工作流引擎上构建和管理工作流程的统一界面。
• DSTACK-一种自动化数据和培训工作流程的开核工具。
• Flyte-易于创建用于机器学习的并发，可扩展和可维护的工作流程。
• 汉密尔顿 - 用于定义数据流的可扩展通用微框架。
• 羽衣甘蓝 - 旨在简化部署kubeflow管道工作流的数据科学经验。
• KEDRO-在数据和ML管道上实现软件工程最佳实践的库。
• Luigi- Python模块，可帮助您构建批处理作业的复杂管道。
• 元流 - 对人类友好的自由，可帮助科学家和工程师构建和管理数据科学项目。
• MLRUN-数据科学家构建，运行和监视ML任务和管道的通用机制。
• 管弦乐队 - 视觉管道编辑器和工作流编排，易于使用UI，并基于Kubernetes。
• ploomber-编写可维护的，可维护的生产的管道。在本地开发，部署到云。
• 豪宅 - 专为现代基础设施而设计的工作流管理系统。
• VDP-一种开源工具，将无缝的AI无缝集成到现代数据堆栈中。
• Wordware-非技术领域专家可以构建特定于任务的AI代理的Web主持IDE。
• Zenml-一种可扩展的开源MLOPS框架，可创建可再现管道。

---

资源

在哪里可以发现新工具并讨论现有工具。

文章

• 参观端到端机器学习平台（DataBaseline）
• 连续交付机器学习（Martin Fowler）
• 传达MLOP的愿景：基于成熟的方法（GIGAOM）
• 机器学习操作（MLOPS）：概述，定义和体系结构（ARXIV）
• MLOPS路线图：完整的MLOPS职业指南（Scaleer Blogs）
• MLOP：机器学习中的连续交付和自动化管道（Google）
• MLOP：机器学习作为工程学科（媒介）
• 机器学习规则：ML工程的最佳实践（Google）
• ML测试分数：ML生产准备和降低技术债务的标题（Google）
• 什么是MLOPS？ （nvidia）

图书

• 用MLFLOW（apress）开始MLOPS
• 建造机器学习管道（O'Reilly）
• 建造机器学习动力应用程序（O'Reilly）
• 生产深度学习（AI夏季）
• 设计机器学习系统（O'Reilly）
• 工程MLOPS（PACKT）
• 在企业（O'Reilly）中实施MLOP
• 引入MLOP（O'Reilly）
• 用于机器学习的KubeFlow（O'Reilly）
• Kubeflow操作指南（O'Reilly）
• 机器学习设计模式（O'Reilly）
• 机器学习工程（MANNING）
• ML OPS：操作数据科学（O'Reilly）
• MLOPS工程（Manning）
• MLOPS生命周期工具包（APRESS）
• 用MLFlow（Packt）进行大规模的实践深度学习
• 实用的MLOP（O'Reilly）
• 准备生产的应用深度学习（Packt）
• 可靠的机器学习（O'Reilly）
• 机器学习解决方案建筑师手册（Packt）

事件

• 应用（） - ML数据工程会议
• MLOPS会议 - 主题和面板
• MLOPS世界：生产中的机器学习会议
• NORMCONF- NORMCORE技术会议
• 斯坦福MLSYS研讨会系列

其他列表

• 应用的ML
• 很棒的汽车纸
• 很棒的汽车
• 很棒的数据科学
• 很棒的数据程序
• 很棒的深度学习
• 很棒的游戏数据集（包括AI内容）
• 很棒的机器学习
• 很棒的MLOP
• 很棒的生产机器学习
• 很棒的python
• 生产深度学习

播客

• AI如何构建这个
• Google的Kubernetes播客
• 机器学习 - 软件工程每日
• MLOPS.Community
• 管道对话
• 实用AI：机器学习，数据科学
• 本周机器学习和AI
• 真正的ML谈话

松弛

• KubeFlow工作区
• MLOPS社区Wokspace

网站

• ML的功能存储
• 用ML制成
• ML-OPS
• MLOPS社区
• MLOP指南
• 现在

贡献

欢迎所有贡献！请先查看贡献指南。