pai

AI的开放平台（OpenPAI）

v1.8.1发行后，OpenPAI进入了稳定模式，没有计划发布重大功能。为了节省维护工作，我们更改了存储库以读取模式。有关协作，请直接联系Repo Admin。

随着v1.0的发布，OpenPAI正在改用更强大，更强大，更轻巧的体系结构。 OpenPAI也变得越来越模块化，因此可以轻松地定制和扩展该平台以适合新需求。 OpenPAI还提供了许多AI用户友好的功能，使最终用户和管理员更容易完成每日AI任务。

目录

• 何时考虑OpenPai
• 为什么选择OpenPai
  • 支持本地和易于部署
  • 支持流行的AI框架和异质硬件
  • 最完整的解决方案，易于扩展
• 开始
  • 用于集群管理员
  • 用于群集用户
• 独立组件
• 参考
• 相关项目
• 介入
• 如何贡献
  • 贡献者许可协议
  • 要求贡献
  • 谁应该考虑为OpenPai做出贡献
  • 贡献者

何时考虑OpenPai

1. 当您的组织需要在团队中共享强大的AI计算资源（GPU/FPGA农场等）时。
2. 当您的组织需要共享和重复使用模型，数据，环境等的常见AI资产时。
3. 当您的组织需要一个简单的IT OPS平台用于AI。
4. 当您想在一个地方运行完整的培训管道时。

为什么选择OpenPai

该平台结合了成熟的设计，该设计在微软的大规模生产环境中具有良好的往绩。

支持本地和易于部署

OpenPAI是一个完整的堆栈解决方案。 OpenPAI不仅支持本地，混合动力或公共云部署，而且还支持针对试用用户的单箱部署。

支持流行的AI框架和异质硬件

流行AI框架的预建码头。易于包括异质硬件。支持分布式培训，例如分布式张力流。

最完整的解决方案，易于扩展

OpenPAI是最完整的解决方案，用于深度学习，支持虚拟群集，与Kubernetes Eco-System兼容，一个集群的完整培训管道等。OpenPAI以模块化的方式进行了架构：可以在适当的情况下插入不同的模块。这是OpenPAI的架构，突出了该平台的技术创新。

开始

OpenPAI管理计算资源，并针对深度学习进行了优化。通过Docker Technology，计算硬件是用软件解耦的，因此可以易于运行分布式作业，使用不同的深度学习框架进行切换或在一致的环境上运行其他类型的作业。

由于OpenPai是一个平台，因此通常有两个不同的角色：

• 群集用户是集群计算资源的消费者。根据部署方案，集群用户可以是机器学习和深度学习，数据科学家，实验室老师，学生等的研究人员。
• 集群管理员是计算资源的所有者和维护者。管理员负责集群的部署和可用性。

OpenPAI为群集用户和管理员提供端到端手册。

用于集群管理员

管理手册是集群管理员的综合指南，涵盖（但不限于）以下内容：

• 安装和升级。安装基于Kubespray，这是系统要求。 OpenPAI提供了一个安装指南，以促进安装。

  如果您正在考虑从较旧版本升级到最新的v1.0.0，请参阅下表以进行v0.14.0和v1.0.0之间的简短比较。有关升级注意事项的更多详细信息可以找到升级指南。

  	v0.14.0	v1.0.0
  建筑学	Kubernetes + Hadoop纱	Kubernetes
  调度程序	纱线调度程序	hived / k8s默认
  工作编排	纱线框架发射器	框架控制器
  宁静的API	V1 + V2	纯V2
  贮存	团队储存插件	PV/PVC存储共享
  市场	市场v2	OpenPaimarketplace
  SDK	Python	JavaScript /打字稿

  如果部署期间有任何问题，请检查安装常见问题解答并首先进行故障排除。如果尚未涵盖，请参阅此处提出问题或提交问题。

• 基本集群管理。通过Web-portal和命令行工具paictl ，管理员可以完成集群管理，例如添加（或删除）节点，监视节点和服务以及Storages设置和权限控制。

• 用户和组管理。管理员可以轻松管理用户和组。

• 警报管理。管理员可以自定义警报规则和操作。

• 定制。管理员可以通过插件自定义集群。管理员还可以升级（或降级）单个组件（例如REST服务器）来解决自定义的应用程序需求。

用于群集用户

用户手册是针对群集用户的指导，他们可以在OpenPAI上训练和执行深度学习（和其他）任务。

• 工作提交和监视。快速启动教程是学习如何在OpenPAI上培训模型的良好开始。这里还有更多示例和支持多个主流框架（开箱即用的Docker图像）。 OpenPAI还为良好的辩论性和高级工作功能提供支持。

• 数据管理。用户可以在其工作中使用群集配置的存储和自定义存储。群集配置的存储量已经很好地集成且易于在作业中配置（请参阅此处）。

• 协作与共享。 OpenPAI为团队和组织中的合作提供了设施。群集配置的存放者由团队（组）组织。用户可以轻松地在市场上分享他们的作品（例如作业），在市场上，其他人可以通过一键单击发现和繁殖（克隆）。

除WebPortal外，OpenPAI还提供VS代码扩展名和命令行工具（预览）。 VS代码扩展是OpenPAI的友好，基于GUI的客户工具，强烈建议您使用。这是Visual Studio代码的扩展。它可以提交作业，在本地模拟工作，管理多个OpenPAI环境等等。

独立组件

使用v1.0.0版本，OpenPAI开始使用更模块化的组件设计，并将代码结构与7个独立的密钥组件存储库一起重新组织为1个主仓库。 PAI是主要存储库，7个组件存储库是：

• HIVEDSCHEDULER是多租户GPU群集的Kubernetes调度程序扩展程序，它比标准K8S调度程序具有各种优势。
• FrameworkController旨在通过单个控制器在Kubernetes上进行各种应用程序。
• OpenPAI-Protocol是OpenPAI作业协议的规范。
• OpenPAI-Runtime提供了运行时支持，这是OpenPAI协议所必需的。
• OpenPaisdk是一个JavaScript SDK，旨在促进OpenPAI的开发人员提供更多用户友好的体验。
• OpenPaimAkaretPlace是一项存储示例和工作模板的服务。用户可以将其从WebPortal插件使用它来分享他们的工作或运行其他人的共享作业。
• OpenPaivScode是VSCODE扩展程序，它使用户连接OpenPAI群集，提交AI工作，在本地模拟作业并轻松地在VSCODE中管理文件。

参考

• Pytorch CIFAR-10和TensorFlow CIFAR-10工作示例
• 宁静的API
• 如果您很好奇，可以在这里找到设计文档。

相关项目

针对开放性和进步最先进的技术，微软研究（MSR）和Microsoft软件技术中心（STCA）也发布了其他开源项目。

• NNI：用于神经体系结构搜索和超参数调整的开源自动工具包。我们鼓励研究人员和学生利用这些项目来加速AI的开发和研究。
• MMDNN：一种全面的，跨框架的解决方案，可转换，可视化和诊断深神经网络模型。 MMDNN中的“ MM”代表模型管理，“ DNN”是深神经网络的首字母缩写。
• Neuronblocks：NLP深度学习建模工具包，可帮助工程师构建DNN模型，例如玩乐。该工具包的主要目标是最大程度地减少NLP深神经网络模型建立成本的开发成本，包括培训和推理阶段。
• SPTAG：空间分区树和图（SPTAG）是大型矢量近似最近的邻居搜索方案的开源库。

介入

• 堆栈溢出：如果您对OpenPai有疑问，请在标签下方提交问题：OpenPai
• 吉特聊天：您也可以在Microsoft/PAI对话中提出问题。
• 创建问题或功能请求：如果您有问题/错误/新功能，请将其提交给GitHub。

如何贡献

贡献者许可协议

该项目欢迎贡献和建议。大多数捐款要求您同意撰写贡献者许可协议（CLA），宣布您有权并实际上授予我们使用您的贡献的权利。有关详细信息，请访问https://cla.microsoft.com。

当您提交拉动请求时，CLA机器人将自动确定您是否需要提供CLA并适当装饰PR（例如，标签，评论）。只需按照机器人提供的说明即可。您只需要使用我们的CLA在所有存储库中进行一次。

该项目采用了Microsoft开源的行为代码。有关更多信息，请参见《行为守则常见问题守则》或与其他问题或评论联系[email protected]。

要求贡献

我们正在研究一系列主要功能改进和重构，任何熟悉这些功能的人都可以在相应的问题票中加入设计评论和讨论。

• GPU公平用法问题4266

谁应该考虑为OpenPai做出贡献

• 想要增加支持其他ML和DL框架的人
• 想要使OpenPAI成为更丰富的AI平台的人们（例如，支持更多ML管道，高参数调整）
• 想要写教程/博客文章的人们，展示了如何使用OpenPai解决AI问题

贡献者

OpenPAI的关键目的是支持学术界和行业的高度多样化的要求。 OpenPAI完全开放：它在MIT许可下。这使得OpenPAI在评估各种研究思想中特别有吸引力，其中包括但不限于组件。

OpenPAI以开放式模型运行。它最初是由Microsoft Research（MSR）和Microsoft软件技术中心（STCA）平台团队设计和开发的。我们很高兴能拥有北京大学，西亚北大学，智格大学，中国科学技术大学以及上海Inesa ai Innovation Center（Shaiic）加入了我们，共同开发了该平台。非常欢迎学术界和工业的贡献。