pai

AI的開放平台（OpenPAI）

v1.8.1發行後，OpenPAI進入了穩定模式，沒有計劃發布重大功能。為了節省維護工作，我們更改了存儲庫以讀取模式。有關協作，請直接聯繫Repo Admin。

隨著v1.0的發布，OpenPAI正在改用更強大，更強大，更輕巧的體系結構。 OpenPAI也變得越來越模塊化，因此可以輕鬆地定制和擴展該平台以適合新需求。 OpenPAI還提供了許多AI用戶友好的功能，使最終用戶和管理員更容易完成每日AI任務。

目錄

• 何時考慮OpenPai
• 為什麼選擇OpenPai
  • 支持本地和易於部署
  • 支持流行的AI框架和異質硬件
  • 最完整的解決方案，易於擴展
• 開始
  • 用於集群管理員
  • 用於群集用戶
• 獨立組件
• 參考
• 相關項目
• 介入
• 如何貢獻
  • 貢獻者許可協議
  • 要求貢獻
  • 誰應該考慮為OpenPai做出貢獻
  • 貢獻者

何時考慮OpenPai

1. 當您的組織需要在團隊中共享強大的AI計算資源（GPU/FPGA農場等）時。
2. 當您的組織需要共享和重複使用模型，數據，環境等的常見AI資產時。
3. 當您的組織需要一個簡單的IT OPS平台用於AI。
4. 當您想在一個地方運行完整的培訓管道時。

為什麼選擇OpenPai

該平台結合了成熟的設計，該設計在微軟的大規模生產環境中具有良好的往績。

支持本地和易於部署

OpenPAI是一個完整的堆棧解決方案。 OpenPAI不僅支持本地，混合動力或公共雲部署，而且還支持針對試用用戶的單箱部署。

支持流行的AI框架和異質硬件

流行AI框架的預建碼頭。易於包括異質硬件。支持分佈式培訓，例如分佈式張力流。

最完整的解決方案，易於擴展

OpenPAI是最完整的解決方案，用於深度學習，支持虛擬群集，與Kubernetes Eco-System兼容，一個集群的完整培訓管道等。OpenPAI以模塊化的方式進行了架構：可以在適當的情況下插入不同的模塊。這是OpenPAI的架構，突出了該平台的技術創新。

開始

OpenPAI管理計算資源，並針對深度學習進行了優化。通過Docker Technology，計算硬件是用軟件解耦的，因此可以易於運行分佈式作業，使用不同的深度學習框架進行切換或在一致的環境上運行其他類型的作業。

由於OpenPai是一個平台，因此通常有兩個不同的角色：

• 群集用戶是集群計算資源的消費者。根據部署方案，集群用戶可以是機器學習和深度學習，數據科學家，實驗室老師，學生等的研究人員。
• 集群管理員是計算資源的所有者和維護者。管理員負責集群的部署和可用性。

OpenPAI為群集用戶和管理員提供端到端手冊。

用於集群管理員

管理手冊是集群管理員的綜合指南，涵蓋（但不限於）以下內容：

• 安裝和升級。安裝基於Kubespray，這是系統要求。 OpenPAI提供了一個安裝指南，以促進安裝。

  如果您正在考慮從較舊版本升級到最新的v1.0.0，請參閱下表以進行v0.14.0和v1.0.0之間的簡短比較。有關升級註意事項的更多詳細信息可以找到升級指南。

  	v0.14.0	v1.0.0
  建築學	Kubernetes + Hadoop紗	Kubernetes
  調度程序	紗線調度程序	hived / k8s默認
  工作編排	紗線框架發射器	框架控制器
  寧靜的API	V1 + V2	純V2
  貯存	團隊儲存插件	PV/PVC存儲共享
  市場	市場v2	OpenPaimarketplace
  SDK	Python	JavaScript /打字稿

  如果部署期間有任何問題，請檢查安裝常見問題解答並首先進行故障排除。如果尚未涵蓋，請參閱此處提出問題或提交問題。

• 基本集群管理。通過Web-portal和命令行工具paictl ，管理員可以完成集群管理，例如添加（或刪除）節點，監視節點和服務以及Storages設置和權限控制。

• 用戶和組管理。管理員可以輕鬆管理用戶和組。

• 警報管理。管理員可以自定義警報規則和操作。

• 定制。管理員可以通過插件自定義集群。管理員還可以升級（或降級）單個組件（例如REST服務器）來解決自定義的應用程序需求。

用於群集用戶

用戶手冊是針對群集用戶的指導，他們可以在OpenPAI上訓練和執行深度學習（和其他）任務。

• 工作提交和監視。快速啟動教程是學習如何在OpenPAI上培訓模型的良好開始。這裡還有更多示例和支持多個主流框架（開箱即用的Docker圖像）。 OpenPAI還為良好的辯論性和高級工作功能提供支持。

• 數據管理。用戶可以在其工作中使用群集配置的存儲和自定義存儲。群集配置的存儲量已經很好地集成且易於在作業中配置（請參閱此處）。

• 協作與共享。 OpenPAI為團隊和組織中的合作提供了設施。群集配置的存放者由團隊（組）組織。用戶可以輕鬆地在市場上分享他們的作品（例如作業），在市場上，其他人可以通過一鍵單擊發現和繁殖（克隆）。

除WebPortal外，OpenPAI還提供VS代碼擴展名和命令行工具（預覽）。 VS代碼擴展是OpenPAI的友好，基於GUI的客戶工具，強烈建議您使用。這是Visual Studio代碼的擴展。它可以提交作業，在本地模擬工作，管理多個OpenPAI環境等等。

獨立組件

使用v1.0.0版本，OpenPAI開始使用更模塊化的組件設計，並將代碼結構與7個獨立的密鑰組件存儲庫一起重新組織為1個主倉庫。 PAI是主要存儲庫，7個組件存儲庫是：

• HIVEDSCHEDULER是多租戶GPU群集的Kubernetes調度程序擴展程序，它比標準K8S調度程序具有各種優勢。
• FrameworkController旨在通過單個控制器在Kubernetes上進行各種應用程序。
• OpenPAI-Protocol是OpenPAI作業協議的規範。
• OpenPAI-Runtime提供了運行時支持，這是OpenPAI協議所必需的。
• OpenPaisdk是一個JavaScript SDK，旨在促進OpenPAI的開發人員提供更多用戶友好的體驗。
• OpenPaimAkaretPlace是一項存儲示例和工作模板的服務。用戶可以將其從WebPortal插件使用它來分享他們的工作或運行其他人的共享作業。
• OpenPaivScode是VSCODE擴展程序，它使用戶連接OpenPAI群集，提交AI工作，在本地模擬作業並輕鬆地在VSCODE中管理文件。

參考

• Pytorch CIFAR-10和TensorFlow CIFAR-10工作示例
• 寧靜的API
• 如果您很好奇，可以在這裡找到設計文檔。

相關項目

針對開放性和進步最先進的技術，微軟研究（MSR）和Microsoft軟件技術中心（STCA）也發布了其他開源項目。

• NNI：用於神經體系結構搜索和超參數調整的開源自動工具包。我們鼓勵研究人員和學生利用這些項目來加速AI的開發和研究。
• MMDNN：一種全面的，跨框架的解決方案，可轉換，可視化和診斷深神經網絡模型。 MMDNN中的“ MM”代表模型管理，“ DNN”是深神經網絡的首字母縮寫。
• Neuronblocks：NLP深度學習建模工具包，可幫助工程師構建DNN模型，例如玩樂。該工具包的主要目標是最大程度地減少NLP深神經網絡模型建立成本的開發成本，包括培訓和推理階段。
• SPTAG：空間分區樹和圖（SPTAG）是大型矢量近似最近的鄰居搜索方案的開源庫。

介入

• 堆棧溢出：如果您對OpenPai有疑問，請在標籤下方提交問題：OpenPai
• 吉特聊天：您也可以在Microsoft/PAI對話中提出問題。
• 創建問題或功能請求：如果您有問題/錯誤/新功能，請將其提交給GitHub。

如何貢獻

貢獻者許可協議

該項目歡迎貢獻和建議。大多數捐款要求您同意撰寫貢獻者許可協議（CLA），宣布您有權並實際上授予我們使用您的貢獻的權利。有關詳細信息，請訪問https://cla.microsoft.com。

當您提交拉動請求時，CLA機器人將自動確定您是否需要提供CLA並適當裝飾PR（例如，標籤，評論）。只需按照機器人提供的說明即可。您只需要使用我們的CLA在所有存儲庫中進行一次。

該項目採用了Microsoft開源的行為代碼。有關更多信息，請參見《行為守則常見問題守則》或與其他問題或評論聯繫[email protected]。

要求貢獻

我們正在研究一系列主要功能改進和重構，任何熟悉這些功能的人都可以在相應的問題票中加入設計評論和討論。

• GPU公平用法問題4266

誰應該考慮為OpenPai做出貢獻

• 想要增加支持其他ML和DL框架的人
• 想要使OpenPAI成為更豐富的AI平台的人們（例如，支持更多ML管道，高參數調整）
• 想要寫教程/博客文章的人們，展示瞭如何使用OpenPai解決AI問題

貢獻者

OpenPAI的關鍵目的是支持學術界和行業的高度多樣化的要求。 OpenPAI完全開放：它在MIT許可下。這使得OpenPAI在評估各種研究思想中特別有吸引力，其中包括但不限於組件。

OpenPAI以開放式模型運行。它最初是由Microsoft Research（MSR）和Microsoft軟件技術中心（STCA）平台團隊設計和開發的。我們很高興能擁有北京大學，西亞北大學，智格大學，中國科學技術大學以及上海Inesa ai Innovation Center（Shaiic）加入了我們，共同開發了該平台。非常歡迎學術界和工業的貢獻。