pai
v1.8.0: July 2021 Release
V1.8.1のリリース後、OpenPaiは主要な機能リリースが計画されていない安定モードに入りました。メンテナンスの取り組みを節約するために、レポを変更するために変更のみモードに変更しました。コラボレーションについては、Repo Adminに直接お問い合わせください。
V1.0のリリースにより、OpenPaiはより堅牢で、より強力で軽量なアーキテクチャに切り替えています。また、OpenPaiはますますモジュールになっているため、プラットフォームを簡単にカスタマイズして拡張して新しいニーズに合わせて拡張できます。また、OpenPaiは多くのAIユーザーフレンドリーな機能を提供しているため、エンドユーザーと管理者が毎日のAIタスクを簡単に完了しやすくなります。
| |
このプラットフォームには、Microsoftの大規模な生産環境で実績がある成熟したデザインが組み込まれています。
OpenPaiはフルスタックソリューションです。 OpenPaiは、オンプレミス、ハイブリッド、またはパブリッククラウドの展開をサポートするだけでなく、トライアルユーザーのシングルボックスの展開もサポートしています。
人気のあるAIフレームワーク用の事前に構築されたDocker。不均一なハードウェアを簡単に含めることができます。分散したTensorflowなどの分散トレーニングをサポートします。
OpenPaiは、Kubernetes Eco-System、1つのクラスターでの完全なトレーニングパイプラインなどと互換性がある深い学習、サポート仮想クラスターのための最も完全なソリューションです。OpenPaiはモジュール式の方法でアーキテクチャされます。プラットフォームの技術的な革新を強調したOpenPaiのアーキテクチャです。
OpenPaiはコンピューティングリソースを管理し、ディープラーニング用に最適化されています。 Dockerテクノロジーを通じて、コンピューティングハードウェアはソフトウェアと分離されているため、分散型ジョブを簡単に実行したり、さまざまなディープラーニングフレームワークに切り替えたり、一貫した環境で他の種類のジョブを実行したりできます。
OpenPaiはプラットフォームであるため、通常、2つの異なる役割があります。
OpenPaiは、クラスターユーザーと管理者の両方にエンドツーエンドのマニュアルを提供します。
管理マニュアルは、クラスター管理者向けの包括的なガイドであり、次のコンテンツをカバーしています（ただし、これらに限定されません）。
インストールとアップグレード。インストールはKubesprayに基づいており、システムの要件を次に示します。 OpenPaiは、インストールを容易にするためのインストールガイドを提供します。
古いバージョンから最新のv1.0.0へのアップグレードを検討している場合は、 v0.14.0とv1.0.0の簡単な比較については、以下の表を参照してください。アップグレードの考慮事項の詳細については、アップグレードガイドを見つけることができます。
v0.14.0 | v1.0.0 | |
|---|---|---|
| 建築 | Kubernetes + Hadoop Yarn | Kubernetes |
| スケジューラ | 糸スケジューラ | hived / k8sデフォルト |
| ジョブオーケストレーション | 糸フレームワークランチャー | フレームワークコントローラー |
| RESTFUL API | V1 + V2 | 純粋なV2 |
| ストレージ | チームごとのストレージプラグイン | PV/PVCストレージ共有 |
| 市場 | マーケットプレイスv2 | OpenPaimarketplace |
| SDK | Python | javascript / typescript |
展開中に質問がある場合は、最初にインストールFAQとトラブルシューティングを確認してください。まだカバーされていない場合は、ここを参照して質問をするか、問題を提出してください。
基本的なクラスター管理。 Webポータルおよびコマンドラインツールpaictlを通じて、管理者はノードの追加（または削除）、ノードとサービスの監視、保存のセットアップと許可制御などのクラスター管理を完了することができます。
ユーザーとグループ管理。管理者はユーザーとグループを簡単に管理できます。
アラート管理。管理者は、アラートのルールとアクションをカスタマイズできます。
カスタマイズ。管理者は、プラグインでクラスターをカスタマイズできます。管理者は、カスタマイズされたアプリケーションの需要に対処するために、単一のコンポーネント（レストサーバーなど）をアップグレード（またはダウングレード）することもできます。
ユーザーマニュアルは、Clusterユーザー向けのガイダンスであり、OpenPaiで深い学習（およびその他の）タスクをトレーニングおよびサービスを提供できます。
求人の提出と監視。クイックスタートチュートリアルは、OpenPaiでモデルをトレーニングする方法を学ぶための良いスタートです。また、複数の主流のフレームワーク（すぐに使用できるDocker画像）のより多くの例とサポートがここにあります。 OpenPaiは、優れたデバッグ性と高度なジョブ機能のサポートも提供しています。
データ管理。ユーザーは、クラスタープロビジョニングされたストレージとカスタムストレージを仕事に使用できます。クラスタープロビジョニング付きストレージは、統合されており、ジョブで簡単に構成できます（こちらを参照）。
コラボレーションと共有。 OpenPaiは、チームや組織でのコラボレーションのための設備を提供しています。クラスタープロビジョニングされたストレージは、チーム（グループ）によって編成されています。また、ユーザーは市場で作品（Jobsなど）を簡単に共有できます。他の人は、ワンクリックで発見して再現（クローン）できます。
Webportalに加えて、OpenPaiはVSコード拡張機能とコマンドラインツール（プレビュー）を提供します。 VSコード拡張機能は、フレンドリーでGUIベースのOpenPaiのクライアントツールであり、強くお勧めします。ビジュアルスタジオコードの拡張機能です。ジョブを提出したり、ジョブをローカルでシミュレートしたり、複数のOpenPai環境を管理したりすることもできます。
v1.0.0リリースにより、OpenPaiはよりモジュール化されたコンポーネント設計の使用を開始し、7つのスタンドアロンキーコンポーネントリポジトリと一緒にコード構造を1メインのレポで再編成します。 Paiはメインリポジトリであり、7つのコンポーネントリポジトリは次のとおりです。
Opennessでのターゲティングと最先端の技術の進出、Microsoft Research（MSR）およびMicrosoft Software Technology Center Asia（STCA）も他のオープンソースプロジェクトをほとんどリリースしていませんでした。
このプロジェクトは、貢献と提案を歓迎します。ほとんどの貢献では、貢献者ライセンス契約（CLA）に同意する必要があります。詳細については、https：//cla.microsoft.comをご覧ください。
プルリクエストを送信すると、CLAボットはCLAを提供し、PRを適切に飾る必要があるかどうかを自動的に決定します（例：ラベル、コメント）。ボットが提供する指示に従うだけです。 CLAを使用して、すべてのレポでこれを1回だけ行う必要があります。
このプロジェクトは、Microsoftのオープンソース行動規範を採用しています。詳細については、FAQのコードを参照するか、追加の質問やコメントについては[email protected]にお問い合わせください。
私たちは一連の主要な機能の改善とリファクタリングに取り組んでいます。この機能に精通している人なら誰でも、対応する問題チケットでデザインレビューとディスカッションに参加することをお勧めします。
OpenPaiの重要な目的の1つは、学界と産業からの高度に多様化された要件をサポートすることです。 OpenPaiは完全に開いています。MITライセンスの下にあります。これにより、OpenPaiは、コンポーネントを含むがこれらに限定されないさまざまな研究アイデアを評価するのに特に魅力的です。
OpenPaiはオープンモデルで動作します。当初、Microsoft Research（MSR）およびMicrosoft Software Technology Center Asia（STCA）プラットフォームチームによって設計および開発されています。北京大学、Xi'an Jiaotong University、Zhejiang University、Chinaの科学技術大学、上海INESA AI Innovation Center（SHAIIC）が私たちに共同でプラットフォームを開発するために参加しました。学界や産業からの貢献はすべて大歓迎です。
