pai
v1.8.0: July 2021 Release
Nach der Veröffentlichung von V1.8.1 hat OpenPAI den stabilen Modus ohne geplante große Merkmalsfreigabe eingegeben. Um Wartungsanstrengungen zu sparen, haben wir das Repo in den Lesen der einzigen Modus geändert. Für die Zusammenarbeit wenden Sie sich direkt an Repo Admin.
Mit der Veröffentlichung von V1.0 wechselt OpenPAI auf eine robustere, leistungsstärkere und leichte Architektur. OpenPAI wird auch immer modularer, so dass die Plattform leicht angepasst und erweitert werden kann, um den neuen Bedürfnissen zu entsprechen. OpenPAI bietet auch viele benutzerfreundliche Funktionen von KI und erleichtert Endbenutzern und Administratoren, tägliche KI-Aufgaben zu erledigen.
| |
Die Plattform umfasst das ausgereifte Design, das in der großflächigen Produktionsumgebung von Microsoft nachgewiesen wird.
OpenPAI ist eine vollständige Stapellösung. OpenPAI unterstützt nicht nur lokale Bereitstellungen vor Ort, Hybrid oder öffentliche Cloud, sondern unterstützt auch die Bereitstellung von Single-Box-Bereitstellungen für Testbenutzer.
Vorgefertigter Docker für beliebte KI-Frameworks. Einfach heterogene Hardware einbeziehen. Unterstützung verteilter Schulungen wie verteilter Tensorflow.
OpenPAI ist eine äußerst vollständige Lösung für Deep Learning, unterstützt virtuelles Cluster, kompatibel mit Kubernetes Eco-System, vollständige Trainingspipeline bei einem Cluster usw. OpenPAI wird auf modulare Weise architisiert: Verschiedenes Modul kann gegebenenfalls angeschlossen werden. Hier ist die Architektur von OpenPAI, die technische Innovationen der Plattform hervorhebt.
OpenPAI verwaltet Computerressourcen und ist für Deep Learning optimiert. Durch die Docker -Technologie wird die Computerhardware mit Software entkoppelt, so dass es einfach ist, verteilte Jobs auszuführen, mit unterschiedlichen Deep -Learning -Frameworks zu wechseln oder andere Arten von Jobs in konsistenten Umgebungen auszuführen.
Da OpenPai eine Plattform ist, gibt es normalerweise zwei verschiedene Rollen:
OpenPAI bietet End-to-End-Handbücher sowohl für Clusterbenutzer als auch für Administratoren.
Das Admin -Handbuch ist eine umfassende Anleitung für Cluster -Administratoren, die den folgenden Inhalt abdeckt (aber nicht darauf beschränkt ist):
Installation und Upgrade . Die Installation basiert auf Kubespray, und hier sind die Systemanforderungen. OpenPAI bietet einen Installationshandbuch zur Erleichterung der Installation.
Wenn Sie ein Upgrade von älterer Version auf den neuesten v1.0.0 in Betracht ziehen, finden Sie in der folgenden Tabelle einen kurzen Vergleich zwischen v0.14.0 und dem v1.0.0 . Weitere Details zu den Upgrade -Überlegungen finden Sie auf dem Upgrade -Leitfaden.
v0.14.0 | v1.0.0 | |
|---|---|---|
| Architektur | Kubernetes + Hadoop -Garn | Kubernetes |
| Scheduler | Garnplaner | Have / K8S Standard |
| Job orchestrieren | Garn -Framework -Launcher | Framework Controller |
| RESTful -API | v1 + v2 | reine v2 |
| Lagerung | Team-Wise Storage Plugin | PV/PVC -Speicherfreigabe |
| Marktplatz | Marktplatz V2 | OpenPaimarketplace |
| SDK | Python | JavaScript / TypeScript |
Wenn während der Bereitstellung Fragen vorliegt, überprüfen Sie zuerst die Installations -FAQs und Fehlerbehebung. Wenn es noch nicht abgedeckt ist, finden Sie hier, um Frage zu stellen oder ein Problem einzureichen.
Grundlegendes Clustermanagement . Über das Web-Portal- und ein Befehlszeilen-Tool paictl können die Administratoren Cluster-Managements vervollständigen, z. B. das Hinzufügen (oder Entfernen) von Knoten und Diensten sowie die Einrichtung und Berechtigungssteuerung.
Benutzer- und Gruppenverwaltung . Administratoren können die Benutzer und Gruppen problemlos verwalten.
Warnmanagement . Administratoren könnten Warnungsregeln und -aktionen anpassen.
Anpassung . Administratoren könnten den Cluster per Plugins anpassen. Administratoren können auch eine einzelne Komponente (z. B. REST -Server) auf upgrade (oder downgrade) auf kundenspezifische Anwendungsanforderungen aktualisieren.
Das Benutzerhandbuch ist eine Anleitung für Clusterbenutzer, die Deep Learning (und andere) Aufgaben auf OpenPAI trainieren und bedienen könnten.
Einreichung und Überwachung von Arbeitsplätzen . Das Quick Start -Tutorial ist ein guter Anfang, um zu lernen, wie man Modelle auf OpenPAI trainiert. Und weitere Beispiele und Unterstützung für mehrere Mainstream-Frameworks (Out-of-the-Box-Docker-Bilder) sind hier. OpenPAI bietet auch Unterstützung für gute Debuggierbarkeit und fortgeschrittene Arbeitsplätze.
Datenverwaltungen . Benutzer könnten in ihren Jobs mit Cluster bereitgestellte Speicher und benutzerdefinierte Speicher verwenden. Die von Cluster bereitgestellten Speicher sind gut integriert und einfach in einem Job zu konfigurieren (siehe hier).
Zusammenarbeit und Teilen . OpenPAI bietet Einrichtungen für die Zusammenarbeit in Teams und Organisationen. Die von den Cluster bereitgestellten Speicher werden von Teams (Gruppen) organisiert. Und Benutzer konnten ihre Werke (z. B. Jobs) auf dem Markt einfach teilen, wo andere durch einen Klick entdecken und reproduzieren konnten.
Neben dem Webportal bietet OpenPAI VS Code -Erweiterung und Befehlszeilen -Tool (Vorschau). Die VS -Code -Erweiterung ist ein freundliches GUI -basierter Kunden -Tool von OpenPAI und wird dringend empfohlen. Es ist eine Erweiterung des Visual Studio -Code. Es kann Jobs einreichen, Jobs vor Ort simulieren, mehrere OpenPAI -Umgebungen verwalten und so weiter.
Mit der Version v1.0.0 beginnt OpenPAI mit einem modularisierten Komponentenkonstruktion und organisiert die Codestruktur zusammen mit 7 Repos von 7 eigenständigen Schlüsselkomponenten auf 1 Hauptrepo. PAI ist das Hauptrepo, und die 7 Komponenten -Repos sind:
Microsoft Research (MSR) und Microsoft Software Technology Center Asia (STCA) zielte auf Offenheit und die Fortschritte auf der neuesten Technologie.
Dieses Projekt begrüßt Beiträge und Vorschläge. In den meisten Beiträgen müssen Sie einer Mitarbeiters Lizenzvereinbarung (CLA) zustimmen, in der Sie erklären, dass Sie das Recht haben und uns tatsächlich tun, um uns die Rechte zu gewähren, Ihren Beitrag zu verwenden. Weitere Informationen finden Sie unter https://cla.microsoft.com.
Wenn Sie eine Pull-Anfrage einreichen, enthält ein ClA-BOT automatisch, ob Sie eine CLA angeben und die PR angemessen dekorieren müssen (z. B. Etikett, Kommentar). Befolgen Sie einfach die vom Bot bereitgestellten Anweisungen. Sie müssen dies nur einmal über alle Repos mit unserem CLA tun.
Dieses Projekt hat den Microsoft Open Source -Verhaltenscode übernommen. Weitere Informationen finden Sie im FAQ oder wenden Sie sich an [email protected] mit zusätzlichen Fragen oder Kommentaren.
Wir arbeiten an einer Reihe wichtiger Merkmalsverbesserungen und Refaktoren. Jeder, der mit den Funktionen vertraut ist, wird aufgefordert, sich der entsprechenden Ausgabe -Ticket an der Entwurfsüberprüfung und Diskussion anzuschließen.
Ein Hauptzweck von OpenPAI ist die Unterstützung der hochvervielfältigen Anforderungen der Wissenschaft und der Industrie. OpenPai ist vollständig offen: Es steht unter der MIT -Lizenz. Dies macht OpenPAI besonders attraktiv, um verschiedene Forschungsideen zu bewerten, einschließlich, aber nicht beschränkt auf die Komponenten.
OpenPAI arbeitet in einem offenen Modell. Es wird ursprünglich von Microsoft Research (MSR) und Microsoft Softwaret Technology Center Asia (STCA) -Plattform entwickelt und entwickelt. Wir freuen uns, die Peking University, die Xi'an Jiaotong University, die Zhejiang University, die Universität für Wissenschaft und Technologie Chinas und Shanghai Inesa AI Innovation Center (Shaiic) zu haben, um die Plattform gemeinsam zu entwickeln. Beiträge aus Wissenschaft und Industrie sind alle sehr willkommen.
