pai

Plateforme ouverte pour l'IA (OpenPAI)

Après la sortie de V1.8.1, OpenPai est entré en mode stable sans aucune version principale prévue. Afin d'économiser les efforts de maintenance, nous avons changé le référentiel en mode de lecture uniquement. Pour la collaboration, veuillez contacter directement Repo Admin.

Avec la sortie de V1.0, OpenPai passe à une architecture plus robuste, plus puissante et légère. OpenPAI devient également de plus en plus modulaire afin que la plate-forme puisse être facilement personnalisée et élargie pour répondre à de nouveaux besoins. OpenPAI offre également de nombreuses fonctionnalités conviviales d'IA, ce qui permet aux utilisateurs finaux et aux administrateurs de terminer plus facilement les tâches quotidiennes d'IA.

Table des matières

• Quand envisager OpenPai
• Pourquoi choisir OpenPai
  • Soutenir sur site et facile à déployer
  • Prise en charge des frameworks d'IA populaires et du matériel hétérogène
  • Solution la plus complète et facile à étendre
• Commencer
  • Pour les administrateurs de cluster
  • Pour les utilisateurs de cluster
• Composants autonomes
• Référence
• Projets connexes
• S'impliquer
• Comment contribuer
  • Contrat de licence de contributeur
  • Appel à la contribution
  • Qui devrait envisager de contribuer à OpenPai
  • Contributeurs

Quand envisager OpenPai

1. Lorsque votre organisation doit partager de puissantes ressources informatiques en matière d'informatique (ferme GPU / FPGA, etc.) parmi les équipes.
2. Lorsque votre organisation doit partager et réutiliser les actifs d'IA communs comme le modèle, les données, l'environnement, etc.
3. Lorsque votre organisation a besoin d'une plate-forme IT ops facile pour l'IA.
4. Lorsque vous souhaitez exécuter un pipeline d'entraînement complet en un seul endroit.

Pourquoi choisir OpenPai

La plate-forme intègre la conception mature qui a des antécédents éprouvés dans l'environnement de production à grande échelle de Microsoft.

Soutenir sur site et facile à déployer

OpenPai est une solution complète. OpenPAI prend non seulement en charge le déploiement de cloud sur site, hybride ou public, mais prend également en charge le déploiement à une seule boîte pour les utilisateurs d'essai.

Prise en charge des frameworks d'IA populaires et du matériel hétérogène

Docker pré-construit pour les cadres AI populaires. Facile à inclure du matériel hétérogène. Soutien de la formation distribuée, telle que Tensorflow distribué.

Solution la plus complète et facile à étendre

OpenPAI est une solution la plus complète pour l'apprentissage en profondeur, le cluster virtuel de support, compatible avec l'écosystème de Kubernetes, un pipeline de formation complet à un cluster, etc. OpenPAI est architecté de manière modulaire: un module différent peut être branché le cas échéant. Voici l'architecture d'OpenPai, mettant en évidence les innovations techniques de la plate-forme.

Commencer

OpenPai gère les ressources informatiques et est optimisée pour l'apprentissage en profondeur. Grâce à la technologie Docker, le matériel informatique est découplé avec des logiciels, afin qu'il soit facile d'exécuter des travaux distribués, de basculer avec différents cadres d'apprentissage en profondeur ou d'exécuter d'autres types de travaux dans des environnements cohérents.

Comme OpenPai est une plate-forme, il y a généralement deux rôles différents:

• Les utilisateurs de cluster sont les consommateurs des ressources informatiques du cluster. Selon les scénarios de déploiement, les utilisateurs de cluster pourraient être des chercheurs d'apprentissage automatique et d'apprentissage en profondeur, des scientifiques des données, des enseignants de laboratoire, des étudiants, etc.
• Les administrateurs de cluster sont les propriétaires et les responsables des ressources informatiques. Les administrateurs sont responsables du déploiement et de la disponibilité du cluster.

OpenPAI fournit des manuels de bout en bout pour les utilisateurs de cluster et les administrateurs.

Pour les administrateurs de cluster

Le manuel d'administration est un guide complet pour les administrateurs de cluster, il couvre (mais sans s'y limiter) le contenu suivant:

• Installation et mise à niveau . L'installation est basée sur Kubespray, et voici les exigences du système. OpenPAI fournit un guide d'installation pour faciliter l'installation.

  Si vous envisagez de passer de la version ancienne au dernier v1.0.0, veuillez vous référer au tableau ci-dessous pour une brève comparaison entre v0.14.0 et le v1.0.0 . Plus de détails sur les considérations de mise à niveau peuvent être trouvés du guide de mise à niveau.

  	v0.14.0	v1.0.0
  Architecture	Kubernetes + Hadoop Yarn	Kubernetes
  Planificateur	Planificateur de fil	Par défaut de sauvetage / k8
  Orchestration de l'emploi	Lance-framework de fil	Contrôleur de cadre
  API RESTFUL	v1 + v2	pur v2
  Stockage	Plugin de stockage par équipe	Partage de stockage PV / PVC
  Marché	Marketplace v2	OpenPaimarketplace
  SDK	Python	JavaScript / TypeScript

  S'il y a une question pendant le déploiement, veuillez vérifier d'abord les FAQ d'installation et le dépannage. S'il n'est pas encore couvert, reportez-vous ici pour poser une question ou soumettre un problème.

• Gestion de base des cluster . Grâce au portail Web et à un outil de ligne de commande paictl , les administrateurs pourraient compléter les gestions de cluster, telles que l'ajout (ou la suppression) des nœuds, la surveillance des nœuds et services et le contrôle de configuration et d'autorisation de stockage.

• Gestion des utilisateurs et des groupes . Les administrateurs peuvent facilement gérer les utilisateurs et les groupes.

• Alertes Gestion . Les administrateurs pourraient personnaliser les règles et les actions des alertes.

• Personnalisation . Les administrateurs pourraient personnaliser le cluster par plugins. Les administrateurs peuvent également mettre à niveau (ou rétrograder) un seul composant (par exemple les serveurs REST) ​​pour répondre aux demandes d'application personnalisées.

Pour les utilisateurs de cluster

Le manuel d'utilisation est un guidage pour les utilisateurs de cluster, qui pourraient former et servir les tâches en profondeur (et autres) sur OpenPAI.

• Soumission et surveillance des emplois . Le tutoriel rapide est un bon début pour apprendre à former des modèles sur OpenPai. Et plus d'exemples et de supports sur plusieurs frameworks traditionnels (images docker prêtes à l'emploi) sont ici. OpenPAI fournit également des supports pour une bonne débogabilité et des fonctionnalités avancées de l'emploi.

• Gestion des données . Les utilisateurs peuvent utiliser des stockages provisiés en cluster et des stockages personnalisés dans leur travail. Les stockages provisionnés en cluster sont bien intégrés et faciles à configurer dans un travail (reportez-vous à ici).

• Collaboration et partage . OpenPAI propose des installations de collaboration en équipes et organisations. Le cluster provisionné des stockages est organisé par des équipes (groupes). Et les utilisateurs pourraient facilement partager leurs œuvres (par exemple, des emplois) sur le marché, où d'autres pouvaient découvrir et se reproduire (clone) en un clic.

Outre le WebPortal, OpenPai fournit l'outil d'extension de code et de ligne de commande (Aperçu). L'extension VS Code est un outil client convivial basé sur l'interface graphique d'OpenPAI, et il est fortement recommandé. C'est une extension du code Visual Studio. Il peut soumettre un travail, simuler des travaux localement, gérer plusieurs environnements OpenPai, etc.

Composants autonomes

Avec la version v1.0.0 , OpenPai commence à utiliser une conception de composants plus modularisée et réorganise la structure du code à 1 repo principal avec 7 référentiels de composants clés autonomes. Pai est le référentiel principal, et les 7 autres composants sont:

• Hvedscheduler est un extenseur de planificateur de Kubernetes pour les clusters GPU multi-locataires, qui offre divers avantages par rapport au planificateur K8S standard.
• FrameworkController est conçu pour orchestrer toutes sortes d'applications sur Kubernetes par un seul contrôleur.
• OpenPai-Protocol est la spécification du protocole de travail OpenPAI.
• OpenPai-Runtime fournit un support d'exécution qui est nécessaire pour le protocole OpenPai.
• OpenPaisdk est un SDK JavaScript conçu pour faciliter les développeurs d'OpenPai pour offrir une expérience plus conviviale.
• OpenPaiMarkeTplace est un service qui stocke des exemples et des modèles d'emploi. Les utilisateurs peuvent l'utiliser à partir du plugin WebPortal pour partager leur travail ou le travail de partage des autres.
• OpenPaivScode est une extension VScode, qui fait que les utilisateurs connectent les clusters OpenPai, soumettent des travaux AI, simulent les travaux localement et gérent facilement les fichiers dans VScode.

Référence

• Pytorch Cifar-10 et Tensorflow Cifar-10 Exemples de travaux
• API RESTFUL
• Des documents de conception peuvent être trouvés ici si vous êtes curieux.

Projets connexes

Cibler sur l'ouverture et l'avancement de la technologie de pointe, Microsoft Research (MSR) et Microsoft Software Technology Center Asia (STCA) avaient également publié quelques autres projets open source.

• NNI: une boîte à outils Automl open source pour la recherche d'architecture neuronale et le réglage hyper-paramètre. Nous encourageons les chercheurs et les étudiants exploitent ces projets pour accélérer le développement et la recherche sur l'IA.
• MMDNN: Une solution complète et transversale pour convertir, visualiser et diagnostiquer des modèles de réseaux de neurones profonds. Le "MM" dans MMDNN signifie la gestion des modèles et "DNN" est un acronyme pour le réseau neuronal profond.
• NeuronBlocks: une boîte à outils de modélisation de l'apprentissage en profondeur NLP qui aide les ingénieurs à construire des modèles DNN comme jouer à LEGO. L'objectif principal de cette boîte à outils est de minimiser les coûts de développement de la création de modèles de réseaux neuronaux profonds PNL, y compris les étapes de formation et d'inférence.
• SPTAG: SPACE PARTITION TENET AND GRAPH (SPTAG) est une bibliothèque open source pour le vecteur à grande échelle approximatif le scénario de recherche du voisin le plus proche.

S'impliquer

• Stack Overflow: Si vous avez des questions sur OpenPai, veuillez soumettre une question à Stack Overflow sous TAG: OpenPAI
• Gitter Chat: Vous pouvez également poser des questions dans la conversation Microsoft / Pai.
• Créez un problème ou une demande de fonctionnalité: si vous avez un problème / bug / nouvelle fonctionnalité, veuillez le soumettre à GitHub.

Comment contribuer

Contrat de licence de contributeur

Ce projet accueille les contributions et les suggestions. La plupart des contributions vous obligent à accepter un accord de licence de contributeur (CLA) déclarant que vous avez le droit de faire et en fait, accordez-nous les droits d'utilisation de votre contribution. Pour plus de détails, visitez https://cla.microsoft.com.

Lorsque vous soumettez une demande de traction, un CLA-BOT déterminera automatiquement si vous devez fournir un CLA et décorer le PR de manière appropriée (par exemple, étiqueter, commentaire). Suivez simplement les instructions fournies par le bot. Vous n'aurez besoin de le faire qu'une seule fois sur tous les dépositions en utilisant notre CLA.

Ce projet a adopté le code de conduite open source Microsoft. Pour plus d'informations, consultez le code de conduite FAQ ou contactez [email protected] avec toute question ou commentaire supplémentaire.

Appel à la contribution

Nous travaillons sur un ensemble d'amélioration des fonctionnalités et de refacteurs majeures, quiconque connaît les fonctionnalités est encouragée à rejoindre l'examen et la discussion de conception dans le billet correspondant.

• Problème d'utilisation de l'équité du GPU 4266

Qui devrait envisager de contribuer à OpenPai

• Les gens qui souhaitent ajouter une prise en charge des autres cadres ML et DL
• Les gens qui souhaitent faire d'OpenPai une plate-forme d'IA plus riche (par exemple, support pour plus de pipelines ML, réglage hyperparamètre)
• Les gens qui souhaitent écrire des tutoriels / articles de blog montrant comment utiliser OpenPAI pour résoudre les problèmes d'IA

Contributeurs

Un objectif clé d'OpenPai est de soutenir les exigences très diversifiées du monde universitaire et de l'industrie. OpenPai est complètement ouvert: il est sous la licence MIT. Cela rend OpenPai particulièrement attrayant pour évaluer diverses idées de recherche, notamment, mais sans s'y limiter, les composants.

OpenPai fonctionne dans un modèle ouvert. Il est initialement conçu et développé par Microsoft Research (MSR) et l'équipe de plate-forme Microsoft Software Technology Center (STCA). Nous sommes heureux d'avoir l'Université de Pékin, l'Université Xi'an Jiaotong, l'Université du Zhejiang, l'Université des sciences et de la technologie de Chine et Shanghai Inesa AI Innovation Center (Shaiic) nous a rejoints pour développer la plate-forme conjointement. Les contributions du monde universitaire et de l'industrie sont toutes les bienvenues.