pai
v1.8.0: July 2021 Release
Após o lançamento do V1.8.1, o OpenPai entrou no modo estável sem a versão importante do recurso planejada. Para salvar os esforços de manutenção, alteramos o repositório para leitura apenas no modo. Para colaboração, entre em contato diretamente com o REPO Admin.
Com o lançamento do V1.0, o OpenPai está mudando para uma arquitetura mais robusta, mais poderosa e leve. O OpenPai também está se tornando cada vez mais modular, para que a plataforma possa ser facilmente personalizada e expandida para atender às novas necessidades. O OpenPai também fornece muitos recursos fáceis de usar, facilitando a conclusão de tarefas diárias de IA diariamente.
| |
A plataforma incorpora o design maduro que possui um histórico comprovado no ambiente de produção em larga escala da Microsoft.
OpenPai é uma solução de pilha completa. O OpenPai não apenas suporta implantação local, híbrida ou em nuvem pública, mas também suporta implantação de caixa única para usuários de avaliação.
Docker pré-construído para estruturas populares de IA. Fácil de incluir hardware heterogêneo. Suporte treinamento distribuído, como o TensorFlow distribuído.
O OpenPai é uma solução muito completa para aprendizado profundo, suporta cluster virtual, compatível com o eco-sistema Kubernetes, o pipeline de treinamento completo em um cluster etc. Openpai é arquitetado de maneira modular: o módulo diferente pode ser conectado conforme apropriado. Aqui está a arquitetura do OpenPai, destacando inovações técnicas da plataforma.
O OpenPai gerencia os recursos de computação e é otimizado para o aprendizado profundo. Através da tecnologia Docker, o hardware de computação é dissociado com software, para que seja fácil executar trabalhos distribuídos, mudar com diferentes estruturas de aprendizado profundo ou executar outros tipos de trabalhos em ambientes consistentes.
Como o OpenPai é uma plataforma, normalmente existem duas funções diferentes:
O OpenPai fornece manuais de ponta a ponta para usuários e administradores de cluster.
O manual do administrador é um guia abrangente para administradores de cluster, abrange (mas não se limitando a) o seguinte conteúdo:
Instalação e atualização . A instalação é baseada no Kubespray e aqui estão os requisitos do sistema. O OpenPai fornece um guia de instalação para facilitar a instalação.
Se você estiver pensando em atualizar da versão mais antiga para a mais recente v1.0.0, consulte a tabela abaixo para uma breve comparação entre v0.14.0 e v1.0.0 . Mais detalhes sobre as considerações de atualização podem ser encontradas guia de atualização.
v0.14.0 | v1.0.0 | |
|---|---|---|
| Arquitetura | Kubernetes + fios hadoop | Kubernetes |
| Agendador | Agendador de fios | Padrão de Hudeado / K8S |
| Jó orquestrando | Lançador de estrutura de fios | Controlador da estrutura |
| API repouso | v1 + v2 | V2 puro |
| Armazenar | Plugin de armazenamento em equipe | Compartilhamento de armazenamento em PV/PVC |
| Marketplace | Marketplace V2 | OpenPaimarketPlace |
| Sdk | Python | JavaScript / TypeScript |
Se houver alguma dúvida durante a implantação, verifique as perguntas frequentes da instalação e a solução de problemas primeiro. Se ainda não estiver coberto, consulte aqui para fazer perguntas ou enviar um problema.
Gerenciamento básico de cluster . Através do portal da Web e de uma ferramenta paictl linha de comando, os administradores podem preencher os gerentes de cluster, como adicionar (ou remover) nós, nós de monitorar nós e serviços e armazenamentos de configuração e controle de permissão.
Gerenciamento de usuários e grupos . Os administradores podem gerenciar os usuários e grupos com facilidade.
Alertas de gerenciamento . Os administradores podem personalizar regras e ações de alertas.
Personalização . Os administradores podem personalizar o cluster por plugins. Os administradores também podem atualizar (ou rebaixar) um único componente (por exemplo, servidores REST) para atender às demandas de aplicativos personalizadas.
O manual do usuário é uma orientação para os usuários do cluster, que poderiam treinar e servir tarefas de aprendizado profundo (e outras) no OpenPai.
Envio e monitoramento de empregos . O tutorial rápido de início é um bom começo para aprender a treinar modelos no OpenPai. E mais exemplos e suportes para várias estruturas convencionais (imagens do docker pronta para uso) estão aqui. O OpenPai também fornece suporte para uma boa depuração e funcionalidades avançadas do trabalho.
Gerenciamento de dados . Os usuários podem usar armazenamentos e armazenamentos personalizados provisionados por cluster em seus trabalhos. Os armazenamentos provisionados por cluster são bem integrados e fáceis de configurar em um trabalho (consulte aqui).
Colaboração e compartilhamento . O OpenPai fornece instalações para colaboração em equipes e organizações. Os armazenamentos provisionados por cluster são organizados pelas equipes (grupos). E os usuários poderiam compartilhar facilmente seus trabalhos (por exemplo, empregos) no mercado, onde outros poderiam descobrir e reproduzir (clone) por um clique.
Além do webportal, o OpenPai fornece uma extensão de código e ferramenta de linha de comando (visualização). A extensão do código VS é uma ferramenta cliente amigável da GUI do OpenPai, e é altamente recomendável. É uma extensão do código do Visual Studio. Ele pode enviar trabalho, simular trabalhos localmente, gerenciar vários ambientes OpenPai e assim por diante.
Com a versão v1.0.0 , o OpenPai começa usando um design de componente mais modularizado e reorganiza a estrutura do código para 1 repo principal juntamente com 7 repositórios de componentes principais independentes. PAI é o principal repositório, e os 7 repositórios de componentes são:
O direcionamento para a abertura e o avanço da tecnologia de ponta, a Microsoft Research (MSR) e o Microsoft Software Technology Center (STCA) também lançaram alguns outros projetos de código aberto.
Este projeto recebe contribuições e sugestões. A maioria das contribuições exige que você concorde com um Contrato de Licença de Colaborador (CLA) declarando que você tem o direito e, na verdade, concede -nos os direitos de usar sua contribuição. Para detalhes, visite https://cla.microsoft.com.
Quando você envia uma solicitação de tração, um CLA-bot determina automaticamente se você precisa fornecer um CLA e decorar o PR adequadamente (por exemplo, etiqueta, comentário). Simplesmente siga as instruções fornecidas pelo bot. Você só precisará fazer isso uma vez em todos os repositórios usando nosso CLA.
Este projeto adotou o Código de Conduta Open Microsoft. Para obter mais informações, consulte o Código de Conduta Perguntas frequentes ou entre em contato com [email protected] com quaisquer perguntas ou comentários adicionais.
Estamos trabalhando em um conjunto de principais recursos e refatores, qualquer pessoa familiarizada com os recursos é incentivada a ingressar na revisão e discussão do design no bilhete de edição correspondente.
Um dos principais objetivos do OpenPai é apoiar os requisitos altamente diversificados da academia e da indústria. Openpai está completamente aberto: está sob a licença do MIT. Isso torna o OpenPai particularmente atraente para avaliar várias idéias de pesquisa, que incluem, mas não se limitam aos componentes.
OpenPai opera em um modelo aberto. Ele é inicialmente projetado e desenvolvido pela Microsoft Research (MSR) e pela Microsoft Software Technology Center Asia (STCA) Platform Team. Estamos felizes em ter a Universidade de Pequim, a Universidade Xi'an Jiaotong, a Universidade de Zhejiang, a Universidade de Ciência e Tecnologia da China e o Centro de Inovação de Shanghai Inesa AI (Shaiic) se juntaram a nós para desenvolver a plataforma em conjunto. As contribuições da academia e da indústria são muito bem -vindas.
