polyaxon

Reproduzir, automatizar, escalar sua ciência de dados

Bem -vindo ao Polyaxon, uma plataforma para construir, treinar e monitorar aplicativos de aprendizado profundo em larga escala. Estamos criando um sistema para resolver reprodutibilidade, automação e escalabilidade para aplicações de aprendizado de máquina.

A poliaaxon se implanta em qualquer data center, provedor de nuvem ou pode ser hospedada e gerenciada pela Polyaxon, e suporta todas as principais estruturas de aprendizado profundo, como tensorflow, mxnet, cafe, tocha, etc.

O Polyaxon torna mais rápido, mais fácil e mais eficiente para desenvolver aplicativos de aprendizado profundo, gerenciando cargas de trabalho com gerenciamento de contêineres e nó inteligentes. E transforma os servidores GPU em recursos compartilhados e de autoatendimento para sua equipe ou organização.

Instalar

Tl; dr;

• Instale a CLI

   # Install Polyaxon CLI
  $ pip install -U polyaxon

• Crie uma implantação

   # Create a namespace
  $ kubectl create namespace polyaxon
  
  # Add Polyaxon charts repo
  $ helm repo add polyaxon https://charts.polyaxon.com
  
  # Deploy Polyaxon
  $ polyaxon admin deploy -f config.yaml
  
  # Access API
  $ polyaxon port-forward

Verifique o Guia de Instalação do Polyaxon

Início rápido

Tl; dr;

• Iniciar um projeto

   # Create a project
  $ polyaxon project create --name=quick-start --description= ' Polyaxon quick start. '

• Treine e rastrear toras e recursos

   # Upload code and start experiments
  $ polyaxon run -f experiment.yaml -u -l

• Painel

   # Start Polyaxon dashboard
  $ polyaxon dashboard
  
  Dashboard page will now open in your browser. Continue ? [Y/n]: y

• Caderno

   # Start Jupyter notebook for your project
  $ polyaxon run --hub notebook

• Tensorboard

   # Start TensorBoard for a run's output
  $ polyaxon run --hub tensorboard -P uuid=UUID

Verifique nosso guia de início rápido para começar a treinar seu primeiro experimento.

Trabalho distribuído

A poliaaxon suporta e simplifica empregos distribuídos. Dependendo da estrutura que você está usando, você precisa implantar o operador correspondente, adaptar seu código para ativar o treinamento distribuído e atualizar seu poliAxonFile.

Aqui estão alguns exemplos de uso de treinamento distribuído:

• Tensorflow distribuído
• Pytorch distribuído
• MPI distribuído
• Horovod
• Fagulha
• Dask

Ajuste de hiperparâmetros

A Polyaxon tem um conceito para sugerir hiperparâmetros e gerenciar seus resultados muito semelhantes ao Google Vizier chamado grupos de experimentos. Um grupo de experimentos no Polyaxon define um algoritmo de pesquisa, um espaço de pesquisa e um modelo para treinar.

• Pesquisa de grade
• Pesquisa aleatória
• Hiperband
• Otimização bayesiana
• Hiperopt
• Otimização iterativa personalizada

Execuções paralelas

Você pode executar seus trabalhos de processamento ou treinamento em paralelo, a Polyaxon fornece uma abstração de mapeamento para gerenciar trabalhos simultâneos.

Dags e fluxos de trabalho

O Polyaxon DAGS é uma ferramenta que fornece mecanismo nativo de contêiner para executar pipelines de aprendizado de máquina. Um DAG gerencia várias operações com dependências. Cada operação é definida por um componente de tempo de execução. Isso significa que as operações em um DAG podem ser empregos, serviços, empregos distribuídos, execuções paralelas ou DAGs aninhados.

Arquitetura

Documentação

Confira nossa documentação para saber mais sobre o Polyaxon.

Painel

A Polyaxon vem com um painel que mostra os projetos e experimentos criados por você e os membros da sua equipe.

Para iniciar o painel, basta executar o seguinte comando em seu terminal

$ polyaxon dashboard -y

Status do projeto

A poliaaxon é estável e está sendo executada no modo de produção em muitas empresas startups e fortunas 500.

Contribuições

Siga a linha do guia de contribuição: contribua para a poliaaxon .

Pesquisar

Se você usar o Polyaxon em sua pesquisa acadêmica, ficaríamos agradecidos se você pudesse citar.

Sinta -se à vontade para entrar em contato conosco, gostaríamos de aprender sobre o seu projeto e ver como podemos apoiar sua necessidade personalizada.