download de mlreef - download de código fonte mlreef

mlreef

Pitão

1.0.0

Baixar

A plataforma de colaboração para aprendizado de máquina

O MLREEF é uma plataforma ML-OPS de código aberto que ajuda a colaborar, reproduzir e compartilhar seu trabalho de aprendizado de máquina com milhares de outros usuários.

Importante: não estamos mais apoiando e atualizando este repositório. Ainda estamos trabalhando ativamente neste projeto, mas em nosso repo principal no Gitlab .

Mlreef

MLREEF é uma plataforma de desenvolvimento ML/DL contendo quatro seções principais:

Gestão de dados - Infraestrutura de hospedagem e processamento de dados totalmente versionada
Publicação de repositórios de código - repositórios de script em contêineres e versões para uso imutável em pipelines de dados
Gerente de Experimento - Rastreamento de Experimentos, Ambientes e Resultados
ML-OPS-Solução de pipelines e orquestração para trabalhos de ML / DL (K8S / Cloud / Bare Metal)

Inscreva -se e comece a experimentar em minutos.

Para saber mais sobre como o MLREEF pode otimizar seu ciclo de vida de desenvolvimento de aprendizado de máquina, visite nossa página inicial

Gerenciamento de dados

Host seus dados usando repositórios Git / Git LFS.
- Trabalhe simultaneamente em dados
- Controle de versão totalmente versionada ou LFS
- Vista completa sobre o histórico de processamento e visualização de dados
Conecte seu armazenamento externo ao MLREEF e use seus dados diretamente em pipelines
Gerenciamento do conjunto de dados (acesso, histórico, pipelines)

Código de publicação

Adicionando seus params via Argparse ...

 # Example params for a ResNet50 script
def process_arguments ( args ):
    parser = argparse . ArgumentParser ( description = 'ResNet50' )
    parser . add_argument ( '--input-path' , action = 'store' , help = 'path to directory of images' )
    parser . add_argument ( '--output-path' , action = 'store' , default = '.' , help = 'path to output metrics' )
    parser . add_argument ( '--height' , action = 'store' , default = 224 , help = 'height of images (int)' )
    parser . add_argument ( '--width' , action = 'store' , default = 224 , help = 'width of images (int)' )
    parser . add_argument ( '--channels' , action = 'store' , default = 3 , help = 'channels of images: 1 = grayscale, 3 = RGB ,'
                                                                      '4=RGBA (int)' )
    parser . add_argument ( '--use-pretrained' , action = 'store' , default = True , help = 'use pretrained ResNet50 weights (bool)' )
    parser . add_argument ( '--epochs' , action = 'store' , default = 5 , help = 'number of epochs for training' )
    parser . add_argument ( '--batch-size' , action = 'store' , default = 32 , help = 'batch size fed to the neural network (int)' )
    parser . add_argument ( '--validation-split' , action = 'store' , default = .25 , help = 'fraction of images to be used for '
                                                                                'validation (float)' )
    parser . add_argument ( '--class-mode' , action = 'store' , default = 'binary' , help = '"categorical", "binary", "sparse",'
                                                                                    ' "input", or None' )
    parser . add_argument ( '--learning-rate' , action = 'store' , default = 0.0001 ,
                        help = 'learning rate of Adam Optimizer (float)'
                             '' )
    parser . add_argument ( '--loss' , action = 'store' , default = 'sparse_categorical_crossentropy' , help = 'loss function used to'
                                                                                           ' compile model' )
    params = vars ( parser . parse_args ( args ))
    return params

... e a publicação de seus scripts recebe o seguinte:

Recipiente de seus scripts
- Scripts sempre trabalhando, incluindo acesso fácil de hiperparâmetro em pipelines
- Ambiente de execução (incluindo pacotes e versões específicas)
- Hiper-parâmetros
  - Argparser para parâmetros da linha de comando com valores atualmente usados
  - Dicionário de parâmetros explícitos
  - Validação e guias de entrada
Vários contêineres com base em ramificações de versão e código

Gerente de Experimento

Log de configuração de experimento completo
- Informações completas de controle de fonte, incluindo alterações locais não comprometidas
- Ambiente de execução (incluindo pacotes e versões específicas)
- Hiper-parâmetros
Experiência completa Saída de captura automática
- Artefatos de armazenamento e logs de saída padrão
- Métricas de desempenho em experimentos individuais e gráficos comparativos para todas as experiências
- Vista detalhada sobre logs e saídas geradas
Extenso suporte e integrações da plataforma
- Suportado todas as estruturas ML/DL baseadas em Python, por exemplo: Pytorch, Tensorflow, Keras ou Scikit-Learn

ML-OPS

Pipelining de computação simultânea
Governança e controle
- Acesso e gerenciamento de usuários
- Gerenciamento de permissão única
- Gerenciamento de recursos
Gerenciamento de modelos

Arquitetura Mlreef

Os componentes MLREEF ML dentro do ciclo de vida de ML:

Componentes de armazenamento de dados baseados atualmente no Git e Git LFS.
Desenvolvimento de modelos com base em módulos de trabalho (publicados pela comunidade ou sua equipe), gerenciamento de dados, processamento de dados / visualização de dados / pipeline de experimentos em hospedagem ou gerenciamento de modelos e no local.
ML-OPS Orquestração, experimento e reprodutibilidade do fluxo de trabalho e escalabilidade.

Por que mlreef?

O MLREEF é nossa solução para um problema que compartilhamos com inúmeros outros pesquisadores e desenvolvedores no universo de aprendizado de máquina/aprendizado profundo: o treinamento de modelos de aprendizado profundo da produção de produção é um processo emaranhado. O MLREEF rastreia e controla o processo associando o controle da versão de código, projetos de pesquisa, métricas de desempenho e proveniência de modelo.

Projetamos o MLREEF sobre as melhores práticas de ciência de dados combinadas com o Knowleged ganhado com o DevOps e um foco profundo na colaboração.

Use -o diariamente para aumentar a colaboração e a visibilidade em sua equipe
Crie um trabalho na nuvem a partir de qualquer repositório de código com um clique de um botão
Automatize processos e crie pipelines para coletar seus registros, saídas e dados de experimentação
Torne você o ML Life Cycle transparente catalogando tudo na plataforma mlreef