sematic

A plataforma de aprendizado de máquina contínua de código aberto

Construa pipelines ML com apenas Python, execute no seu laptop ou na nuvem.

A semática é uma plataforma de desenvolvimento de ML de código aberto. Ele permite que os engenheiros de ML e cientistas de dados escrevem pipelines de ponta a ponta arbitrariamente complexos com python simples e os executem em sua máquina local, em uma VM em nuvem ou em um cluster de Kubernetes para aproveitar os recursos da nuvem.

A semática é baseada em aprendizados reunidos nas principais empresas de carros autônomos. Ele permite o encadeamento de trabalhos de processamento de dados (por exemplo, Apache Spark) com treinamento de modelos (por exemplo, pytorch, tensorflow) ou qualquer outra lógica de negócios de Python arbitrária em pipelines de ponta a ponta, rastreados e reprodutíveis, seguros de tipo, em um painel de web moderno.

Leia nossa documentação e junte -se ao nosso canal Discord.

Por que semática

• Fácil integração - sem implantação ou infraestrutura necessária para começar, basta instalar a semática localmente e começar a explorar.
• Paridade local para a nuvem -Execute o mesmo código no seu laptop local e no seu cluster Kubernetes.
• Rastreabilidade de ponta a ponta -Todos os artefatos de pipeline são persistidos, rastreados e visualizáveis ​​em um painel da web.
• Acesse computação heterogênea - personalize os recursos necessários para cada etapa do pipeline para otimizar seu desempenho e pegada de nuvem (CPUs, memória, GPUs, cluster de faísca, etc.)
• Reprodutibilidade - execute seus oleodutos da interface do usuário com reprodutibilidade garantida dos resultados

Começando

Para começar localmente, basta instalar a semática em seu ambiente Python:

$ pip install sematic

Inicie o painel da web local:

$ sematic start

Execute um exemplo de pipeline:

$ sematic run examples/mnist/pytorch

Crie um novo projeto de caldeira:

$ sematic new my_new_project

Ou de um exemplo existente:

$ sematic new my_new_project --from examples/mnist/pytorch

Em seguida, execute -o com:

$ python3 -m my_new_project

Para implantar semáticos em Kubernetes e alavancar recursos em nuvem, consulte nossa documentação.

Características

• Python SDK leve -defina pipelines de ponta a ponta arbitrariamente complexos
• Ninho de oleoduto - oleodutos arbitrariamente ninhos em oleodutos maiores
• Gráficos dinâmicos -gráficos definidos por Python permitem iterações, ramificação condicional, etc.
• Rastreamento de linhagem - Todas as entradas e saídas de todas as etapas são persistidas e rastreadas
• Verificação do tipo de tempo de execução -Falha cedo com a verificação do tipo de tempo de execução
• Painel da Web - Monitor, rastreie e visualize pipelines em uma interface da web moderna
• Visualização de artefatos - Visualize todas as entradas e saídas de todas as etapas no painel da web
• Execução local - Execute dutos em sua máquina local sem qualquer implantação necessária
• Orquestração em nuvem - Execute pipelines em Kubernetes para acessar GPUs e outros recursos em nuvem
• Recursos de computação heterogênea - execute etapas diferentes em diferentes máquinas (por exemplo, CPUs, memória, GPU, faísca, etc.)
• Implantação de gráficos de helm - Instale a semática no seu cluster Kubernetes
• Reprises de pipeline - reepréstimo de pipelines da interface do usuário de um ponto arbitrário no gráfico
• Cache de etapa - cache etapas caras de pipeline para iteração mais rápida
• Passo Repetir - Recupere -se de falhas transitórias com as tentativas de etapa
• Metadados e colaboração - tags, visualização de código -fonte, documentos, notas, etc.
• Numerosas integrações - veja abaixo

Integrações

• Apache Spark -cluster em cluster sob demanda
• RAY -RAY RAY ROY RECURSOS RAY
• Snowflake - Consulte facilmente o seu data warehouse (outros armazéns suportados também)
• Plotly, matplotlib - visualize artefatos de plotagem no painel da web
• PANDAS - Visualize artefatos de quadro de dados no painel
• Grafana - Painéis de Grafana incorporados no painel da web
• Bazel - Integre -se ao seu sistema Bazel Build
• Helm Chart - Implante em Kubernetes com nosso gráfico de comando
• Git - rastrear informações git no painel da web

Comunidade e recursos

Saiba mais sobre a semática e entre em contato com os seguintes recursos:

• Página de desembarque semático
• Documentação
• Discord Channel
• Canal do youtube
• Nosso blog

Contribuir!

Para contribuir com a semática, confira as questões abertas com a marca "Boa primeira edição" e entre em contato conosco na discórdia. Você pode encontrar instruções sobre como configurar seu ambiente de desenvolvimento em nossos documentos de desenvolvedor. Se você quiser adicionar um exemplo, também pode achar este guia útil.