sematic

La plate-forme d'apprentissage automatique continu open source

Créez des pipelines ML avec seulement Python, exécutez sur votre ordinateur portable ou dans le nuage.

Sematic est une plate-forme de développement ML open source. Il permet aux ingénieurs ML et aux scientifiques des données d'écrire des pipelines de bout en bout arbitrairement complexes avec un python simple et de les exécuter sur leur machine locale, dans une machine virtuelle cloud ou sur un cluster Kubernetes pour tirer parti des ressources cloud.

Sematic est basé sur des apprentissages réunis dans les meilleures sociétés automobiles autonomes. Il permet des travaux de traitement des données de chaînage (par exemple Apache Spark) avec une formation sur modèle (par exemple Pytorch, Tensorflow) ou toute autre logique commerciale de Python arbitraire dans des pipelines de bout en bout de type, traçables et reproductibles qui peuvent être surveillés et visualisés dans un tableau de bord Web moderne.

Lisez notre documentation et rejoignez notre canal Discord.

Pourquoi Sematic

• Intégration facile - Aucun déploiement ou infrastructure nécessaire pour commencer, installer simplement Sematic localement et commencer à explorer.
• Parité locale à cloud - Exécutez le même code sur votre ordinateur portable local et sur votre cluster Kubernetes.
• Tracabilité de bout en bout - Tous les artefacts du pipeline sont persistés, suivis et visualisables dans un tableau de bord Web.
• Accédez à un calcul hétérogène - Personnalisez les ressources requises pour chaque étape de pipeline pour optimiser vos performances et votre empreinte cloud (CPU, mémoire, GPU, cluster Spark, etc.)
• Reproductibilité - Restaurez vos pipelines de l'interface utilisateur avec une reproductibilité garantie des résultats

Commencer

Pour commencer localement, installez simplement Sematic dans votre environnement Python:

$ pip install sematic

Démarrez le tableau de bord Web local:

$ sematic start

Exécutez un exemple de pipeline:

$ sematic run examples/mnist/pytorch

Créer un nouveau projet de passe-partout:

$ sematic new my_new_project

Ou à partir d'un exemple existant:

$ sematic new my_new_project --from examples/mnist/pytorch

Ensuite, exécutez-le avec:

$ python3 -m my_new_project

Pour déployer Sematic sur Kubernetes et tirer parti des ressources cloud, consultez notre documentation.

Caractéristiques

• SDK Python léger - Définissez des pipelines de bout en bout arbitrairement complexes
• Pipeline Nesting - Nid arbitrairement les pipelines dans des pipelines plus grands
• Graphiques dynamiques - Les graphiques définis par Python permettent les itérations, la ramification conditionnelle, etc.
• Suivi de la lignée - toutes les entrées et sorties de toutes les étapes sont persistées et suivis
• Exécution de type de type - échouer tôt avec la vérification du type d'exécution
• Tableau de bord Web - Monitor, piste et visualisez les pipelines dans une interface utilisateur moderne
• Visualisation des artefacts - Visualisez toutes les entrées et sorties de toutes les étapes du tableau de bord Web
• Exécution locale - Exécutez des pipelines sur votre machine locale sans aucun déploiement nécessaire
• Orchestration cloud - Exécutez des pipelines sur Kubernetes pour accéder aux GPU et autres ressources cloud
• Ressources de calcul hétérogènes - Exécutez différentes étapes sur différentes machines (par exemple CPU, mémoire, GPU, étincelle, etc.)
• Déploiement du graphique de la barre - Installez Sematic sur votre cluster Kubernetes
• Redigeurs de pipeline - Rerruez des pipelines de l'interface utilisateur à partir d'un point arbitraire du graphique
• Étapes de mise en cache - étapes de pipeline coûteuses de cache pour une itération plus rapide
• Étape réessayer - recouvrer des échecs transitoires avec des tentatives de pas
• Métadonnées et collaboration - Tags, visualisation du code source, docstrings, notes, etc.
• De nombreuses intégrations - voir ci-dessous

Intégrations

• Apache Spark - Cluster Spark à cluster à la demande
• Ray - Raire Ray Ray Ray Ray à la demande
• Snowflake - interrogez facilement votre entrepôt de données (les autres entrepôts sont également pris en charge)
• Intraire, Matplotlib - Visualisez les artefacts de l'intrigue dans le tableau de bord Web
• Pandas - Visualisez les artefacts DataFrame dans le tableau de bord
• Grafana - Intégrer les panneaux Grafana dans le tableau de bord Web
• Bazel - Intégrez à votre système de construction de bazel
• Horaire - Déployer à Kubernetes avec notre graphique de barre
• GIT - Suivez les informations GIT dans le tableau de bord Web

Communauté et ressources

En savoir plus sur Sematic et contacter les ressources suivantes:

• Page de destination sématique
• Documentation
• Canal de discorde
• Chaîne YouTube
• Notre blog

Contribuer!

Pour contribuer à Sematic, consultez les problèmes ouverts tagués "bon premier problème" et contactez-nous sur Discord. Vous pouvez trouver des instructions sur la façon de mettre en place votre environnement de développement dans nos documents de développeur. Si vous souhaitez ajouter un exemple, vous pouvez également trouver ce guide utile.