metaflow

Métaflow

Metaflow est une bibliothèque respectueuse de l'homme qui aide les scientifiques et les ingénieurs à construire et à gérer des projets de science des données réels. Metaflow a été initialement développé chez Netflix pour stimuler la productivité des scientifiques des données qui travaillent sur une grande variété de projets, des statistiques classiques à l'apprentissage en profondeur de pointe.

Pour plus d'informations, voir le site Web et la documentation de Metaflow.

Du prototype à la production (et au dos)

Metaflow fournit une API simple et conviviale qui couvre les besoins fondamentaux des projets de science de la ML, de l'IA et des données:

1. Prototypage local rapide, prise en charge des cahiers et suivi et version intégrés des expériences.
2. Évolutivité horizontale et verticale au cloud, en utilisant à la fois des CPU et des GPU et un accès rapide aux données.
3. Gestion des dépendances et des déploiements en un clic vers des orchestrateurs de production hautement disponibles.

Commencer

Se mettre en marche est facile. Si vous ne savez pas par où commencer, Metaflow Sandbox vous fera courir et explorer Metaflow en quelques secondes.

Installation de Metaflow dans votre environnement Python

Pour installer Metaflow dans votre environnement local, vous pouvez installer à partir de PYPI:

pip install metaflow

Alternativement, vous pouvez également installer à Conda-Forge:

conda install -c conda-forge metaflow

Si vous êtes impatient d'essayer Metaflow dans la pratique, vous pouvez commencer par le tutoriel. Après le tutoriel, vous pouvez en savoir plus sur le fonctionnement de Metaflow ici.

Déploiement de l'infrastructure pour Metaflow dans votre cloud

Bien que vous puissiez commencer avec Metaflow facilement sur votre ordinateur portable, les principaux avantages de Metaflow se trouvent dans sa capacité à évoluer vers des clusters de calcul externes et à se déployer vers des orchestrateurs de flux de travail de qualité de production. Pour bénéficier de ces fonctionnalités, suivez ce guide pour configurer Metaflow et l'infrastructure derrière lui de manière appropriée.

Ressources

Communauté Slack

Une communauté active de milliers de scientifiques des données et d'ingénieurs ML discutant des tenants et outs de l'apprentissage automatique appliqué.

Tutoriels

• Introduction à Metaflow
• Traitement du langage naturel avec Metaflow
• Vision informatique avec Metaflow
• Systèmes de recommandation avec Metaflow
• Et un contenu plus avancé ici

Cas d'utilisation généative AI et LLM

• Pile d'infrastructure pour les modèles de grande langue
• Parallélisation de diffusion stable pour les cas d'utilisation de la production
• Chuchoter avec Metaflow sur Kubernetes
• Formation d'un modèle grand langage avec Metaflow, avec Dolly

Entrer en contact

Il existe plusieurs façons de nous contacter:

• Communauté Slack
• Problèmes de github

Contributif

Nous saluons les contributions à Metaflow. Veuillez consulter notre guide de contribution pour plus de détails.