Issue Label Bot

️ Le bot d'étiquette Isssue n'est plus en direct. Vous pouvez toujours afficher le code, mais nous avons supprimé le bot en raison des coûts d'infrastructure connexes

Code pour: "Comment automatiser les tâches sur GitHub avec l'apprentissage automatique pour le plaisir et le profit"

Table des matières

• Bot de marque
  • Liens importants
  • Fichiers
• Exécution de ce code
  • Variables d'environnement
  • Courir localement
  • Déploier en tant que service
• Contributif
  • Feuille de route
  • Références
• Avertissement

Auteurs originaux: @Hamelsmu, @ Inc0, @jlewi

Bot étiquette de l'étiquette

Installez cette application à partir du marché GitHub

Une application GitHub alimentée par l'apprentissage automatique, écrite en python. Une discussion sur la motivation de la création de cette application est décrite dans cet article de blog.

Lorsqu'un problème est ouvert, le bot prévoit si l'étiquette doit être une feature request , bug ou question et applique automatiquement une étiquette le cas échéant. Voici une capture d'écran du bot en action:

Plus d'exemples peuvent être consultés sur la page d'accueil de notre application. Il convient de noter que le bot ne peut appliquer aucune étiquette dans des circonstances où la prédiction est incertaine. Voir la section Avertissement pour plus de mises en garde.

Liens importants

• Page d'accueil de l'étiquette de l'étiquette. Fournit un moyen de visualiser les prévisions d'exemples ainsi que d'autres informations concernant ce bot.
• Page de l'application GitHub pour l'étiquette de numéro Bot, où vous pouvez installer l'application. Voir les avertissements ci-dessous avant l'installation.

Fichiers

• / Notebooks: contient des cahiers sur la façon de former le modèle et d'interagir avec l'API GitHub à l'aide d'un client Python.
• / flask_app: code pour une application FLASK qui écoute les événements GitHub publie et répond par des prédictions. Il s'agit de l'application principale avec laquelle l'utilisateur interagira.
• / ARGO: Le code de ce répertoire concerne la construction de pipelines Argo ML pour la formation et le déploiement de workflows ML.
• / Déploiement: ce répertoire contient des fichiers utiles pour déployer l'application.
  • Dockerfile C'est la définition du conteneur utilisé pour exécuter l'application FLASK. La construction de ce conteneur est hébergée sur DockerHub à Hamelsmu / Mlapp.
  • Heroku.yml: Ceci est utilisé pour le déploiement à Heroku.
  • * .yaml: ces fichiers se rapportent à un déploiement de Kubernetes.

Exécution de ce code

Condition préalable

Pour utiliser le code dans ce référentiel, vous devrez enregistrer votre propre application GitHub et installer cette application sur les référentiels souhaités et stocker des secrets d'authentification.

Tout d'abord, parcourez la section Prérequis de ce guide de démarrage, sauf la section "Ruby Programming Language" car nous utiliserons Python à la place comme client qui interface avec l'API GitHub.

Deuxièmement, configurez votre environnement de développement. Assurez-vous de créer un secret Webhook, même si cette étape est facultative.

Ensuite, configurez une base de données Postgres. Vous pouvez le faire gratuitement sur Heroku. Instructions détaillées (volé sans vergogne à partir d'ici):

1. Accédez à https://www.heroku.com/ et créez un compte si vous n'en avez pas déjà.
2. Sur le tableau de bord d'Heroku, cliquez sur «Nouveau» et choisissez «Créer une nouvelle application».
3. Donnez un nom à votre application et cliquez sur «Créer l'application».
4. Sur la page «Présentation» de votre application, cliquez sur le bouton «Configurer les modules complémentaires».
5. Dans la section «Add-ons» de la page, tapez et sélectionnez «Heroku Postgres».
6. Choisissez le plan «Hobby Dev - gratuit», qui vous donnera accès à une base de données postgresql gratuite qui prendra en charge jusqu'à 10 000 lignes de données. Cliquez sur «Provision».
7. Maintenant, cliquez sur le lien «Heroku Postgres :: Base de données».
8. Vous devriez maintenant être sur la page de vue d'ensemble de votre base de données. Cliquez sur 8 «Paramètres», puis «Afficher les informations d'identification». Ce sont les informations dont vous avez besoin pour vous connecter à votre base de données.

Enfin, vous devez créer des variables d'environnement pour tous les secrets, qui est décrit ci-dessous.

Variables d'environnement

1. PRIVATE_KEY : il s'agit de la clé privée que vous utilisez pour vous authentifier en tant qu'application avec l'API GitHub.
2. WEBHOOK_SECRET : Ceci est utilisé pour vérifier que les charges utiles reçues par votre application sont en fait de GitHub. Ceci est décrit ici.
3. DATABASE_URL : Il s'agit de l'URL qui contient les informations de connexion pour votre base de données PostgreSQL, généralement dans le formulaire: postgres://<username>:<password>@<url>:5432/<database_name>
4. APP_ID : Il s'agit d'un identifiant unique qui vous est fourni par GitHub lorsque vous enregistrez votre application.
5. FLASK_ENV : Ceci est généralement défini sur production ou development . Vous voudrez utiliser deployment pour les tests locaux.
6. PORT : Ceci est le port sur lequel votre application servira. Notez que si vous déploiez à Heroku, Heroku remplacera cette variable avec leur propre valeur lors de la création de votre application. Pour le développement local, vous voudrez que cela corresponde au port de Port.
7. APP_URL : Il s'agit de l'URL de la page d'accueil de votre application qui est fournie aux utilisateurs en tant que lien dans les commentaires du problème. Vous pouvez le définir sur une valeur arbitraire pour le développement local.

Remarque: Si vous utilisez ZSH, le plugin Dotenv peut être utile pour gérer les variables d'environnement.

Courir localement

1. Installez les dépendances : installez les exigences.txt dans un environnement virtuel. Si vous utilisez PIPENV, installez les dépendances nécessaires de PipFile.loc en tapant pipenv install à la racine de ce référentiel.

2. Exécutez l'application FLASK : Exécutez python flask_app/app.py à partir de la racine de ce référentiel. Pour que cela fonctionne, vous devez correctement définir les variables d'environnement comme décrit dans la section Variables d'environnement.

3. Facultatif - Exécutez l'application en tant que conteneur Docker . Un conteneur Docker qui sert un bot étiquette à problèmes peut être construit avec le bash script/bootstrap commande de commande à partir de la racine de ce référentiel. Ce script construit une image Docker nommée hamelsmu/mlapp , qui est également disponible sur DockerHub. Si vous souhaitez exécuter le conteneur Docker localement pour les tests, vous devez transmettre les variables d'environnement nécessaires au conteneur Docker à l'exécution, ainsi que d'exposer les ports nécessaires pour l'application. Voir la section Références pour plus de ressources sur l'utilisation de Docker.

Déploier en tant que service

Les actifs de ce dépôt vous permettent de déployer sur Heroku (plus facile) ou un cluster Kubernetes (plus avancé).

Dans Heroku, les secrets peuvent être transmis en tant que variables de configuration. De plus, cette documentation décrit comment vous pouvez définir des secrets dans Kubernetes. Assurez-vous de définir la variable d'environnement FLASK_ENV en production si vous allez déployer l'application publiquement.

Contributif

Nous accueillons toutes les formes de contributions. Nous sommes particulièrement intéressés par ce qui suit:

• Correctifs de bugs
• Améliorations ou fonctionnalités supplémentaires
• Améliorations du modèle ou de l'expansion des ensembles de données utilisés pour la formation.

Feuille de route

Les auteurs de ce projet souhaitent ajouter les fonctionnalités suivantes dans un avenir proche:

• Construire de meilleures étiquettes et des échantillons négatifs d'éléments qui n'appartiennent pas à l'étiquette définie pour entraîner de nouvelles améliorations.
• Utilisation des outils de Fastai à explorer:
  • Architectures de pointe, telles que l'attention multiples
  • Utiliser l'apprentissage du transfert pour prédire les étiquettes uniques et / ou améliorer la précision.
• Utilisation d'actions GitHub pour déclencher des déploiements automatisés de ce code.
• Orchestration du pipeline modèle sur des pipelines Argo.

Références

• Le code de ce dépôt et le ou les didacticiels associés assument la familiarité avec Docker. Ce billet de blog offre une introduction douce à Docker pour les scientifiques des données.

• Besoin d'inspiration pour d'autres produits de données que vous pouvez construire en utilisant l'apprentissage automatique et les ensembles de données GitHub publics? Voir ces exemples:

  • Résumé et recommandation du problème GitHub.
  • Recherche de code sémantique en langue naturelle.

• Excellent cours sur Flask: Harvardx CS50 Web.

• MOOCS par Fastai pour l'apprentissage automatique et l'apprentissage en profondeur.

Avertissement

Le bot étiquette des problèmes est à des fins éducatives et de démonstration uniquement. Notre objectif était de fournir un exemple de travail minimal à la communauté avec le moins de complexité possible. Par conséquent, nous pensons que le modèle démontré a une grande place de l'amélioration. En outre, cette application ne fonctionne que sur les référentiels publics et ne fera rien si je ne fera pas d'installation sur un dépôt privé.