gobbli

Il s'agit d'une bibliothèque conçue pour fournir une interface uniforme à divers modèles d'apprentissage en profondeur pour le texte via des conteneurs Docker créés par programme.

Usage

Voir les documents pour les conditions préalables, un startart et la référence de l'API. En bref, vous avez besoin de Docker installé avec des autorisations appropriées pour que votre compte utilisateur exécute les commandes Docker et Python 3.7. Ensuite, exécutez ce qui suit:

 pip install gobbli

Vous pouvez également consulter les repères pour voir certaines comparaisons de la mise en œuvre par Gobbli de divers modèles dans différentes situations.

Interactif

Gobbli fournit des applications Streamlit pour effectuer certaines tâches interactives dans un navigateur Web, telles que l'exploration des données et l'évaluation du modèle. Une fois que vous avez installé la bibliothèque, vous pouvez exécuter les applications groupées à l'aide de l'application de ligne de commande gobbli . Vérifiez les documents pour plus d'informations.

Développement

En supposant que vous avez toutes les conditions préalables ci-dessus, vous devez installer le package et toutes les dépendances facultatives requises + en mode de développement:

 pip install -e ".[augment,tokenize,interactive]"

Installer des dépendances de développement supplémentaires:

 pip install -r requirements.txt

Exécutez la liaison, l'autoformat et les tests:

 ./run_ci.sh

Pour éviter de réparer manuellement certaines de ces erreurs, envisagez d'activer le support ISORT et Black dans votre éditeur préféré.

Si vous exécutez des tests dans un environnement avec moins de 12 Go de mémoire, vous voudrez passer l'argument --low-resource lors de l'exécution de tests pour éviter les erreurs hors mémoire.

Remarque: Si vous exécutez sur un Mac, même avec une mémoire adéquate disponible, vous pouvez rencontrer des erreurs de mémoire (statut de sortie 137) lors de l'exécution des tests. Cela est dû au fait que la mémoire n'est pas allouée à votre démon docker. Essayez d'aller à Docker pour Mac -> Préférences -> Avancé et augmenter la "mémoire" à 12GIB ou plus.

Si vous souhaitez exécuter les tests GPU (S) activés, consultez les arguments --use-gpu et --nvidia-visible-devices dans les arguments py.test --help . Si votre machine locale n'a pas de GPU NVIDIA, mais que vous en avez accès à une qui le fait via SSH, vous pouvez utiliser le script test_remote_gpu.sh pour exécuter les tests avec GPU activé sur SSH.

Docs

Pour générer les documents, installez les exigences du document:

 pip install -r docs/requirements.txt

Étant donné que la structure DOC est générée automatiquement à partir de la bibliothèque, vous devez également installer la bibliothèque (et toutes ses dépendances).

Ensuite, exécutez ce qui suit à partir de la racine du référentiel:

 ./generate_docs.sh

Parcourez ensuite la documentation générée dans docs/_build/html .

Attribution

Gobbli n'existerait pas sans la libération publique de plusieurs modèles de pointe. La bibliothèque incorpore:

• Bert, publié par Google
• MT-DNN, publié par Microsoft
• Encodeur de phrase universel, publié par Google
• FastText, publié par Facebook
• Transformers, libéré en étreignant le visage
• Spacy, par explosion
• scikit-apprend

Les travaux originaux de la bibliothèque ont été financés par RTI International.

Conception du logo par Marcia Underwood.