ecco

ECCO est une bibliothèque Python pour explorer et expliquer les modèles de traitement du langage naturel à l'aide de visualisations interactives.

ECCO fournit plusieurs interfaces pour aider l'explication et l'intuition des modèles de langage basés sur les transformateurs. Lire: Interfaces pour expliquer les modèles de langue transformateur.

ECCO s'exécute à l'intérieur des cahiers Jupyter. Il est construit sur le pytorch et les transformateurs.

L'ECCO ne concerne pas la formation ou les modèles de réglage fin. Explorer et comprendre les modèles pré-formés existants. La bibliothèque est actuellement une version alpha d'un projet de recherche. Vous êtes invités à contribuer à l'améliorer!

Documentation: ecco.readthedocs.io

Caractéristiques

• Prise en charge d'une grande variété de modèles de langage (GPT2, Bert, Roberta, T5, T0 et autres) [Notebook & Instructions pour ajouter plus de modèles].
• Capacité à ajouter vos propres modèles locaux (s'ils sont basés sur des modèles Pytorch pour les câlins).
• Attribution des fonctionnalités (IntegratedGradient, Sailency, Inputxradient, Deeplift, DeepliftShap, GuidedBackprop, GuidedgradCam, Deconvolution et LRP via Captum)
• Capturer les activations des neurones dans la couche FFNN dans le bloc de transformateur
• Identifier et visualiser les modèles d'activation des neurones (via la factorisation de la matrice non négative)
• Examiner les activations des neurones via des comparaisons d'espaces d'activations à l'aide de SVCCA, PWCCA et CKA (voir cette vidéo sur l'inspection des réseaux de neurones avec CCA)
• Visualisations pour:
  • Évolution du traitement d'un jeton à travers les couches du modèle (Logit Lens)
  • Les jetons de sortie des candidats et leurs probabilités (à chaque couche du modèle)

Installation

Vous pouvez installer ecco avec pip ou avec conda .

avec pip

pip install ecco

avec conda

conda install -c conda-forge ecco

Exemples:

Vous pouvez exécuter tous ces exemples à partir de ce [cahier] | [Colab].

Quel est le sentiment de cette critique de film?

Utilisez un modèle grand langage (T5 dans ce cas) pour détecter le sentiment du texte. En plus du sentiment, voir les jetons dans lesquels le modèle a brisé le texte (ce qui peut aider à déboguer certains cas de bord).

Quels mots de cette revue conduisent le modèle à classer son sentiment comme "négatif"?

L'attribution des fonctionnalités utilisant des gradients intégrés vous aide à explorer les décisions du modèle. Dans ce cas, le changement de "faiblesse" à "l'inclinaison" permet au modèle de basculer correctement la prédiction à positif .

Explorez les connaissances mondiales des modèles GPT en posant des questions à remplir.

GPT2 sait-il où est l'aéroport d'Heathrow? Oui. C'est le cas.

Quelles autres villes / mots le modèle a-t-il considéré en plus de Londres?

Visualisez les jetons de sortie candidats et leurs scores de probabilité.

Quels mots d'entrée le conduisent à penser à Londres?

À quelles couches le modèle a-t-il recueilli la confiance que Londres est la bonne réponse?

Le modèle a choisi Londres en faisant le jeton de probabilité le plus élevé (le classant # 1) après la dernière couche du modèle. Dans quelle mesure chaque couche a-t-elle contribué à augmenter le classement de Londres ? Il s'agit d'une visualisation de l'objectif logit qui aide à explorer l'activité de différentes couches de modèle.

Quels sont les modèles de l'activation des neurones de Bert lorsqu'il traite un texte?

Un groupe de neurones de Bert a tendance à tirer en réponse aux virgules et à d'autres ponctuations. D'autres groupes de neurones ont tendance à tirer en réponse aux pronoms. Utilisez cette visualisation pour factoriser l'activité des neurones dans les couches FFNN individuelles ou dans tout le modèle.

Lisez le journal:

ECCO: une bibliothèque open source pour l'explication des démonstrations du système des modèles de langue transformateur pour la linguistique computationnelle (LCA), 2021

Tutoriels

• Vidéo: Jetez un œil à l'intérieur des modèles de langue avec ECCO. [Notebook Colab]

Guides pratiques

• Interfaces pour expliquer les modèles de langue transformateur
• Trouver les mots à dire: visualisations d'état cachées pour les modèles de langue

Référence de l'API

La référence de l'API et la page d'architecture expliquent les composants de l'ECCO et comment ils fonctionnent ensemble.

Galerie et exemples

Tokens prévu: affichez la prédiction du modèle pour le jet de jetons suivant (avec des scores de probabilité). Voyez comment les prédictions ont évolué à travers les couches du modèle. [Notebook] [Colab]

---

Classement sur les couches: Une fois que le modèle choisit un jeton de sortie, regardez comment chaque couche a classé ce jeton. [Notebook] [Colab]

---

Prédictions de couche: Comparez le classement de plusieurs jetons en tant que candidats pour une certaine position dans la séquence. [Notebook] [Colab]

---

Attributions primaires: combien de jeton d'entrée a-t-il contribué à la production du jeton de sortie? [Notebook] [Colab]

---

Attributions primaires détaillées: Voir les valeurs d'attributions d'entrée plus précises à l'aide de la vue détaillée. [Notebook] [Colab]

---

Analyse d'activation des neurones: examiner les modèles sous-jacents dans les activations des neurones en utilisant une factorisation de matrice non négative. [Notebook] [Colab]

Obtenir de l'aide

Vous avez des problèmes?

• Le forum de discussion pourrait avoir des informations pertinentes. Sinon, vous pouvez poster vos questions là-bas.
• Signaler des bugs au tracker du numéro d'ECCO

Bibtex pour les citations:

 @inproceedings { alammar-2021-ecco ,
    title = " Ecco: An Open Source Library for the Explainability of Transformer Language Models " ,
    author = " Alammar, J " ,
    booktitle = " Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: System Demonstrations " ,
    year = " 2021 " ,
    publisher = " Association for Computational Linguistics " ,
}