ecco

ECCO是一个用于使用交互式可视化的自然语言处理模型的Python库。

ECCO提供了多个接口，以帮助基于变压器的语言模型的解释和直觉。阅读：用于解释变压器语言模型的接口。

ECCO在Jupyter笔记本中运行。它建在Pytorch和Transformers的顶部。

ECCO与培训或微调模型无关。仅探索和理解现有的预训练模型。该图书馆目前是研究项目的α版本。欢迎您做出贡献，使其变得更好！

文档：ecco.Readthedocs.io

特征

• 支持各种语言模型（GPT2，Bert，Roberta，T5，T0等）[用于添加更多模型的笔记本和说明]。
• 能够添加自己的本地型号（如果它们基于拥抱面孔模型）。
• 功能归因（集成级，显着性，InputXgradient，Deeplift，DeepLiftShap，hudidedbackprop，guidedgradcam，deonvoltolution and deonenvolution和lrp via captum）
• 在变压器块中的FFNN层中捕获神经元激活
• 识别和可视化神经元激活模式（通过非阴性基质分解）
• 通过使用SVCCA，PWCCA和CKA的激活空间比较神经元激活（请参阅有关使用CCA检查神经网络的视频）
• 可视化：
  • 通过模型层（Logit Lens）处理令牌的演变
  • 候选输出令牌及其概率（模型中的每一层）

安装

您可以使用pip或conda安装ecco 。

与pip

pip install ecco

与Conda

conda install -c conda-forge ecco

示例：

您可以从此[笔记本]中运行所有这些示例| [COLAB]。

这部电影评论的情感是什么？

使用大型语言模型（在这种情况下为T5）来检测文本情绪。除了情感之外，请参见“令牌”该模型将文本分解为（可以帮助调试一些边缘案例）。

这篇评论中的哪个单词使该模型将其情感归类为“负面”？

使用集成梯度的功能归因可帮助您探索模型决策。在这种情况下，将“弱点”切换到“倾斜度”使模型可以将预测正确切换为正。

通过提出填写空白问题来探索GPT模型的世界知识。

GPT2知道希思罗机场在哪里吗？是的。确实如此。

除伦敦外，该模型还考虑了其​​他哪些城市/单词？

可视化候选输出令牌及其概率分数。

哪个输入词导致它想到伦敦？

该模型对伦敦是正确的答案充满信心吗？

该模型通过在模型的最后一层之后使最高概率令牌（排名第一）选择伦敦。每一层有助于提高伦敦的排名？这是一个logit镜头可视化，有助于探索不同模型层的活性。

当Bert神经元处理一段文本时，它的模式是什么？

伯特的一组神经元倾向于响应逗号和其他标点符号。其他群体的神经元倾向于响应代词。使用此可视化来分解单个FFNN层或整个模型中的神经元活性。

阅读论文：

ECCO：用于解释性语言模型的计算语言学（ACL）系统演示的开源库，2021

教程

• 视频：与ECCO一起看语言模型。 [COLAB笔记本]

操作指南

• 解释变压器语言模型的接口
• 找到要说的单词：语言模型的隐藏状态可视化

API参考

API参考和架构页面解释了ECCO的组件以及它们如何共同工作。

画廊和示例

预测令牌：查看模型对接下来的令牌的预测（概率得分）。查看预测如何通过模型的层演变。 [笔记本] [COLAB]

---

跨层的排名：在模型选择输出令牌之后，请回顾一下每个层如何排名该令牌。 [笔记本] [COLAB]

---

图层预测：将多个令牌的排名作为序列中某个位置的候选者的排名。 [笔记本] [COLAB]

---

主要归因：每个输入令牌有多少有助于产生输出令牌？ [笔记本] [COLAB]

---

详细的主要属性：使用详细视图查看更精确的输入属性值。 [笔记本] [COLAB]

---

神经元激活分析：使用非阴性基质分解检查神经元激活中的潜在模式。 [笔记本] [COLAB]

得到帮助

遇到麻烦？

• 讨论委​​员会可能会有一些相关信息。如果没有，您可以在那里发布问题。
• 在ECCO的问题跟踪器上报告错误

引用的Bibtex：

 @inproceedings { alammar-2021-ecco ,
    title = " Ecco: An Open Source Library for the Explainability of Transformer Language Models " ,
    author = " Alammar, J " ,
    booktitle = " Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: System Demonstrations " ,
    year = " 2021 " ,
    publisher = " Association for Computational Linguistics " ,
}