ecco

ECCO是一個用於使用交互式可視化的自然語言處理模型的Python庫。

ECCO提供了多個接口，以幫助基於變壓器的語言模型的解釋和直覺。閱讀：用於解釋變壓器語言模型的接口。

ECCO在Jupyter筆記本中運行。它建在Pytorch和Transformers的頂部。

ECCO與培訓或微調模型無關。僅探索和理解現有的預訓練模型。該圖書館目前是研究項目的α版本。歡迎您做出貢獻，使其變得更好！

文檔：ecco.Readthedocs.io

特徵

• 支持各種語言模型（GPT2，Bert，Roberta，T5，T0等）[用於添加更多模型的筆記本和說明]。
• 能夠添加自己的本地型號（如果它們基於擁抱面孔模型）。
• 功能歸因（集成級，顯著性，InputXgradient，Deeplift，DeepLiftShap，hudidedbackprop，guidedgradcam，deonvoltolution and deonenvolution和lrp via captum）
• 在變壓器塊中的FFNN層中捕獲神經元激活
• 識別和可視化神經元激活模式（通過非陰性基質分解）
• 通過使用SVCCA，PWCCA和CKA的激活空間比較神經元激活（請參閱有關使用CCA檢查神經網絡的視頻）
• 可視化：
  • 通過模型層（Logit Lens）處理令牌的演變
  • 候選輸出令牌及其概率（模型中的每一層）

安裝

您可以使用pip或conda安裝ecco 。

與pip

pip install ecco

與Conda

conda install -c conda-forge ecco

示例：

您可以從此[筆記本]中運行所有這些示例| [COLAB]。

這部電影評論的情感是什麼？

使用大型語言模型（在這種情況下為T5）來檢測文本情緒。除了情感之外，請參見“令牌”該模型將文本分解為（可以幫助調試一些邊緣案例）。

這篇評論中的哪個單詞使該模型將其情感歸類為“負面”？

使用集成梯度的功能歸因可幫助您探索模型決策。在這種情況下，將“弱點”切換到“傾斜度”使模型可以將預測正確切換為正。

通過提出填寫空白問題來探索GPT模型的世界知識。

GPT2知道希思羅機場在哪裡嗎？是的。確實如此。

除倫敦外，該模型還考慮了其​​他哪些城市/單詞？

可視化候選輸出令牌及其概率分數。

哪個輸入詞導致它想到倫敦？

該模型對倫敦是正確的答案充滿信心嗎？

該模型通過在模型的最後一層之後使最高概率令牌（排名第一）選擇倫敦。每一層有助於提高倫敦的排名？這是一個logit鏡頭可視化，有助於探索不同模型層的活性。

當Bert神經元處理一段文本時，它的模式是什麼？

伯特的一組神經元傾向於響應逗號和其他標點符號。其他群體的神經元傾向於響應代詞。使用此可視化來分解單個FFNN層或整個模型中的神經元活性。

閱讀論文：

ECCO：用於解釋性語言模型的計算語言學（ACL）系統演示的開源庫，2021

教程

• 視頻：與ECCO一起看語言模型。 [COLAB筆記本]

操作指南

• 解釋變壓器語言模型的接口
• 找到要說的單詞：語言模型的隱藏狀態可視化

API參考

API參考和架構頁面解釋了ECCO的組件以及它們如何共同工作。

畫廊和示例

預測令牌：查看模型對接下來的令牌的預測（概率得分）。查看預測如何通過模型的層演變。 [筆記本] [COLAB]

---

跨層的排名：在模型選擇輸出令牌之後，請回顧一下每個層如何排名該令牌。 [筆記本] [COLAB]

---

圖層預測：將多個令牌的排名作為序列中某個位置的候選者的排名。 [筆記本] [COLAB]

---

主要歸因：每個輸入令牌有多少有助於產生輸出令牌？ [筆記本] [COLAB]

---

詳細的主要屬性：使用詳細視圖查看更精確的輸入屬性值。 [筆記本] [COLAB]

---

神經元激活分析：使用非陰性基質分解檢查神經元激活中的潛在模式。 [筆記本] [COLAB]

得到幫助

遇到麻煩？

• 討論委​​員會可能會有一些相關信息。如果沒有，您可以在那裡發布問題。
• 在ECCO的問題跟踪器上報告錯誤

引用的Bibtex：

 @inproceedings { alammar-2021-ecco ,
    title = " Ecco: An Open Source Library for the Explainability of Transformer Language Models " ,
    author = " Alammar, J " ,
    booktitle = " Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: System Demonstrations " ,
    year = " 2021 " ,
    publisher = " Association for Computational Linguistics " ,
}