ecco

ECCO는 대화식 시각화를 사용하여 자연어 처리 모델을 탐색하고 설명하기위한 파이썬 라이브러리입니다.

ECCO는 변압기 기반 언어 모델의 설명과 직관을 돕기 위해 여러 인터페이스를 제공합니다. 읽기 : 변압기 언어 모델을 설명하기위한 인터페이스.

Ecco는 Jupyter 노트북 내부에서 실행됩니다. Pytorch와 Transformers 위에 제작되었습니다.

ECCO는 교육 또는 미세 조정 모델에 관심이 없습니다. 기존 미리 훈련 된 모델을 탐색하고 이해합니다. 도서관은 현재 연구 프로젝트의 알파 릴리스입니다. 당신은 그것을 더 좋게 만들기 위해 기여할 수 있도록 환영합니다!

문서 : ecco.readthedocs.io

특징

• 다양한 언어 모델 (GPT2, Bert, Roberta, T5, T0 등)에 대한 지원 [더 많은 모델 추가를위한 노트북 및 지침].
• 자신의 로컬 모델을 추가 할 수있는 기능 (포옹 페이스 파이토치 모델을 기반으로하는 경우).
• 기능 속성 (Integratedgradients, Saliency, Inputxgradient, Deeplift, Deepliftshap, Guidedbackprop, Guidedgradcam, Deconvolution 및 LRP를 통해 CAPTUM)
• 변압기 블록의 FFNN 층에서 의 뉴런 활성화 캡처
• 뉴런 활성화 패턴을 식별하고 시각화합니다 (비 음성 매트릭스 인수를 통해)
• SVCCA, PWCCA 및 CKA를 사용한 활성화 공간의 비교를 통해 뉴런 활성화를 검사하십시오 (CCA를 사용하여 신경망 검사에 대한이 비디오 참조).
• 시각화 :
  • 모델의 층을 통해 토큰 처리의 진화 (Logit Lens)
  • 후보 출력 토큰 및 확률 (모델의 각 계층에서)

설치

pip 또는 conda 와 함께 ecco 설치할 수 있습니다.

PIP와 함께

pip install ecco

콘다와 함께

conda install -c conda-forge ecco

예 :

이 [노트북] 에서이 모든 예를 실행할 수 있습니다 | [Colab].

이 영화 검토의 감정은 무엇입니까?

이 경우 큰 언어 모델 (T5)을 사용하여 텍스트 감정을 감지하십시오. 감정 외에도 모델이 텍스트를 깨뜨린 토큰 (일부 가장자리 케이스를 디버깅하는 데 도움이 될 수 있음)을 참조하십시오.

이 검토에서 어떤 단어가 모델을 "음성"으로 분류하도록 이끌어 냅니까?

통합 그라디언트를 사용한 기능 속성은 모델 결정을 탐색하는 데 도움이됩니다. 이 경우 "약점"을 "경사"로 전환하면 모델이 예측을 양수 로 올바르게 전환 할 수 있습니다.

빈 문제를 채우면서 GPT 모델에 대한 세계 지식을 탐구하십시오.

GPT2는 Heathrow Airport가 어디에 있는지 알고 있습니까? 예. 그렇습니다.

런던 외에도 다른 도시/단어를 고려한 것은 무엇입니까?

후보 출력 토큰 및 확률 점수를 시각화하십시오.

어떤 입력 단어가 런던을 생각하게합니까?

모델은 런던이 올바른 답변이라는 확신을 얻었습니까?

이 모델은 모델의 마지막 레이어 이후 가장 높은 확률 토큰 (순위 #1)을 만들어 런던을 선택했습니다. 각 계층은 런던 의 순위를 높이는 데 얼마나 기여 했습니까? 이것은 다른 모델 레이어의 활동을 탐색하는 데 도움이되는 Logit 렌즈 시각화입니다.

텍스트 조각을 처리 할 때 Bert Neuron 활성화의 패턴은 무엇입니까?

Bert의 뉴런 그룹은 쉼표 및 기타 구두점에 반응하여 발사되는 경향이 있습니다. 다른 뉴런 그룹은 대명사에 반응하여 발사되는 경향이 있습니다. 이 시각화를 사용하여 개별 FFNN 층 또는 전체 모델에서 뉴런 활동을 고려하십시오.

논문 읽기 :

ECCO : 변압기 언어 모델 협회 (ACL) 시스템 데모의 설명을위한 오픈 소스 라이브러리, 2021

튜토리얼

• 비디오 : ECCO를 사용하여 언어 모델 내부를 살펴보십시오. [Colab 노트북]

방법 안내

• 변압기 언어 모델을 설명하기위한 인터페이스
• 할 말 찾기 : 언어 모델에 대한 숨겨진 상태 시각화

API 참조

API 참조 및 아키텍처 페이지는 ECCO의 구성 요소와 이들이 어떻게 작동하는지 설명합니다.

갤러리 및 예제

예측 된 토큰 : 다음 토큰에 대한 모델의 예측을 봅니다 (확률 점수 포함). 모델의 계층을 통해 예측이 어떻게 진화했는지보십시오. [노트북] [Colab]

---

계층 간 순위 : 모델이 출력 토큰을 선택한 후 각 레이어가 해당 토큰 순위를 어떻게 순위했는지를 되돌아보십시오. [노트북] [Colab]

---

계층 예측 : 순서대로 특정 위치에 대한 후보로 여러 토큰의 순위를 비교하십시오. [노트북] [Colab]

---

주요 속성 : 각 입력 토큰은 출력 토큰을 생성하는 데 얼마나 많은 기여를 했습니까? [노트북] [Colab]

---

상세한 기본 속성 : 자세한 뷰를 사용하여보다 정확한 입력 속성 값을 참조하십시오. [노트북] [Colab]

---

뉴런 활성화 분석 : 비 음성 매트릭스 인수 화를 사용한 뉴런 활성화의 기본 패턴을 검사합니다. [노트북] [Colab]

도움을 받고 있습니다

문제가 있습니까?

• 토론위원회에는 몇 가지 관련 정보가있을 수 있습니다. 그렇지 않다면 질문을 게시 할 수 있습니다.
• ECCO의 문제 추적기에서 버그를보고합니다

인용을위한 Bibtex :

 @inproceedings { alammar-2021-ecco ,
    title = " Ecco: An Open Source Library for the Explainability of Transformer Language Models " ,
    author = " Alammar, J " ,
    booktitle = " Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: System Demonstrations " ,
    year = " 2021 " ,
    publisher = " Association for Computational Linguistics " ,
}