ecco

ECCO adalah perpustakaan Python untuk mengeksplorasi dan menjelaskan model pemrosesan bahasa alami menggunakan visualisasi interaktif.

ECCO menyediakan banyak antarmuka untuk membantu penjelasan dan intuisi model bahasa berbasis transformator. Baca: Antarmuka untuk menjelaskan model bahasa transformator.

ECCO berjalan di dalam buku catatan Jupyter. Ini dibangun di atas Pytorch dan Transformers.

ECCO tidak peduli dengan pelatihan atau model penyempurnaan. Hanya menjelajahi dan memahami model pra-terlatih yang ada. Perpustakaan saat ini merupakan rilis alpha dari proyek penelitian. Anda dipersilakan untuk berkontribusi untuk membuatnya lebih baik!

Dokumentasi: ecco.readthedocs.io

Fitur

• Dukungan untuk berbagai model bahasa (GPT2, Bert, Roberta, T5, T0, dan lainnya) [notebook & instruksi untuk menambahkan lebih banyak model].
• Kemampuan untuk menambahkan model lokal Anda sendiri (jika mereka didasarkan pada memeluk model pytorch wajah).
• Atribusi fitur (IntegratedGradients, Saliency, InputXGradient, Deeplift, DeepliftShap, GuidedBackProp, GuidedGradCam, Deconvolution, dan LRP melalui CAPTUM)
• Tangkap aktivasi neuron di lapisan FFNN di blok transformator
• Identifikasi dan visualisasikan pola aktivasi neuron (melalui faktorisasi matriks non-negatif)
• Periksa aktivasi neuron melalui perbandingan ruang aktivasi menggunakan SVCCA, PWCCA, dan CKA (lihat video ini tentang memeriksa jaringan saraf dengan CCA)
• Visualisasi untuk:
  • Evolusi Memproses Token Melalui Lapisan Model (Lensa Logit)
  • Token output kandidat dan probabilitas mereka (pada setiap lapisan dalam model)

Instalasi

Anda dapat menginstal ecco baik dengan pip atau dengan conda .

dengan pip

pip install ecco

dengan conda

conda install -c conda-forge ecco

Contoh:

Anda dapat menjalankan semua contoh ini dari [notebook] ini | [colab].

Apa sentimen ulasan film ini?

Gunakan model bahasa besar (T5 dalam hal ini) untuk mendeteksi sentimen teks. Selain sentimen, lihat token, model memecah teks (yang dapat membantu men -debug beberapa kasus tepi).

Kata -kata mana dalam ulasan ini memimpin model untuk mengklasifikasikan sentimennya sebagai "negatif"?

Atribusi fitur menggunakan gradien terintegrasi membantu Anda mengeksplorasi keputusan model. Dalam hal ini, beralih "kelemahan" ke "kecenderungan" memungkinkan model untuk dengan benar mengalihkan prediksi menjadi positif .

Jelajahi pengetahuan dunia model GPT dengan mengajukan pertanyaan-pertanyaan kosong.

Apakah GPT2 tahu di mana Bandara Heathrow? Ya. Itu benar.

Kota/kata lain apa yang dipertimbangkan model selain London?

Visualisasikan token output kandidat dan skor probabilitas mereka.

Kata masukan mana yang mengarah ke London?

Di lapisan mana model itu mengumpulkan keyakinan bahwa London adalah jawaban yang tepat?

Model memilih London dengan membuat token probabilitas tertinggi (peringkatnya #1) setelah lapisan terakhir dalam model. Berapa banyak setiap lapisan berkontribusi untuk meningkatkan peringkat London ? Ini adalah visualisasi lensa logit yang membantu mengeksplorasi aktivitas lapisan model yang berbeda.

Apa saja pola aktivasi Neuron Bert saat memproses sepotong teks?

Sekelompok neuron di Bert cenderung menembak sebagai respons terhadap koma dan tanda baca lainnya. Kelompok neuron lain cenderung menembak sebagai respons terhadap kata ganti. Gunakan visualisasi ini untuk memfaktorkan aktivitas neuron pada lapisan FFNN individu atau di seluruh model.

Baca makalahnya:

ECCO: Perpustakaan Sumber Terbuka untuk Penjelasan Model Transformer Model Bahasa Asosiasi untuk Demonstrasi Sistem Linguistik Komputasi (ACL), 2021

Tutorial

• Video: Lihatlah model bahasa di dalam dengan ECCO. [Colab Notebook]

Cara memandu

• Antarmuka untuk menjelaskan model bahasa transformator
• Menemukan kata -kata untuk diucapkan: visualisasi keadaan tersembunyi untuk model bahasa

Referensi API

Referensi API dan halaman arsitektur menjelaskan komponen ECCO dan bagaimana mereka bekerja bersama.

Galeri & Contoh

Token yang diprediksi: Lihat prediksi model untuk token berikutnya (dengan skor probabilitas). Lihat bagaimana prediksi berkembang melalui lapisan model. [Notebook] [colab]

---

Peringkat lintas lapisan: Setelah model memilih token output, lihat kembali bagaimana setiap lapisan peringkat token itu. [Notebook] [colab]

---

Prediksi Lapisan: Bandingkan peringkat beberapa token sebagai kandidat untuk posisi tertentu dalam urutan. [Notebook] [colab]

---

Atribusi utama: Berapa banyak token input yang berkontribusi untuk menghasilkan token output? [Notebook] [colab]

---

Atribusi utama terperinci: Lihat nilai atribusi input yang lebih tepat menggunakan tampilan terperinci. [Notebook] [colab]

---

Analisis Aktivasi Neuron: Periksa pola yang mendasari dalam aktivasi neuron menggunakan faktorisasi matriks non-negatif. [Notebook] [colab]

Mendapatkan bantuan

Mengalami masalah?

• Dewan diskusi mungkin memiliki beberapa informasi yang relevan. Jika tidak, Anda dapat memposting pertanyaan Anda di sana.
• Laporkan bug di pelacak edisi ecco

Bibtex untuk kutipan:

 @inproceedings { alammar-2021-ecco ,
    title = " Ecco: An Open Source Library for the Explainability of Transformer Language Models " ,
    author = " Alammar, J " ,
    booktitle = " Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: System Demonstrations " ,
    year = " 2021 " ,
    publisher = " Association for Computational Linguistics " ,
}