KnowledgeVIS

Knowledgevis

Bandingkan secara visual Fill-the-Blank LLM yang diminta untuk mengungkap bias dan asosiasi yang dipelajari!

????

Apa itu Knowledgevis?

Model bahasa besar (LLM) seperti BerT dan GPT-3 telah melihat peningkatan yang signifikan dalam kinerja pada tugas bahasa alami, memungkinkan mereka untuk membantu orang menjawab pertanyaan, menghasilkan esai, merangkum artikel panjang, dan banyak lagi. Namun memahami apa yang telah dipelajari oleh model -model ini dan mengapa mereka bekerja masih merupakan tantangan terbuka. Untuk peneliti dan insinyur pemrosesan bahasa alami (NLP) yang semakin melatih dan menggunakan LLMS sebagai `` kotak hitam '' untuk menghasilkan teks, mengeksplorasi bagaimana perilaku yang dipelajari selama pelatihan terwujud dalam tugas hilir dapat membantu mereka meningkatkan pengembangan model; misalnya, dengan memunculkan stereotip berbahaya .

Knowledgevis adalah sistem analisis visual manusia-in-loop untuk membandingkan petunjuk isian-dalam-blok untuk mengungkap asosiasi dari representasi teks yang dipelajari. Knowledgevis membantu pengembang membuat set prompt yang efektif, menyelidiki berbagai jenis hubungan antara kata-kata, tes untuk berbagai asosiasi yang telah dipelajari, dan menemukan wawasan di beberapa set prediksi untuk setiap model bahasa berbasis Bert.

1. Pertama, kami merancang antarmuka visual intuitif yang menyusun proses kueri untuk mendorong kreativitas dan pembuatan dan pengujian yang cepat.
2. Kemudian, untuk mengurangi kompleksitas ruang prediksi yang cepat, kami mengembangkan teknik pengelompokan baru yang mengelompokkan prediksi dengan kesamaan semantik.
3. Akhirnya, kami memberikan beberapa visualisasi teks ekspresif dan interaktif untuk mempromosikan eksplorasi dan penemuan wawasan di berbagai tingkat abstraksi data: peta panas; Tampilan set yang diilhami oleh awan tag paralel; dan scatterplot dengan posisi debu-dan-magnet dari sumbu.

Secara kolektif, visualisasi ini membantu pengguna mengidentifikasi kemungkinan dan keunikan prediksi individu, membandingkan set prediksi antara petunjuk, dan merangkum pola dan hubungan antara prediksi di semua petunjuk.

Kode ini menyertai makalah penelitian:

Knowledgevis: Menafsirkan Model Bahasa dengan Membandingkan Permintaan Isi-dalam-Kamar
Adam Coscia, Alex Endert
Transaksi IEEE tentang Visualisasi dan Grafik Komputer (TVCG), 2023 (untuk muncul)
| Kertas | ▶ ️ Demo langsung | Video demo | ? ‍ kode |

Fitur

? Antarmuka pembuatan cepat yang cepat, kreatif, dan dapat diskalakan "pengisian-dalam-blank":

Respons yang secara otomatis berkurang secara semantik untuk mengungkapkan pola tingkat tinggi:

? Jelajahi secara visual dan temukan wawasan di berbagai tingkat abstraksi data:

Video demo

Tonton video demo untuk tutorial lengkap di sini: https://youtu.be/hbx4rsumr_i

Demo langsung

Untuk demo langsung, kunjungi: https://adamcoscia.com/papers/knowledgevis/demo/

Memulai

? Anda dapat menguji visualisasi kami pada LLMS Anda sendiri hanya dalam beberapa langkah mudah!

• Instal Python v3.9.x (rilis terbaru)
• Kloning repo ini ke komputer Anda (instruksi)

git clone [email protected]:AdamCoscia/KnowledgeVIS.git

# use --depth if you don't want to download the whole commit history
git clone --depth 1 [email protected]:AdamCoscia/KnowledgeVIS.git

Antarmuka

• Aplikasi web frontend vanilla html/css/javascript yang ditenagai oleh d3.js dan ui semantik!
• Detail tambahan dapat ditemukan di antarmuka/readme.md

Arahkan ke folder antarmuka:

 cd interface

• Jika Anda menjalankan Windows:

py -3.9 -m http.server

• Jika Anda menjalankan MacOS / Linux:

python3.9 -m http.server

Arahkan ke Localhost: 8000. Anda harus melihat Knowledgevis berjalan di browser Anda :)

Server

• Aplikasi Web Flask Python 3.9 Backend untuk menjalankan model LLM lokal yang diunduh dari Face Hugging!
• Detail tambahan dapat ditemukan di server/readme.md

Arahkan ke folder server:

 cd server

Buat lingkungan virtual:

• Jika Anda menjalankan Windows:

 # Start a virtual environment
py -3.9 -m venv venv

# Activate the virtual environment
. v env S cripts a ctivate

• Jika Anda menjalankan MacOS / Linux:

 # Start a virtual environment
python3.9 -m venv venv

# Activate the virtual environment
source venv/bin/activate

Instal dependensi:

python -m pip install -r requirements.txt

Instal Pytorch v2.0.x (instruksi)

Pytorch dipasang secara terpisah karena beberapa sistem dapat mendukung CUDA, yang membutuhkan proses instalasi yang berbeda dan secara signifikan dapat mempercepat alat.

1. Pertama, periksa apakah GPU Anda dapat mendukung CUDA (tautan)
2. Kemudian, ikuti instruksi yang ditautkan di atas untuk menentukan apakah sistem Anda dapat mendukung CUDA untuk perhitungan.

Kemudian jalankan server:

python main.py

Kredit

Dipimpin oleh Adam Coscia, Knowledgevis adalah hasil dari kolaborasi antara ahli visualisasi dalam komputasi dan desain interaksi yang berpusat pada manusia dari Georgia Tech. Knowledgevis diciptakan oleh Adam Coscia dan Alex Endert.

Kutipan

Untuk mempelajari lebih lanjut tentang Knowledgevis, silakan baca makalah penelitian kami (tampil di IEEE TVCG).

 @article { Coscia:2023:KnowledgeVIS ,
  author = { Coscia, Adam and Endert, Alex } ,
  journal = { IEEE Transactions on Visualization and Computer Graphics } ,
  title = { KnowledgeVIS: Interpreting Language Models by Comparing Fill-in-the-Blank Prompts } ,
  year = { 2023 } ,
  volume = { } ,
  number = { } ,
  pages = { 1-13 } ,
  doi = { 10.1109/TVCG.2023.3346713 }
}

Lisensi

Perangkat lunak ini tersedia di bawah lisensi MIT.

Kontak

Jika Anda memiliki pertanyaan, jangan ragu untuk membuka masalah atau hubungi Adam Coscia.