KnowledgeVIS

Wissensvis

Vergleichen Sie visuell LLM-Aufforderungen der Fülle, um erlernte Vorurteile und Assoziationen aufzudecken!

????

Was ist Wissensvis?

Große Sprachmodelle (LLMs) wie Bert und GPT-3 haben erhebliche Verbesserungen der Leistung bei natürlichen Sprachaufgaben verzeichnet, sodass sie Menschen helfen können, Fragen zu beantworten, Aufsätze zu generieren, lange Artikel zusammenzufassen und vieles mehr. Es ist jedoch eine offene Herausforderung , zu verstehen, was diese Modelle gelernt haben und warum sie arbeiten . Für Forscher und Ingenieure für natürliche Sprachverarbeitung (NLP), die LLMs zunehmend als "Black Boxen" für die Erstellung von Text trainieren und einsetzen, untersuchen, wie sich das Lernen während des Trainings in nachgelagerten Aufgaben manifestiert, um die Modellentwicklung zu verbessern. zB durch die Flucht schädlicher Stereotypen .

Knowledgevis ist ein visuelles Analytics-System des Menschen zum Vergleich von Aufforderungen an die Fülle, um Assoziationen aus erlernten Textdarstellungen aufzudecken. Knowledge Visvis hilft Entwicklern, effektive Sätze von Eingabeaufforderungen zu erstellen, mehrere Arten von Beziehungen zwischen Wörtern zu untersuchen, für verschiedene Lernverbände zu testen und Erkenntnisse in mehreren Vorhersagen für jedes BerT-basierte Sprachmodell zu finden.

1. Zunächst haben wir eine intuitive visuelle Schnittstelle entwickelt, die den Abfrageprozess strukturiert, um sowohl Kreativität als auch schnelle Erzeugung und Tests zu fördern.
2. Um die Komplexität des schnellen Vorhersageraums zu verringern, haben wir dann eine neuartige Clustering -Technik entwickelt, die Vorhersagen nach semantischer Ähnlichkeit gruppiert.
3. Schließlich haben wir mehrere ausdrucksstarke und interaktive Textvisualisierungen bereitgestellt, um die Erkundung und Entdeckung von Erkenntnissen auf mehreren Datenabstraktionsebenen zu fördern: eine Wärmekarte; eine festgelegte Ansicht, die von Parallel -Tag -Wolken inspiriert ist; und Streuplot mit staub-undmagnet-Positionierung von Achsen.

Zusammengenommen helfen diese Visualisierungen dem Benutzer, die Wahrscheinlichkeit und Einzigartigkeit einzelner Vorhersagen zu identifizieren, Vorhersagen zwischen Eingabeaufforderungen zu vergleichen und Muster und Beziehungen zwischen Vorhersagen über alle Eingabeaufforderungen hinweg zusammenzufassen.

Dieser Code begleitet das Forschungsarbeit:

Knowledgevis: Sprachmodelle interpretieren, indem sie die Eingabeaufforderungen vergleicht
Adam Coscia, Alex Endert
IEEE -Transaktionen zu Visualisierung und Computergrafik (TVCG), 2023 (zu erscheinen)
| Papier | ▶ ️ Live -Demo | Demo -Video | ? ‍ Code |

Merkmale

? Schnelle, kreative und skalierbare "Füllungen der Blank" -Einformation:

Cluster automatisch semantisch-simile Antworten, um hochrangige Muster aufzuzeigen:

? Erkunden und entdecken Sie visuell Erkenntnisse auf mehreren Datenabstraktionsstufen:

Demo -Video

Sehen Sie sich das Demo -Video für ein vollständiges Tutorial hier an: https://youtu.be/hbx4rsumr_i

Live -Demo

Eine Live -Demo finden Sie unter: https://adamcoscia.com/papers/knowledgevis/demo/

Erste Schritte

? Sie können unsere Visualisierungen in nur wenigen einfachen Schritten auf Ihren eigenen LLMs testen!

• Installieren Sie Python v3.9.x (neueste Version)
• Klonen Sie dieses Repo auf Ihren Computer (Anweisungen)

git clone [email protected]:AdamCoscia/KnowledgeVIS.git

# use --depth if you don't want to download the whole commit history
git clone --depth 1 [email protected]:AdamCoscia/KnowledgeVIS.git

Schnittstelle

• Eine Frontend Vanille HTML/CSS/JavaScript -Web -App, die von D3.JS und semantischer UI betrieben wird!
• Weitere Details finden Sie in der Schnittstelle/Readme.md

Navigieren Sie zum Schnittstellenordner:

 cd interface

• Wenn Sie Windows ausführen:

py -3.9 -m http.server

• Wenn Sie MacOS / Linux ausführen:

python3.9 -m http.server

Navigieren Sie zu Localhost: 8000. Sie sollten sehen, wie Knowledgevis in Ihrem Browser läuft :)

Server

• Eine Backend Python 3.9 Flask -Web -App zum Ausführen lokaler LLM -Modelle, die von Hugging Face heruntergeladen wurden!
• Weitere Details finden Sie in Server/Readme.md

Navigieren Sie zum Serverordner:

 cd server

Erstellen Sie eine virtuelle Umgebung:

• Wenn Sie Windows ausführen:

 # Start a virtual environment
py -3.9 -m venv venv

# Activate the virtual environment
. v env S cripts a ctivate

• Wenn Sie MacOS / Linux ausführen:

 # Start a virtual environment
python3.9 -m venv venv

# Activate the virtual environment
source venv/bin/activate

Abhängigkeiten installieren:

python -m pip install -r requirements.txt

Installieren Sie Pytorch v2.0.x (Anweisungen)

Pytorch ist separat installiert, da einige Systeme CUDA unterstützen können, was einen anderen Installationsprozess erfordert und das Tool erheblich beschleunigen kann.

1. Überprüfen Sie zunächst, ob Ihre GPU CUDA unterstützen kann (Link)
2. Befolgen Sie dann die oben verknüpften Anweisungen, um festzustellen, ob Ihr System CUDA für die Berechnung unterstützen kann.

Führen Sie dann den Server aus:

python main.py

Credits

Unter der Leitung von Adam Coscia ist Knowledge Visualisierungsexperten im menschlichen Zentrum und Interaktionsdesign von Georgia Tech eine Zusammenarbeit zwischen Visualisierungsexperten. Knowledgevis wird von Adam Coscia und Alex Endert erstellt.

Zitat

Um mehr über Knowledgevis zu erfahren, lesen Sie bitte unser Forschungspapier (um in IEEE TVCG zu erscheinen).

 @article { Coscia:2023:KnowledgeVIS ,
  author = { Coscia, Adam and Endert, Alex } ,
  journal = { IEEE Transactions on Visualization and Computer Graphics } ,
  title = { KnowledgeVIS: Interpreting Language Models by Comparing Fill-in-the-Blank Prompts } ,
  year = { 2023 } ,
  volume = { } ,
  number = { } ,
  pages = { 1-13 } ,
  doi = { 10.1109/TVCG.2023.3346713 }
}

Lizenz

Die Software ist unter der MIT -Lizenz verfügbar.

Kontakt

Wenn Sie Fragen haben, können Sie ein Problem öffnen oder sich an Adam Coscia wenden.