Téléchargement KnowledgeVIS - Téléchargement du code source KnowledgeVIS

KnowledgeVIS

Code Source AI

v0.1.0

Télécharger

Connaissances

Comparez visuellement les invites LLM à remplir pour découvrir les biais et les associations apprises!

????

Le système Knowledgevis

Qu'est-ce que Knowledgevis?

Les modèles de grandes langues (LLM) tels que Bert et GPT-3 ont connu des améliorations significatives des performances des tâches en langage naturel, leur permettant d'aider les gens à répondre aux questions, à générer des essais, à résumer de longs articles, etc. Pourtant, comprendre ce que ces modèles ont appris et pourquoi ils fonctionnent est toujours un défi ouvert. Pour les chercheurs et les ingénieurs de traitement du langage naturel (PNL) qui forment et déploient de plus en plus les LLM en tant que `` boîtes noires '' pour générer du texte, explorer comment les comportements apprises pendant la formation se manifestent dans les tâches en aval peuvent les aider à améliorer le développement du modèle; Par exemple, en faisant surface des stéréotypes nocifs .

KnowledgeVis est un système d'analyse visuelle humaine en boucle pour comparer les invites à remplir en blanc pour découvrir les associations à partir de représentations de texte apprises. KnowledgeVis aide les développeurs à créer des ensembles efficaces d'invites, à sonder plusieurs types de relations entre les mots, à tester différentes associations qui ont été apprises et à trouver des informations sur plusieurs ensembles de prédictions pour tout modèle linguistique basé sur Bert.

Tout d'abord, nous avons conçu une interface visuelle intuitive qui structure le processus de requête pour encourager à la fois la créativité et la génération et les tests rapides rapides.
Ensuite, pour réduire la complexité de l'espace de prédiction rapide, nous avons développé une nouvelle technique de clustering qui regroupe les prédictions par similitude sémantique.
Enfin, nous avons fourni plusieurs visualisations de texte expressives et interactives pour promouvoir l'exploration et la découverte des idées à plusieurs niveaux d'abstraction de données: une carte thermique; une vue définie inspirée des nuages de balises parallèles; et diagramme de dispersion avec positionnement de poussière et aimant des axes.

Collectivement, ces visualisations aident l'utilisateur à identifier la probabilité et l'unicité des prédictions individuelles, comparer des ensembles de prédictions entre les invites et résumer les modèles et les relations entre les prédictions à toutes les invites.

Ce code accompagne le document de recherche:

Knowledgevis: Interpréter les modèles de langue en comparant les invites à remplissage
Adam Coscia, Alex Entert
Transactions IEEE sur la visualisation et les graphiques informatiques (TVCG), 2023 (pour apparaître)
| Papier | ▶ ️ Démo en direct | Vidéo de démonstration | ? ‍ Code |

Caractéristiques

? Interface de génération rapide, créative et évolutive et évolutive ":

Cluster automatiquement les réponses sémantiquement similaires pour révéler des modèles de haut niveau:

? Explorez et découvrez visuellement des informations à plusieurs niveaux d'abstraction de données:

Vidéo de démonstration

Regardez la vidéo de démonstration pour un tutoriel complet ici: https://youtu.be/hbx4rsumr_i

Démo en direct

Pour une démo en direct, visitez: https://adamcoscia.com/papers/knowledgevis/demo/

Commencer

? Vous pouvez tester nos visualisations sur votre propre LLMS en quelques étapes faciles!

Installer Python v3.9.x (dernière version)
Clone ce dépôt à votre ordinateur (instructions)

git clone [email protected]:AdamCoscia/KnowledgeVIS.git

# use --depth if you don't want to download the whole commit history
git clone --depth 1 [email protected]:AdamCoscia/KnowledgeVIS.git

Interface

Une application Web Frontend Vanilla HTML / CSS / JavaScript propulsée par D3.JS et UI sémantique!
Des détails supplémentaires peuvent être trouvés dans Interface / Readme.md

Accédez au dossier d'interface:

 cd interface

Si vous exécutez des fenêtres:

py -3.9 -m http.server

Si vous exécutez macOS / Linux:

python3.9 -m http.server

Accédez à LocalHost: 8000. Vous devriez voir Knowledgevis fonctionner dans votre navigateur :)

Serveur

Une application Web Backend Python 3.9 Flask pour exécuter des modèles LLM locaux téléchargés à partir de Hugging Face!
Des détails supplémentaires peuvent être trouvés dans Server / Readme.md

Accédez au dossier du serveur:

 cd server

Créer un environnement virtuel:

Si vous exécutez des fenêtres:

 # Start a virtual environment
py -3.9 -m venv venv

# Activate the virtual environment
. v env S cripts a ctivate

Si vous exécutez macOS / Linux:

 # Start a virtual environment
python3.9 -m venv venv

# Activate the virtual environment
source venv/bin/activate

Installez les dépendances:

python -m pip install -r requirements.txt

Installer Pytorch v2.0.x (instructions)

Pytorch est installé séparément car certains systèmes peuvent prendre en charge CUDA, ce qui nécessite un processus d'installation différent et peut accélérer considérablement l'outil.

Tout d'abord, vérifiez si votre GPU peut prendre en charge Cuda (lien)
Ensuite, suivez les instructions liées ci-dessus pour déterminer si votre système peut prendre en charge CUDA pour le calcul.

Ensuite, exécutez le serveur:

python main.py

Crédits

Dirigée par Adam Coscia, Knowledgevis est le résultat d'une collaboration entre des experts en visualisation dans la conception de l'informatique et de l'interaction centrée sur l'homme de Georgia Tech. Knowledgevis est créé par Adam Coscia et Alex Entert.

Citation

Pour en savoir plus sur KnowledgeVis, veuillez lire notre document de recherche (pour apparaître dans IEEE TVCG).

 @article { Coscia:2023:KnowledgeVIS ,
  author = { Coscia, Adam and Endert, Alex } ,
  journal = { IEEE Transactions on Visualization and Computer Graphics } ,
  title = { KnowledgeVIS: Interpreting Language Models by Comparing Fill-in-the-Blank Prompts } ,
  year = { 2023 } ,
  volume = { } ,
  number = { } ,
  pages = { 1-13 } ,
  doi = { 10.1109/TVCG.2023.3346713 }
}