KnowledgeVIS

Знание

Визуально сравните подсказки LLM заполнения, чтобы раскрыть изученные предубеждения и ассоциации!

????

Что такое знания?

Большие языковые модели (LLM), такие как BERT и GPT-3, наблюдали значительные улучшения в выполнении задач естественного языка, что позволяет им помочь людям отвечать на вопросы, генерировать эссе, суммировать длинные статьи и многое другое. Тем не менее, понимание того, чему научились эти модели и почему они работают, все еще является открытым испытанием. Для исследователей и инженеров по обработке естественного языка (NLP), которые все чаще обучают и развертывают LLM как «черные ящики» для создания текста, изучая, как изученное поведение во время обучения проявляется в задачах нижестоящих по течению, может помочь им улучшить разработку модели; Например, всплыв вредные стереотипы .

Знания VIS-это система визуальной аналитики человека в петле для сравнения подсказок заполнения , чтобы раскрыть ассоциации из изученных текстовых представлений. Знания VIS помогает разработчикам создавать эффективные наборы подсказок, исследовать множество типов отношений между словами, тестировать на различные ассоциации, которые были изучены, и находят представление о нескольких наборах прогнозов для любой языковой модели на основе BERT.

1. Во -первых, мы разработали интуитивно понятный визуальный интерфейс, который структурирует процесс запроса, чтобы стимулировать как творчество, так и быстрое генерацию и тестирование быстрого быстрого приглашения.
2. Затем, чтобы уменьшить сложность пространства быстрого прогнозирования, мы разработали новую методику кластеризации, которая группирует прогнозы с помощью семантического сходства.
3. Наконец, мы предоставили несколько экспрессивных и интерактивных визуализаций текста, чтобы способствовать исследованию и обнаружению понимания на нескольких уровнях абстракции данных: тепловая карта; Установительный вид, вдохновленный параллельными облаками тега; и рассеянный диаграмм с расположением оси пыли и магнита.

В совокупности эти визуализации помогают пользователю определить вероятность и уникальность отдельных прогнозов, сравнивать наборы прогнозов между подсказками и обобщать закономерности и взаимосвязь между прогнозами во всех подсказках.

Этот код сопровождает исследовательскую работу:

Знание VIS: интерпретация языковых моделей путем сравнения подсказок заполнения вдзлания
Адам Коссия, Алекс Эндерт
Транзакции IEEE по визуализации и компьютерной графике (TVCG), 2023 (чтобы появиться)
| Бумага | ▶ ️ Живая демонстрация | Демо -видео | ? ‍ код |

Функции

? Быстрый, творческий и масштабируемый «заполненный вдл» интерфейс приглашения:

Автоматически кластер семантически разнородные ответы, чтобы выявить шаблоны высокого уровня:

? Визуально исследуйте и обнаружите понимание на нескольких уровнях абстракции данных:

Демо -видео

Посмотрите демо -видео для полного учебника здесь: https://youtu.be/hbx4rsumr_i

Живая демонстрация

Для живой демонстрации, посетите: https://adamcoscia.com/papers/knowledgevis/demo/

Начиная

? Вы можете проверить наши визуализации на собственных LLMS всего за несколько простых шагов!

• Установите Python v3.9.x (последний выпуск)
• Клонировать это репо к вашему компьютеру (инструкции)

git clone [email protected]:AdamCoscia/KnowledgeVIS.git

# use --depth if you don't want to download the whole commit history
git clone --depth 1 [email protected]:AdamCoscia/KnowledgeVIS.git

Интерфейс

• Frontend Vanilla HTML/CSS/JavaScript Web App, основанное на D3.JS и семантическом пользовательском интерфейсе!
• Дополнительную информацию можно найти в интерфейсе/readme.md

Перейдите к папке интерфейса:

 cd interface

• Если вы запускаете Windows:

py -3.9 -m http.server

• Если вы используете MacOS / Linux:

python3.9 -m http.server

Перейдите в Localhost: 8000. Вы должны увидеть знания, бегущие в вашем браузере :)

Сервер

• Backend Python 3.9 Flask Web App для запуска локальных моделей LLM загружено с обнимающего лица!
• Дополнительную информацию можно найти в Server/readme.md

Перейдите к папке сервера:

 cd server

Создайте виртуальную среду:

• Если вы запускаете Windows:

 # Start a virtual environment
py -3.9 -m venv venv

# Activate the virtual environment
. v env S cripts a ctivate

• Если вы используете MacOS / Linux:

 # Start a virtual environment
python3.9 -m venv venv

# Activate the virtual environment
source venv/bin/activate

Установить зависимости:

python -m pip install -r requirements.txt

Установить Pytorch v2.0.x (инструкции)

Pytorch устанавливается отдельно, потому что некоторые системы могут поддерживать CUDA, который требует другого процесса установки и может значительно ускорить инструмент.

1. Во -первых, проверьте, может ли ваш графический процессор поддержать CUDA (ссылка)
2. Затем следуйте инструкциям, связанным выше, чтобы определить, может ли ваша система поддерживать CUDA для вычисления.

Затем запустите сервер:

python main.py

Кредиты

Во главе с Адамом Косцией знания, является результатом сотрудничества между экспертами по визуализации в вычислительных компьютерах и дизайне взаимодействия от Georgia Tech. Знания Viss созданы Адамом Коссии и Алексом Эндертом.

Цитирование

Чтобы узнать больше о знаниях, пожалуйста, прочитайте нашу исследовательскую статью (появившись в IEEE TVCG).

 @article { Coscia:2023:KnowledgeVIS ,
  author = { Coscia, Adam and Endert, Alex } ,
  journal = { IEEE Transactions on Visualization and Computer Graphics } ,
  title = { KnowledgeVIS: Interpreting Language Models by Comparing Fill-in-the-Blank Prompts } ,
  year = { 2023 } ,
  volume = { } ,
  number = { } ,
  pages = { 1-13 } ,
  doi = { 10.1109/TVCG.2023.3346713 }
}

Лицензия

Программное обеспечение доступно по лицензии MIT.

Контакт

Если у вас есть какие -либо вопросы, не стесняйтесь открывать проблему или свяжитесь с Адамом Косцией.