KnowledgeVIS

KnowledgeVis

在視覺上比較填充的LLM提示以發現學習的偏見和關聯！

????

什麼是知識案件？

Bert和GPT-3等大型語言模型（LLM）在自然語言任務上的表現有了顯著改善，使他們能夠幫助人們回答問題，生成論文，總結長篇文章等等。然而，了解這些模型已經學到了什麼以及為什麼它們的工作仍然是一個公開的挑戰。對於自然語言處理（NLP）的研究人員和工程師，他們越來越多地培訓和部署LLM作為``黑匣子''來生成文本，探索訓練期間的學到的行為如何在下游任務中表現出來可以幫助他們改善模型開發；例如，通過表面有害刻板印象。

KnowledgeVis是一種人類的視覺分析系統，用於比較填充填充的提示，以發現從學習的文本表示中發現關聯。 KnowledgeVis可幫助開發人員創建有效的提示集，探測單詞之間的多種類型的關係，測試已學到的不同關聯，並在任何基於BERT的語言模型的幾組預測中找到洞察力。

1. 首先，我們設計了一個直觀的視覺界面，該界面構建了查詢過程，以鼓勵創造力和快速迅速生成和測試。
2. 然後，為了降低及時預測空間的複雜性，我們開發了一種新型的聚類技術，該技術通過語義相似性進行了分組。
3. 最後，我們提供了幾種表達和互動的文本可視化，以促進多個數據抽象的探索和發現：熱圖；受並行標籤雲啟發的設置視圖；並用軸的灰塵定位散點。

總的來說，這些可視化有助於用戶確定單個預測的可能性和獨特性，比較提示之間的預測集，並總結所有提示中預測之間的模式和關係。

該代碼伴隨著研究論文：

Knowledge Vis：通過比較填空提示來解釋語言模型
亞當·科西亞（Adam Coscia），亞歷克斯·恩德特（Alex Endert）
IEEE可視化和計算機圖形（TVCG）的交易，2023（出現）
|紙| ▶q現場演示|演示視頻| ？ ‍代碼|

特徵

？快速，創意和可擴展的“填充”及時生成接口：

自動在語義上相似的響應以揭示高級模式：

？視覺探索並發現以多個數據抽象級別的見解：

演示視頻

在此處觀看完整教程的演示視頻：https：//youtu.be/hbx4rsumr_i

現場演示

有關現場演示，請訪問：https：//adamcoscia.com/papers/knowledgevis/demo/

入門

？您只需幾個簡單的步驟即可在自己的LLM上測試我們的可視化！

• 安裝Python v3.9.x （最新版本）
• 克隆此存儲庫到您的計算機（說明）

git clone [email protected]:AdamCoscia/KnowledgeVIS.git

# use --depth if you don't want to download the whole commit history
git clone --depth 1 [email protected]:AdamCoscia/KnowledgeVIS.git

介面

• 由D3.JS和語義UI提供動力的前端Vanilla HTML/CSS/JavaScript Web應用程序！
• 其他詳細信息可以在接口/readme.md中找到

導航到接口文件夾：

 cd interface

• 如果您正在運行Windows：

py -3.9 -m http.server

• 如果您正在運行MacOS / Linux：

python3.9 -m http.server

導航到Localhost：8000。您應該在瀏覽器中看到知識案件運行:)

伺服器

• 一個後端Python 3.9燒瓶網絡應用程序運行從擁抱臉下載的本地LLM模型！
• 其他詳細信息可以在服務器/readme.md中找到

導航到服務器文件夾：

 cd server

創建虛擬環境：

• 如果您正在運行Windows：

 # Start a virtual environment
py -3.9 -m venv venv

# Activate the virtual environment
. v env S cripts a ctivate

• 如果您正在運行MacOS / Linux：

 # Start a virtual environment
python3.9 -m venv venv

# Activate the virtual environment
source venv/bin/activate

安裝依賴項：

python -m pip install -r requirements.txt

安裝Pytorch v2.0.x （說明）

Pytorch分別安裝，因為某些系統可能支持CUDA，這需要不同的安裝過程，並且可以顯著加快工具的速度。

1. 首先，檢查您的GPU是否可以支持CUDA（鏈接）
2. 然後，按照上面鏈接的說明確定您的系統是否可以支持CUDA進行計算。

然後運行服務器：

python main.py

學分

在亞當·科西亞（Adam Coscia）的帶領下，知識維斯（Inswarditionvis）是佐治亞理工學院（Georgia Tech）以人為中心的計算和互動設計的可視化專家之間的合作的結果。 KnowledgeVis由Adam Coscia和Alex Endert創建。

引用

要了解有關知識的更多信息，請閱讀我們的研究論文（以IEEE TVCG出現）。

 @article { Coscia:2023:KnowledgeVIS ,
  author = { Coscia, Adam and Endert, Alex } ,
  journal = { IEEE Transactions on Visualization and Computer Graphics } ,
  title = { KnowledgeVIS: Interpreting Language Models by Comparing Fill-in-the-Blank Prompts } ,
  year = { 2023 } ,
  volume = { } ,
  number = { } ,
  pages = { 1-13 } ,
  doi = { 10.1109/TVCG.2023.3346713 }
}

執照

該軟件可根據MIT許可證獲得。

接觸

如果您有任何疑問，請隨時打開問題或聯繫Adam Coscia。