KnowledgeVIS

Knowledgevis

視覚的に塗りつぶしのLLMプロンプトを比較して、学習したバイアスと関連性を明らかにします！

????

Knowledgevisとは何ですか？

BertやGPT-3などの大規模な言語モデル（LLM）では、自然言語のタスクのパフォーマンスが大幅に改善されており、人々が質問に答え、エッセイを生成し、長い記事を要約するのを助けることができます。しかし、これらのモデルが何を学んだか、なぜ彼らが働くのかを理解することは、まだオープンな挑戦です。自然言語処理（NLP）のために、LLMSを「ブラックボックス」として訓練および展開する研究者とエンジニアについては、テキストを生成するために、ダウンストリームタスクでのトレーニングマニフェスト中に学習した動作がモデル開発を改善するのに役立つ方法を探ります。たとえば、有害なステレオタイプを浮上させることによって。

KnowledgeVisは、学習したテキスト表現からの関連性を明らかにするために、空間の充填プロンプトを比較するためのループ内の視覚分析システムです。 KnowledgeVisは、開発者が効果的なプロンプトのセットを作成し、単語間の複数のタイプの関係をプローブし、学習されたさまざまな関連性をテストし、BERTベースの言語モデルのいくつかの予測にわたる洞察を見つけます。

1. まず、クエリプロセスを構成して創造性と迅速な迅速な生成とテストの両方を促進する直感的な視覚インターフェイスを設計しました。
2. 次に、迅速な予測スペースの複雑さを減らすために、セマンティックの類似性によって予測をグループ化する新しいクラスタリング手法を開発しました。
3. 最後に、複数のレベルのデータ抽象化での洞察の調査と発見を促進するために、いくつかの表現力豊かでインタラクティブなテキストの視覚化を提供しました：ヒートマップ。パラレルタグクラウドに触発されたセットビュー。軸のほこりとマグネットの位置を持つ散布図。

まとめて、これらの視覚化は、ユーザーが個々の予測の可能性と一意性を特定し、プロンプト間の予測のセットを比較し、すべてのプロンプトの予測間のパターンと関係を要約するのに役立ちます。

このコードには、研究論文が付属しています。

Knowledgevis：空白のプロンプトを比較することにより、言語モデルを解釈します
アダム・コシア、アレックス・エンテルト
視覚化とコンピューターグラフィックスに関するIEEEトランザクション（TVCG）、2023（表示する）
|論文| ▶️ライブデモ|デモビデオ| ？‍コード|

特徴

？迅速で、創造的でスケーラブルな「空白の充填」プロンプト生成インターフェイス：

自動的に半レベルのパターンを明らかにするために、半類似の応答をクラスターします。

？データの抽象化の複数のレベルで洞察を視覚的に探索して発見します。

デモビデオ

完全なチュートリアルについては、デモビデオをご覧ください：https：//youtu.be/hbx4rsumr_i

ライブデモ

ライブデモについては、https：//adamcoscia.com/papers/knowledgevis/demo/をご覧ください。

はじめる

？いくつかの簡単な手順で、自分のLLMで視覚化をテストできます！

• Python v3.9.x （最新リリース）をインストールする
• このレポをコンピューターにクローンする（手順）

git clone [email protected]:AdamCoscia/KnowledgeVIS.git

# use --depth if you don't want to download the whole commit history
git clone --depth 1 [email protected]:AdamCoscia/KnowledgeVIS.git

インタフェース

• Frontend Vanilla HTML/CSS/JavaScript WebアプリD3.JSとセマンティックUIが搭載されています！
• 追加の詳細は、インターフェース/readme.mdにあります

インターフェイスフォルダーに移動します。

 cd interface

• Windowsを実行している場合：

py -3.9 -m http.server

• MacOS / Linuxを実行している場合：

python3.9 -m http.server

LocalHost：8000に移動します。あなたはあなたのブラウザでnklewingvisが実行されているのを見るはずです:)

サーバ

• Hugging FaceからダウンロードされたローカルLLMモデルを実行するためのバックエンドPython 3.9 Flask Webアプリ！
• 追加の詳細は、サーバー/readme.mdにあります

サーバーフォルダーに移動します。

 cd server

仮想環境を作成します：

• Windowsを実行している場合：

 # Start a virtual environment
py -3.9 -m venv venv

# Activate the virtual environment
. v env S cripts a ctivate

• MacOS / Linuxを実行している場合：

 # Start a virtual environment
python3.9 -m venv venv

# Activate the virtual environment
source venv/bin/activate

依存関係をインストールします：

python -m pip install -r requirements.txt

pytorch v2.0.x （手順）をインストールする

Pytorchは、一部のシステムがCUDAをサポートする可能性があるため、個別にインストールされています。

1. まず、GPUがCUDA（リンク）をサポートできるかどうかを確認します
2. 次に、上記の指示に従って、システムが計算のためにCUDAをサポートできるかどうかを判断します。

次に、サーバーを実行します。

python main.py

クレジット

Adam Cosciaが率いるKnowledgeVisは、Georgia Techの人間の中心的なコンピューティングとインタラクションデザインの視覚化の専門家とのコラボレーションの結果です。 KnowledgeVisは、Adam CosciaとAlex Endertによって作成されています。

引用

KnowledgeVisの詳細については、研究論文をお読みください（IEEE TVCGに掲載してください）。

 @article { Coscia:2023:KnowledgeVIS ,
  author = { Coscia, Adam and Endert, Alex } ,
  journal = { IEEE Transactions on Visualization and Computer Graphics } ,
  title = { KnowledgeVIS: Interpreting Language Models by Comparing Fill-in-the-Blank Prompts } ,
  year = { 2023 } ,
  volume = { } ,
  number = { } ,
  pages = { 1-13 } ,
  doi = { 10.1109/TVCG.2023.3346713 }
}

ライセンス

ソフトウェアはMITライセンスの下で利用できます。

接触

ご質問がある場合は、お気軽に問題を開いたり、Adam Cosciaに連絡してください。