KnowledgeVIS 다운로드 - KnowledgeVIS 소스 코드 다운로드

KnowledgeVIS

AI 소스 코드

v0.1.0

다운로드

Knowledgevis

학습 된 편견과 연관성을 발견하기 위해 고백 LLM 프롬프트를 시각적으로 비교하십시오!

????

지식 시스템

Knowledgevis는 무엇입니까?

BERT 및 GPT-3과 같은 대형 언어 모델 (LLM)은 자연 언어 작업의 성능이 크게 향상되어 사람들이 질문에 답변하고 에세이를 생성하며 긴 기사를 요약하는 등을 지원할 수 있습니다. 그러나 이러한 모델이 배운 것과 왜 작동하는지 이해하는 것은 여전히 열린 도전입니다. NLP (Natural Language Processing)의 경우 LLM을 점점 더 텍스트를 생성하기 위해``블랙 박스 ''로 LLM을 훈련시키고 배치하는 연구원과 엔지니어의 경우 다운 스트림 작업에서 훈련 중에 학습 된 행동이 어떻게 모델 개발을 개선하는 데 도움이 될 수 있는지 탐구합니다. 예를 들어, 유해한 고정 관념을 표면으로하여.

Knowledgevis는 학습 된 텍스트 표현에서 연관성을 발견하기 위해 블랭크 프롬프트를 비교하기 위한 인간의 루프 시각 분석 시스템입니다. Knowledgevis는 개발자가 효과적인 프롬프트 세트를 만들고, 단어 간의 여러 유형의 관계를 조사하고, 배운 다른 연관성을 테스트하며, 모든 버트 기반 언어 모델에 대한 여러 예측 세트에서 통찰력을 찾도록 도와줍니다.

먼저, 우리는 쿼리 프로세스를 구조화하여 창의성과 빠른 신속한 생성 및 테스트를 모두 장려하는 직관적 인 시각적 인터페이스를 설계했습니다.
그런 다음 프롬프트 예측 공간의 복잡성을 줄이기 위해 시맨틱 유사성으로 예측을 그룹화하는 새로운 클러스터링 기술을 개발했습니다.
마지막으로, 우리는 여러 수준의 데이터 추상화에서 통찰력 탐색 및 발견을 촉진하기 위해 몇 가지 표현적이고 대화식 텍스트 시각화를 제공했습니다. 병렬 태그 구름에서 영감을 얻은 세트보기; 축의 먼지와 매그네트 위치가있는 ScatterPlot.

종합적으로, 이러한 시각화는 사용자가 개별 예측의 가능성과 독창성을 식별하고, 프롬프트 간의 예측 세트를 비교하며, 모든 프롬프트에 대한 예측 사이의 패턴과 관계를 요약하는 데 도움이됩니다.

이 코드는 연구 논문과 함께 제공됩니다.

특징

? 빠르고 창의적이며 확장 가능한 "고정"프롬프트 생성 인터페이스 :

높은 수준의 패턴을 드러내기 위해 의미 적으로 유사한 응답을 자동으로 클러스터링합니다.

? 여러 수준의 데이터 추상화에서 시각적으로 탐색 및 발견 :

데모 비디오

전체 튜토리얼을 보려면 데모 비디오를보십시오 : https://youtu.be/hbx4rsumr_i

라이브 데모

라이브 데모는 https://adamcoscia.com/papers/knowledgevis/demo/을 방문하십시오.

시작하기

? 몇 가지 쉬운 단계로 자신의 LLM에서 시각화를 테스트 할 수 있습니다!

Python v3.9.x 설치 (최신 릴리스)
이 repo를 컴퓨터에 복제하십시오 (지침)

git clone [email protected]:AdamCoscia/KnowledgeVIS.git

# use --depth if you don't want to download the whole commit history
git clone --depth 1 [email protected]:AdamCoscia/KnowledgeVIS.git

인터페이스

Frontend Vanilla HTML/CSS/JavaScript 웹 앱 D3.JS 및 Semantic UI로 구동됩니다!
추가 세부 정보는 인터페이스/readme.md에서 찾을 수 있습니다

인터페이스 폴더로 이동하십시오.

 cd interface

Windows를 실행중인 경우 :

py -3.9 -m http.server

MacOS / Linux를 실행중인 경우 :

python3.9 -m http.server

LocalHost : 8000으로 이동하십시오. 브라우저에서 Knowledgevis가 실행되는 것을 볼 수 있습니다 :)

섬기는 사람

백엔드 파이썬 3.9 플라스크 웹 앱을 실행하여 포옹 페이스에서 다운로드 한 로컬 LLM 모델을 실행하십시오!
추가 세부 정보는 Server/Readme.md에서 찾을 수 있습니다

서버 폴더로 이동하십시오.

 cd server

가상 환경 생성 :

Windows를 실행중인 경우 :

 # Start a virtual environment
py -3.9 -m venv venv

# Activate the virtual environment
. v env S cripts a ctivate

MacOS / Linux를 실행중인 경우 :

 # Start a virtual environment
python3.9 -m venv venv

# Activate the virtual environment
source venv/bin/activate

종속성 설치 :

python -m pip install -r requirements.txt

Pytorch v2.0.x 설치 (지침)

일부 시스템은 Cuda를 지원할 수 있으므로 Pytorch가 별도로 설치됩니다.이 시스템은 다른 설치 프로세스가 필요하고 도구의 속도를 크게 높일 수 있습니다.

먼저 GPU가 Cuda (링크)를 지원할 수 있는지 확인하십시오.
그런 다음 위에 연결된 지침을 따라 시스템이 계산을 위해 CUDA를 지원할 수 있는지 확인하십시오.

그런 다음 서버를 실행하십시오.

python main.py

크레딧

Adam Coscia가 이끄는 Knowledgevis는 Georgia Tech의 휴먼 센터 컴퓨팅 및 상호 작용 설계에서 시각화 전문가 간의 협력의 결과입니다. Knowledgevis는 Adam Coscia와 Alex Endert에 의해 만들어졌습니다.

소환

Knowledgevis에 대한 자세한 내용은 연구 논문을 읽으십시오 (IEEE TVCG에 출연).

 @article { Coscia:2023:KnowledgeVIS ,
  author = { Coscia, Adam and Endert, Alex } ,
  journal = { IEEE Transactions on Visualization and Computer Graphics } ,
  title = { KnowledgeVIS: Interpreting Language Models by Comparing Fill-in-the-Blank Prompts } ,
  year = { 2023 } ,
  volume = { } ,
  number = { } ,
  pages = { 1-13 } ,
  doi = { 10.1109/TVCG.2023.3346713 }
}