KnowledgeVIS
v0.1.0
เปรียบเทียบ LLM ที่เติมเต็มด้วยสายตาพร้อมที่จะเปิดเผยอคติและการเชื่อมโยงที่เรียนรู้!
-
แบบจำลองภาษาขนาดใหญ่ (LLMS) เช่น BERT และ GPT-3 ได้เห็นการปรับปรุงที่สำคัญในการปฏิบัติงานเกี่ยวกับงานภาษาธรรมชาติทำให้พวกเขาสามารถช่วยให้ผู้คนตอบคำถามสร้างบทความสรุปบทความยาวและอื่น ๆ แต่ การเข้าใจว่าแบบจำลองเหล่านี้ได้เรียนรู้อะไรและทำไมพวกเขาถึงทำงาน ยังคงเป็นความท้าทายที่เปิดกว้าง สำหรับนักวิจัยและวิศวกรการประมวลผลภาษาธรรมชาติ (NLP) ที่ฝึกฝนและปรับใช้ LLMS เป็น `` กล่องดำ '' มากขึ้นสำหรับการสร้างข้อความสำรวจว่า พฤติกรรมที่เรียนรู้ได้เรียนรู้ อย่างไรในระหว่างการฝึกอบรมในงานดาวน์สตรีมสามารถช่วยปรับปรุงการพัฒนาแบบจำลองได้อย่างไร เช่นโดยการผัน ภาพแบบแผนที่เป็นอันตราย
KnowledGevis เป็นระบบการวิเคราะห์ภาพมนุษย์ในลูปสำหรับ การเปรียบเทียบการเติมเต็มในช่องว่าง เพื่อค้นพบการเชื่อมโยงจากการเป็นตัวแทนข้อความที่เรียนรู้ KnowledGevis ช่วยให้นักพัฒนาสร้างชุดของการแจ้งเตือนที่มีประสิทธิภาพโพรบความสัมพันธ์หลายประเภทระหว่างคำทดสอบสำหรับการเชื่อมโยงที่แตกต่างกันที่ได้รับการเรียนรู้และค้นหาข้อมูลเชิงลึกในหลายชุดของการทำนายสำหรับรูปแบบภาษาที่ใช้ BERT
โดยรวมแล้วการสร้างภาพข้อมูลเหล่านี้ช่วยให้ผู้ใช้ระบุความเป็นไปได้และความเป็นเอกลักษณ์ของการคาดการณ์ของแต่ละบุคคลเปรียบเทียบชุดการทำนายระหว่างพรอมต์และสรุปรูปแบบและความสัมพันธ์ระหว่างการทำนายระหว่างพรอมต์ทั้งหมด
รหัสนี้มาพร้อมกับรายงานการวิจัย:
KnowledGevis: การตีความแบบจำลองภาษาโดยการเปรียบเทียบการเติมเต็มในช่องว่าง
Adam Coscia, Alex Endert
ธุรกรรม IEEE เกี่ยวกับการสร้างภาพและกราฟิกคอมพิวเตอร์ (TVCG), 2023 (ปรากฏ)
- กระดาษ |
ดูวิดีโอสาธิตสำหรับการสอนเต็มรูปแบบที่นี่: https://youtu.be/hbx4rsumr_i
สำหรับการสาธิตสดเยี่ยมชม: https://adamcoscia.com/papers/knowledgevis/demo/
- คุณสามารถทดสอบการสร้างภาพข้อมูลของเราด้วย LLM ของคุณเองในไม่กี่ขั้นตอนง่ายๆ!
v3.9.x (รุ่นล่าสุด)git clone [email protected]:AdamCoscia/KnowledgeVIS.git
# use --depth if you don't want to download the whole commit history
git clone --depth 1 [email protected]:AdamCoscia/KnowledgeVIS.gitนำทางไปยังโฟลเดอร์อินเตอร์เฟส:
cd interfacepy -3.9 -m http.serverpython3.9 -m http.serverนำทางไปยัง LocalHost: 8000 คุณควรเห็นความรู้ที่ทำงานอยู่ในเบราว์เซอร์ของคุณ :)
นำทางไปยังโฟลเดอร์เซิร์ฟเวอร์:
cd serverสร้างสภาพแวดล้อมเสมือนจริง:
# Start a virtual environment
py -3.9 -m venv venv
# Activate the virtual environment
. v env S cripts a ctivate # Start a virtual environment
python3.9 -m venv venv
# Activate the virtual environment
source venv/bin/activateติดตั้งการพึ่งพา:
python -m pip install -r requirements.txt ติดตั้ง pytorch v2.0.x (คำแนะนำ)
Pytorch ติดตั้งแยกต่างหากเนื่องจากบางระบบอาจรองรับ CUDA ซึ่งต้องใช้กระบวนการติดตั้งที่แตกต่างกันและสามารถเพิ่มความเร็วให้กับเครื่องมือได้อย่างมีนัยสำคัญ
จากนั้นเรียกใช้เซิร์ฟเวอร์:
python main.pyนำโดย Adam Coscia, Knowledgevis เป็นผลมาจากการทำงานร่วมกันระหว่างผู้เชี่ยวชาญด้านการสร้างภาพข้อมูลในการคำนวณที่เป็นศูนย์กลางของมนุษย์และการออกแบบปฏิสัมพันธ์จาก Georgia Tech Knowledgevis ถูกสร้างขึ้นโดย Adam Coscia และ Alex Endert
หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ KnowledGevis โปรดอ่านรายงานการวิจัยของเรา (ปรากฏใน IEEE TVCG)
@article { Coscia:2023:KnowledgeVIS ,
author = { Coscia, Adam and Endert, Alex } ,
journal = { IEEE Transactions on Visualization and Computer Graphics } ,
title = { KnowledgeVIS: Interpreting Language Models by Comparing Fill-in-the-Blank Prompts } ,
year = { 2023 } ,
volume = { } ,
number = { } ,
pages = { 1-13 } ,
doi = { 10.1109/TVCG.2023.3346713 }
}ซอฟต์แวร์นี้มีอยู่ภายใต้ใบอนุญาต MIT
หากคุณมีคำถามใด ๆ อย่าลังเลที่จะเปิดปัญหาหรือติดต่อ Adam Coscia
