KnowledgeVIS
v0.1.0
قارن بصريًا مطالبات LLM Fill-In-the-Blank للكشف عن التحيزات والجمعيات المستفادة!
؟؟؟؟
شهدت نماذج اللغة الكبيرة (LLMS) مثل BERT و GPT-3 تحسينات كبيرة في الأداء في مهام اللغة الطبيعية ، وتمكينهم من مساعدة الناس على الإجابة على الأسئلة ، وتوليد المقالات ، وتلخيص المقالات الطويلة ، وأكثر من ذلك. ومع ذلك ، فإن فهم ما تعلمته هذه النماذج ولماذا لا يزال تحديًا مفتوحًا. بالنسبة للباحثين والمهندسين في معالجة اللغة الطبيعية (NLP) الذين يتدربون بشكل متزايد ونشر LLMS على أنه "الصناديق السوداء" لإنشاء النص ، فإن استكشاف السلوكيات المستفادة أثناء التدريب الواضحة في مهام المصب يمكن أن تساعدهم على تحسين تطوير النماذج ؛ على سبيل المثال ، عن طريق تصوير الصور النمطية الضارة .
KnowledgeVis هو نظام تحليلات بصرية إنسانية في الحلقة لمقارنة المطالبات المليئة بالفراغ للكشف عن الجمعيات من تمثيل النص المستفاد. يساعد KnowledgeVis للمطورين على إنشاء مجموعات فعالة من المطالبات ، والتحقيق في أنواع متعددة من العلاقات بين الكلمات ، واختبار الارتباطات المختلفة التي تم تعلمها ، وإيجاد رؤى عبر عدة مجموعات من التنبؤات لأي نموذج لغة قائم على BERT.
بشكل جماعي ، تساعد هذه التصورات المستخدم على تحديد احتمال وتفرد التنبؤات الفردية ، ومقارنة مجموعات التنبؤات بين المطالبات ، وتلخيص الأنماط والعلاقات بين التنبؤات عبر جميع المطالبات.
يرافق هذا الرمز ورقة البحث:
المعرفة: تفسير نماذج اللغة من خلال مقارنة مطالبات التعبئة الفراغية
آدم كوسسيا ، أليكس إندير
معاملات IEEE على التصور ورسومات الكمبيوتر (TVCG) ، 2023 (للظهور)
| ورقة |
شاهد الفيديو التجريبي للحصول على برنامج تعليمي كامل هنا: https://youtu.be/hbx4rsumr_i
للحصول على عرض تجريبي مباشر ، تفضل بزيارة: https://adamcoscia.com/papers/knowledgevis/demo/
؟ يمكنك اختبار تصوراتنا على LLMS الخاصة بك في بضع خطوات سهلة!
v3.9.x (أحدث إصدار)git clone [email protected]:AdamCoscia/KnowledgeVIS.git
# use --depth if you don't want to download the whole commit history
git clone --depth 1 [email protected]:AdamCoscia/KnowledgeVIS.gitانتقل إلى مجلد الواجهة:
cd interfacepy -3.9 -m http.serverpython3.9 -m http.serverانتقل إلى المضيف المحلي: 8000. يجب أن ترى knowledgevis يعمل في متصفحك :)
انتقل إلى مجلد الخادم:
cd serverإنشاء بيئة افتراضية:
# Start a virtual environment
py -3.9 -m venv venv
# Activate the virtual environment
. v env S cripts a ctivate # Start a virtual environment
python3.9 -m venv venv
# Activate the virtual environment
source venv/bin/activateتثبيت التبعيات:
python -m pip install -r requirements.txt تثبيت pytorch v2.0.x (التعليمات)
يتم تثبيت Pytorch بشكل منفصل لأن بعض الأنظمة قد تدعم CUDA ، والتي تتطلب عملية تثبيت مختلفة ويمكن أن تسرع الأداة بشكل كبير.
ثم قم بتشغيل الخادم:
python main.pyبقيادة Adam Coscia ، تعتبر KnowledgeVis نتيجة للتعاون بين خبراء التصور في الحوسبة التي تركز على الإنسان وتصميم التفاعل من Georgia Tech. تم إنشاء KnowledgeVis بواسطة Adam Coscia و Alex Endert.
لمعرفة المزيد حول المعرفة ، يرجى قراءة ورقة البحث لدينا (لتظهر في IEEE TVCG).
@article { Coscia:2023:KnowledgeVIS ,
author = { Coscia, Adam and Endert, Alex } ,
journal = { IEEE Transactions on Visualization and Computer Graphics } ,
title = { KnowledgeVIS: Interpreting Language Models by Comparing Fill-in-the-Blank Prompts } ,
year = { 2023 } ,
volume = { } ,
number = { } ,
pages = { 1-13 } ,
doi = { 10.1109/TVCG.2023.3346713 }
}البرنامج متاح بموجب ترخيص معهد ماساتشوستس للتكنولوجيا.
إذا كان لديك أي أسئلة ، فلا تتردد في فتح مشكلة أو الاتصال بـ Adam Coscia.
