interpretable embeddings

embeddings ตอบคำถาม❓

การสร้างการฝังที่ตีความได้โดยถามคำถาม LLMS รหัสสำหรับกระดาษ QA-EMB

QA-EMBS สร้างการฝังตัวที่ตีความได้โดยการถามคำถามใช่ไม่ใช่คำถามที่ไม่ได้รับการฝึกอบรมมาก่อน LLM

เร็ว

หากคุณต้องการใช้ QA-EMB ในแอปพลิเคชันของคุณเองวิธีที่ง่ายที่สุดคือผ่านแพ็คเกจ IMODELSX ในการติดตั้งเพียงแค่เรียกใช้ pip install imodelsx

จากนั้นคุณสามารถสร้างการฝังตัวที่ตีความได้ของคุณเองโดยการถามคำถามสำหรับโดเมนของคุณ:

 from imodelsx import QAEmb
import pandas as pd

questions = [
    'Is the input related to food preparation?' ,
    'Does the input mention laughter?' ,
    'Is there an expression of surprise?' ,
    'Is there a depiction of a routine or habit?' ,
    'Does the sentence contain stuttering?' ,
    'Does the input contain a first-person pronoun?' ,
]
examples = [
    'i sliced some cucumbers and then moved on to what was next' ,
    'the kids were giggling about the silly things they did' ,
    'and i was like whoa that was unexpected' ,
    'walked down the path like i always did' ,
    'um no um then it was all clear' ,
    'i was walking to school and then i saw a cat' ,
]

checkpoint = 'meta-llama/Meta-Llama-3-8B-Instruct'

embedder = QAEmb (
    questions = questions , checkpoint = checkpoint , use_cache = False )
embeddings = embedder ( examples )

df = pd . DataFrame ( embeddings . astype ( int ), columns = [
    q . split ()[ - 1 ] for q in questions ])
df . index = examples
df . columns . name = 'Question (abbreviated)'
display ( df . style . background_gradient ( axis = None ))
- - - - - - - - DISPLAYS ANSWER FOR EACH QUESTION IN EMBEDDING - - - - - - - -

ชุดข้อมูลตั้งค่า

ทิศทางสำหรับการติดตั้งชุดข้อมูลที่จำเป็นสำหรับการทำซ้ำการทดลอง fMRI ในกระดาษ

• ดาวน์โหลดข้อมูลด้วย python experiments/00_load_dataset.py
  • สร้าง data DIR ภายใต้ทุกที่ที่คุณเรียกใช้และจะใช้ Datalad เพื่อดาวน์โหลดข้อมูลที่ประมวลผลล่วงหน้ารวมถึงพื้นที่คุณสมบัติที่จำเป็นสำหรับการปรับรูปแบบการเข้ารหัสแบบความหมาย
• ตั้งค่า neuro1.config.root_dir เป็นที่ที่คุณต้องการจัดเก็บข้อมูล
• ในการสร้าง flatmaps จำเป็นต้องตั้งค่า [Pycortex filestore] เป็น {root_dir}/ds003020/derivative/pycortex-db/
• ในการเรียกใช้ ENG1000 ต้องคว้าไดเรกทอรี em_data จากที่นี่และย้ายเนื้อหาไปที่ {root_dir}/em_data
• กำลังโหลดคำตอบ
  • neuro1.data.response_utils ฟังก์ชั่น load_response
  • โหลดการตอบสนองจากที่ {root_dir}/ds003020/derivative/preprocessed_data/{subject} , hwere พวกเขาถูกเก็บไว้ในไฟล์ h5 สำหรับแต่ละเรื่องเช่น wheretheressmoke.h5
• กำลังโหลดสิ่งเร้า
  • neuro1.features.stim_utils ฟังก์ชั่น load_story_wordseqs
  • โหลด TextGrids จาก {root_dir}/ds003020/derivative/TextGrids", where each story has a TextGrid file, eg heretheressmoke.textgrid`
  • ใช้ {root_dir}/ds003020/derivative/respdict.json เพื่อให้ได้ความยาวของแต่ละเรื่อง

การติดตั้งรหัส

เส้นทางสำหรับการติดตั้งรหัสที่นี่เป็นแพ็คเกจสำหรับการพัฒนาเต็มรูปแบบ

• จากไดเรกทอรี repo เริ่มต้นด้วย pip install -e . เพื่อติดตั้งแพ็คเกจ neuro1 ในพื้นที่
• python 01_fit_encoding.py --subject UTS03 --feature eng1000
  • พารามิเตอร์ทางเลือกอื่น ๆ ที่ encoding.py ใช้เช่นเซสชัน, ndelays, single_alpha อนุญาตให้ผู้ใช้เปลี่ยนปริมาณข้อมูลและการทำให้เป็นมาตรฐานของการถดถอยเชิงเส้นที่ใช้
  • ฟังก์ชั่นนี้จะบันทึกการวัดประสิทธิภาพของโมเดลและน้ำหนักโมเดลเป็นอาร์เรย์ NumPy

การอ้างอิง

 @ misc { benara2024crafting ,
      title = { Crafting Interpretable Embeddings by Asking LLMs Questions }, 
      author = { Vinamra Benara and Chandan Singh and John X. Morris and Richard Antonello and Ion Stoica and Alexander G. Huth and Jianfeng Gao },
      year = { 2024 },
      eprint = { 2405.16714 },
      archivePrefix = { arXiv },
      primaryClass = { cs.CL }
}