interpretable embeddings

❓ Incrustos de respuesta de pregunta ❓

Crafting Interpretable Incrustes haciendo preguntas de LLMS, código para el documento Qa-Emb.

Qa-Embs construye una integración interpretable haciendo una serie de preguntas de sí-no a un LLM autorregresivo previamente capacitado.

Inicio rápido

Si solo desea usar QA -emb en su propia aplicación, la forma más fácil es a través del paquete IModelsx. Para instalar, simplemente ejecute pip install imodelsx .

Luego, puede generar sus propias integridades interpretables presentando preguntas para su dominio:

 from imodelsx import QAEmb
import pandas as pd

questions = [
    'Is the input related to food preparation?' ,
    'Does the input mention laughter?' ,
    'Is there an expression of surprise?' ,
    'Is there a depiction of a routine or habit?' ,
    'Does the sentence contain stuttering?' ,
    'Does the input contain a first-person pronoun?' ,
]
examples = [
    'i sliced some cucumbers and then moved on to what was next' ,
    'the kids were giggling about the silly things they did' ,
    'and i was like whoa that was unexpected' ,
    'walked down the path like i always did' ,
    'um no um then it was all clear' ,
    'i was walking to school and then i saw a cat' ,
]

checkpoint = 'meta-llama/Meta-Llama-3-8B-Instruct'

embedder = QAEmb (
    questions = questions , checkpoint = checkpoint , use_cache = False )
embeddings = embedder ( examples )

df = pd . DataFrame ( embeddings . astype ( int ), columns = [
    q . split ()[ - 1 ] for q in questions ])
df . index = examples
df . columns . name = 'Question (abbreviated)'
display ( df . style . background_gradient ( axis = None ))
- - - - - - - - DISPLAYS ANSWER FOR EACH QUESTION IN EMBEDDING - - - - - - - -

Configuración del conjunto de datos

Instrucciones para instalar los conjuntos de datos requeridos para reproducir los experimentos fMRI en el documento.

• Descargue datos con python experiments/00_load_dataset.py
  • Cree un directorio data en donde lo ejecute y usará Datalad para descargar los datos preprocesados, así como los espacios de características necesarios para ajustar modelos de codificación semántica
• Establezca neuro1.config.root_dir a donde desea almacenar los datos
• Para hacer mapas de piso, necesito establecer [PyCortex FileStore] en {root_dir}/ds003020/derivative/pycortex-db/
• Para ejecutar Eng1000, necesito obtener el directorio em_data desde aquí y mover su contenido a {root_dir}/em_data
• respuestas de carga
  • neuro1.data.response_utils Función load_response
  • Carga respuestas de AT {root_dir}/ds003020/derivative/preprocessed_data/{subject} , se almacenan en un archivo H5 para cada historia, por wheretheressmoke.h5
• estímulo de carga
  • neuro1.features.stim_utils función load_story_wordseqs
  • Carga TextGrids de {root_dir}/ds003020/derivative/TextGrids", where each story has a TextGrid file, eg whereTheressmoke.TextGrid`
  • usa {root_dir}/ds003020/derivative/respdict.json para obtener la longitud de cada historia

Instalar en código

Instrucciones para instalar el código aquí como un paquete para el desarrollo completo.

• Desde el directorio de repo, comience con pip install -e . Para instalar localmente el paquete neuro1
• python 01_fit_encoding.py --subject UTS03 --feature eng1000
  • Los otros parámetros opcionales que se codifican.py toma como sesiones, Ndelays, single_alpha permiten al usuario cambiar la cantidad de datos y aspectos de regularización de la regresión lineal utilizada.
  • Esta función ahorrará métricas de rendimiento del modelo y pesos del modelo como matrices numpy.

Citación

 @ misc { benara2024crafting ,
      title = { Crafting Interpretable Embeddings by Asking LLMs Questions }, 
      author = { Vinamra Benara and Chandan Singh and John X. Morris and Richard Antonello and Ion Stoica and Alexander G. Huth and Jianfeng Gao },
      year = { 2024 },
      eprint = { 2405.16714 },
      archivePrefix = { arXiv },
      primaryClass = { cs.CL }
}