interpretable embeddings

❓ INCLIMAÇÕES DE RESIMENTOS DE PERGUNTAS ❓

Criação de incorporações interpretáveis ​​fazendo perguntas ao LLMS, código para o artigo de QA-EMB.

O QA-EMBS cria uma incorporação interpretável fazendo uma série de perguntas sim-não a um LLM autoregressivo pré-treinado.

Investir rápido

Se você deseja apenas usar o QA-EMB em seu próprio aplicativo, a maneira mais fácil é através do pacote Imodelsx. Para instalar, basta executar pip install imodelsx .

Em seguida, você pode gerar suas próprias incorporações interpretáveis, apresentando perguntas para o seu domínio:

 from imodelsx import QAEmb
import pandas as pd

questions = [
    'Is the input related to food preparation?' ,
    'Does the input mention laughter?' ,
    'Is there an expression of surprise?' ,
    'Is there a depiction of a routine or habit?' ,
    'Does the sentence contain stuttering?' ,
    'Does the input contain a first-person pronoun?' ,
]
examples = [
    'i sliced some cucumbers and then moved on to what was next' ,
    'the kids were giggling about the silly things they did' ,
    'and i was like whoa that was unexpected' ,
    'walked down the path like i always did' ,
    'um no um then it was all clear' ,
    'i was walking to school and then i saw a cat' ,
]

checkpoint = 'meta-llama/Meta-Llama-3-8B-Instruct'

embedder = QAEmb (
    questions = questions , checkpoint = checkpoint , use_cache = False )
embeddings = embedder ( examples )

df = pd . DataFrame ( embeddings . astype ( int ), columns = [
    q . split ()[ - 1 ] for q in questions ])
df . index = examples
df . columns . name = 'Question (abbreviated)'
display ( df . style . background_gradient ( axis = None ))
- - - - - - - - DISPLAYS ANSWER FOR EACH QUESTION IN EMBEDDING - - - - - - - -

Conjunto de dados configurado

Instruções para instalar os conjuntos de dados necessários para reproduzir os experimentos de fMRI no papel.

• Faça o download de dados com python experiments/00_load_dataset.py
  • Crie um data Dir sob onde você o executar e usará o DATALAD para baixar os dados pré -processados, bem como os espaços de recursos necessários para ajustar modelos de codificação semântica
• Defina neuro1.config.root_dir para onde você deseja armazenar os dados
• Para fazer mapas planos, precisa definir [pycortex filestore] como {root_dir}/ds003020/derivative/pycortex-db/
• Para executar o Eng1000, precisa pegar o diretório em_data daqui e mover seu conteúdo para {root_dir}/em_data
• carregando respostas
  • neuro1.data.response_utils Função load_response
  • Carrega as respostas de em {root_dir}/ds003020/derivative/preprocessed_data/{subject} , eles são armazenados em um arquivo H5 para cada história, por exemplo, wheretheressmoke.h5
• Estímulo de carregamento
  • neuro1.features.stim_utils função load_story_wordseqs
  • Carrega o texto de {root_dir}/ds003020/derivative/TextGrids", where each story has a TextGrid file, eg wheretheressmoke.textGrid`
  • usa {root_dir}/ds003020/derivative/respdict.json para obter a duração de cada história

Instalação de código

Instruções para instalar o código aqui como um pacote para o desenvolvimento completo.

• No diretório repo, comece com pip install -e . Para instalar localmente o pacote neuro1
• python 01_fit_encoding.py --subject UTS03 --feature eng1000
  • Os outros parâmetros opcionais que codificam.py tomam, como sessões, ndelays, single_alpha permitem que o usuário altere a quantidade de aspectos de dados e regularização da regressão linear usada.
  • Esta função salvará as métricas de desempenho do modelo e os pesos do modelo como matrizes numpy.

Citação

 @ misc { benara2024crafting ,
      title = { Crafting Interpretable Embeddings by Asking LLMs Questions }, 
      author = { Vinamra Benara and Chandan Singh and John X. Morris and Richard Antonello and Ion Stoica and Alexander G. Huth and Jianfeng Gao },
      year = { 2024 },
      eprint = { 2405.16714 },
      archivePrefix = { arXiv },
      primaryClass = { cs.CL }
}