Página Inicial>Relacionado com a programação>Código-Fonte de IA
Baixar

Fmat

Autor

Han-Wu-Shuang (Bruce) Bao 包寒吴霜

? [email protected]

? psychbruce.github.io

Citação

  • Bao, H.-W.-S. (2023). FMAT: O teste da Associação de Máscara de Mesca . https://cran.r-project.org/package=fmat
    • Nota : Esta é a citação original. Consulte as informações quando você library(FMAT) para o formato APA-7 da versão que você instalou.
  • Bao, H.-W.-S. (2024). O Teste de Associação de Máscara de Mesca (FMAT): Medição de proposições na linguagem natural. Journal of Personality and Social Psychology, 127 (3), 537-561. https://doi.org/10.1037/pspa0000396
  • Bao, H.-W.-S., & Gries, P. (2024). Estereótipos interseccionais de raça -general na linguagem natural. British Journal of Social Psychology, 63 (4), 1771-1786. https://doi.org/10.1111/bjso.12748

Instalação

Para usar o FMAT, o pacote R FMAT e três pacotes Python ( transformers , torch , huggingface-hub ) precisam ser instalados.

(1) pacote r 

 # # Method 1: Install from CRAN
install.packages( " FMAT " )

# # Method 2: Install from GitHub
install.packages( " devtools " )
devtools :: install_github( " psychbruce/FMAT " , force = TRUE )

(2) ambiente e pacotes Python

Instale o Anaconda (um gerenciador de pacotes recomendado que instala automaticamente o Python, o Python IDES como o Spyder e uma grande lista das dependências necessárias do pacote Python).

Especifique o intérprete Python da Anaconda em RStudio.

Rstudio → ferramentas → opções globais/de projeto
→ Python → Selecione → Ambientes condá
→ Escolha ".../anaconda3/python.exe"

Instale versões específicas dos pacotes Python "Transformers", "Torch" e "HuggingFace-Hub".
(RSTUDIO Terminal / ANACONDA Prompt / Comando Windows)

Para usuários da CPU: 

 pip install transformers==4.40.2 torch==2.2.1 huggingface-hub==0.20.3

Para usuários de GPU (CUDA): 

 pip install transformers==4.40.2 huggingface-hub==0.20.3
pip install torch==2.2.1 --index-url https://download.pytorch.org/whl/cu121
  • Consulte [Orientação para aceleração da GPU] para orientação de instalação se você tiver um dispositivo GPU NVIDIA no seu PC e desejar usar a GPU para acelerar o pipeline.
  • De acordo com as liberações de maio de 2024, "Transformers" ≥ 4,41 depende de "Huggingface-Hub" ≥ 0,23. As versões sugeridas de "Transformers" (4.40.2) e "huggingface-hub" (0,20.3) garantem a exibição do console das barras de progresso ao baixar os modelos BERT, mantendo esses pacotes o mais novo possível.
  • Os usuários de proxy devem usar o "modo global" (全局模式 全局模式) para baixar modelos.
  • Se você vir o erro HTTPSConnectionPool(host='huggingface.co', port=443) , tente (1) reinstalar o anaconda para que alguns problemas desconhecidos possam ser corrigidos ou (2) rebaixar o pacote "Urllib3" para a versão ≤ 1.25.11 ( pip install urllib3==1.25.11 ) versões) para se conectar ao rosto de abraçar.
    • https://www.cnblogs.com/devilmaycry812839668/p/17872452.html
    • https://zhuanlan.zhihu.com/p/350015032

Orientação para FMAT

Etapa 1: Baixe os modelos Bert

Use BERT_download() para baixar [Bert Models]. Os arquivos do modelo são salvos na pasta local "%UserProfile%/. Cache/HuggingFace". Uma lista completa de modelos Bert está disponível no Hugging Face.

Use BERT_info() e BERT_vocab() para encontrar informações detalhadas dos modelos BERT.

Etapa 2: Design FMAT Consultas

As consultas de design que representam conceitualmente as construções que você mediria (ver Bao, 2024, JPSP para como projetar consultas).

Use FMAT_query() e/ou FMAT_query_bind() para preparar um data.table de consultas.

Etapa 3: Execute FMAT

Use FMAT_run() para obter dados brutos (estimativas de probabilidade) para análises adicionais.

Várias etapas de pré -processamento foram incluídas na função para facilitar o uso (consulte FMAT_run() para obter detalhes).

  • Para variantes de Bert usando <mask> em vez de [MASK] como token de máscara, a consulta de entrada será automaticamente modificada para que os usuários sempre possam usar [MASK] no design da consulta.
  • Para algumas variantes do BERT, caracteres especiais de prefixo, como u0120 e u2581 serão adicionados automaticamente para corresponder a todas as palavras (em vez de subpainhas) para [MASK] .

Notas

  • As melhorias estão em andamento, especialmente para adaptação a modelos Bert mais diversos (menos populares).
  • Se você encontrar bugs ou tiver problemas em usar as funções, informe -os no GitHub Issues ou envie -me um email.

Orientação para aceleração da GPU

Por padrão, o pacote FMAT usa a CPU para ativar a funcionalidade para todos os usuários. Mas para usuários avançados que desejam acelerar o pipeline com a GPU, a função FMAT_run() agora suporta o uso de um dispositivo GPU, cerca de 3x mais rápido que a CPU.

Resultados dos testes (no computador do desenvolvedor, dependendo do tamanho do modelo Bert):

  • CPU (Intel 13th-Gen i7-1355U): 500 ~ 1000 consultas/min
  • GPU (NVIDIA GeForce RTX 2050): 1500 ~ 3000 consultas/min

Lista de verificação:

  1. Certifique -se de ter um dispositivo NVIDIA GPU (por exemplo, série GeForce RTX) e um driver GPU da NVIDIA instalado no seu sistema.
  2. Instale o Pytorch (pacote Python torch ) com suporte CUDA.
    • Encontre o comando de orientação para instalação em https://pytorch.org/get-started/locally/.
    • O CUDA está disponível apenas no Windows e no Linux, mas não no macOS.
    • Se você instalou uma versão da torch sem suporte ao CUDA, primeiro desinstale -o (comando: pip uninstall torch ) e instale o sugerido.
    • Você também pode instalar a versão correspondente do CUDA Toolkit (por exemplo, para a versão torch que suporta o CUDA 12.1, a mesma versão do CUDA Toolkit 12.1 também pode ser instalada).

Exemplo Código para instalar Pytorch com suporte CUDA:
(RSTUDIO Terminal / ANACONDA Prompt / Comando Windows) 

 pip install torch==2.2.1 --index-url https://download.pytorch.org/whl/cu121

Modelos Bert

A confiabilidade e a validade dos 12 modelos de Bert representativos a seguir foram estabelecidos em meus artigos de pesquisa, mas é necessário um trabalho futuro para examinar o desempenho de outros modelos.

(Nome do modelo na face de abraço - tamanho do arquivo do modelo)

  1. Bert-Base-ANSed (420 MB)
  2. Bert-BASE (416 MB)
  3. Bert-Large-Ancoused (1283 MB)
  4. Bert-Large Case (1277 MB)
  5. Distilbert-Base-Base (256 MB)
  6. Distilbert-baseado (251 MB)
  7. Albert-Base-V1 (45 MB)
  8. Albert-Base-V2 (45 MB)
  9. Roberta-Base (476 MB)
  10. DistilroBerta-Base (316 MB)
  11. Vinai/Bertweet-Base (517 MB)
  12. Vinai/Bertweet-Large (1356 MB)

Se você é novo no BERT, essas referências podem ser úteis:

  • O que é o preenchimento-máscara? [Huggingface]
  • Um Bert explorável [Huggingface]
  • Documentação do modelo Bert [HuggingFace]
  • Bert explicou
  • Quebrando Bert
  • Bert ilustrado
  • Guia visual para Bert 
library( FMAT )
models = c(
  " bert-base-uncased " ,
  " bert-base-cased " ,
  " bert-large-uncased " ,
  " bert-large-cased " ,
  " distilbert-base-uncased " ,
  " distilbert-base-cased " ,
  " albert-base-v1 " ,
  " albert-base-v2 " ,
  " roberta-base " ,
  " distilroberta-base " ,
  " vinai/bertweet-base " ,
  " vinai/bertweet-large "
)
BERT_download( models )
 ℹ Device Info:

R Packages:
FMAT          2024.5
reticulate    1.36.1

Python Packages:
transformers  4.40.2
torch         2.2.1+cu121

NVIDIA GPU CUDA Support:
CUDA Enabled: TRUE
CUDA Version: 12.1
GPU (Device): NVIDIA GeForce RTX 2050


── Downloading model "bert-base-uncased" ──────────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 570/570 [00:00<00:00, 114kB/s]
→ (2) Downloading tokenizer...
tokenizer_config.json: 100%|██████████| 48.0/48.0 [00:00<00:00, 23.9kB/s]
vocab.txt: 100%|██████████| 232k/232k [00:00<00:00, 1.50MB/s]
tokenizer.json: 100%|██████████| 466k/466k [00:00<00:00, 1.98MB/s]
→ (3) Downloading model...
model.safetensors: 100%|██████████| 440M/440M [00:36<00:00, 12.1MB/s] 
✔ Successfully downloaded model "bert-base-uncased"

── Downloading model "bert-base-cased" ────────────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 570/570 [00:00<00:00, 63.3kB/s]
→ (2) Downloading tokenizer...
tokenizer_config.json: 100%|██████████| 49.0/49.0 [00:00<00:00, 8.66kB/s]
vocab.txt: 100%|██████████| 213k/213k [00:00<00:00, 1.39MB/s]
tokenizer.json: 100%|██████████| 436k/436k [00:00<00:00, 10.1MB/s]
→ (3) Downloading model...
model.safetensors: 100%|██████████| 436M/436M [00:37<00:00, 11.6MB/s] 
✔ Successfully downloaded model "bert-base-cased"

── Downloading model "bert-large-uncased" ─────────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 571/571 [00:00<00:00, 268kB/s]
→ (2) Downloading tokenizer...
tokenizer_config.json: 100%|██████████| 48.0/48.0 [00:00<00:00, 12.0kB/s]
vocab.txt: 100%|██████████| 232k/232k [00:00<00:00, 1.50MB/s]
tokenizer.json: 100%|██████████| 466k/466k [00:00<00:00, 1.99MB/s]
→ (3) Downloading model...
model.safetensors: 100%|██████████| 1.34G/1.34G [01:36<00:00, 14.0MB/s]
✔ Successfully downloaded model "bert-large-uncased"

── Downloading model "bert-large-cased" ───────────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 762/762 [00:00<00:00, 125kB/s]
→ (2) Downloading tokenizer...
tokenizer_config.json: 100%|██████████| 49.0/49.0 [00:00<00:00, 12.3kB/s]
vocab.txt: 100%|██████████| 213k/213k [00:00<00:00, 1.41MB/s]
tokenizer.json: 100%|██████████| 436k/436k [00:00<00:00, 5.39MB/s]
→ (3) Downloading model...
model.safetensors: 100%|██████████| 1.34G/1.34G [01:35<00:00, 14.0MB/s]
✔ Successfully downloaded model "bert-large-cased"

── Downloading model "distilbert-base-uncased" ────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 483/483 [00:00<00:00, 161kB/s]
→ (2) Downloading tokenizer...
tokenizer_config.json: 100%|██████████| 48.0/48.0 [00:00<00:00, 9.46kB/s]
vocab.txt: 100%|██████████| 232k/232k [00:00<00:00, 16.5MB/s]
tokenizer.json: 100%|██████████| 466k/466k [00:00<00:00, 14.8MB/s]
→ (3) Downloading model...
model.safetensors: 100%|██████████| 268M/268M [00:19<00:00, 13.5MB/s] 
✔ Successfully downloaded model "distilbert-base-uncased"

── Downloading model "distilbert-base-cased" ──────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 465/465 [00:00<00:00, 233kB/s]
→ (2) Downloading tokenizer...
tokenizer_config.json: 100%|██████████| 49.0/49.0 [00:00<00:00, 9.80kB/s]
vocab.txt: 100%|██████████| 213k/213k [00:00<00:00, 1.39MB/s]
tokenizer.json: 100%|██████████| 436k/436k [00:00<00:00, 8.70MB/s]
→ (3) Downloading model...
model.safetensors: 100%|██████████| 263M/263M [00:24<00:00, 10.9MB/s] 
✔ Successfully downloaded model "distilbert-base-cased"

── Downloading model "albert-base-v1" ─────────────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 684/684 [00:00<00:00, 137kB/s]
→ (2) Downloading tokenizer...
tokenizer_config.json: 100%|██████████| 25.0/25.0 [00:00<00:00, 3.57kB/s]
spiece.model: 100%|██████████| 760k/760k [00:00<00:00, 4.93MB/s]
tokenizer.json: 100%|██████████| 1.31M/1.31M [00:00<00:00, 13.4MB/s]
→ (3) Downloading model...
model.safetensors: 100%|██████████| 47.4M/47.4M [00:03<00:00, 13.4MB/s]
✔ Successfully downloaded model "albert-base-v1"

── Downloading model "albert-base-v2" ─────────────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 684/684 [00:00<00:00, 137kB/s]
→ (2) Downloading tokenizer...
tokenizer_config.json: 100%|██████████| 25.0/25.0 [00:00<00:00, 4.17kB/s]
spiece.model: 100%|██████████| 760k/760k [00:00<00:00, 5.10MB/s]
tokenizer.json: 100%|██████████| 1.31M/1.31M [00:00<00:00, 6.93MB/s]
→ (3) Downloading model...
model.safetensors: 100%|██████████| 47.4M/47.4M [00:03<00:00, 13.8MB/s]
✔ Successfully downloaded model "albert-base-v2"

── Downloading model "roberta-base" ───────────────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 481/481 [00:00<00:00, 80.3kB/s]
→ (2) Downloading tokenizer...
tokenizer_config.json: 100%|██████████| 25.0/25.0 [00:00<00:00, 6.25kB/s]
vocab.json: 100%|██████████| 899k/899k [00:00<00:00, 2.72MB/s]
merges.txt: 100%|██████████| 456k/456k [00:00<00:00, 8.22MB/s]
tokenizer.json: 100%|██████████| 1.36M/1.36M [00:00<00:00, 8.56MB/s]
→ (3) Downloading model...
model.safetensors: 100%|██████████| 499M/499M [00:38<00:00, 12.9MB/s] 
✔ Successfully downloaded model "roberta-base"

── Downloading model "distilroberta-base" ─────────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 480/480 [00:00<00:00, 96.4kB/s]
→ (2) Downloading tokenizer...
tokenizer_config.json: 100%|██████████| 25.0/25.0 [00:00<00:00, 12.0kB/s]
vocab.json: 100%|██████████| 899k/899k [00:00<00:00, 6.59MB/s]
merges.txt: 100%|██████████| 456k/456k [00:00<00:00, 9.46MB/s]
tokenizer.json: 100%|██████████| 1.36M/1.36M [00:00<00:00, 11.5MB/s]
→ (3) Downloading model...
model.safetensors: 100%|██████████| 331M/331M [00:25<00:00, 13.0MB/s] 
✔ Successfully downloaded model "distilroberta-base"

── Downloading model "vinai/bertweet-base" ────────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 558/558 [00:00<00:00, 187kB/s]
→ (2) Downloading tokenizer...
vocab.txt: 100%|██████████| 843k/843k [00:00<00:00, 7.44MB/s]
bpe.codes: 100%|██████████| 1.08M/1.08M [00:00<00:00, 7.01MB/s]
tokenizer.json: 100%|██████████| 2.91M/2.91M [00:00<00:00, 9.10MB/s]
→ (3) Downloading model...
pytorch_model.bin: 100%|██████████| 543M/543M [00:48<00:00, 11.1MB/s] 
✔ Successfully downloaded model "vinai/bertweet-base"

── Downloading model "vinai/bertweet-large" ───────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 614/614 [00:00<00:00, 120kB/s]
→ (2) Downloading tokenizer...
vocab.json: 100%|██████████| 899k/899k [00:00<00:00, 5.90MB/s]
merges.txt: 100%|██████████| 456k/456k [00:00<00:00, 7.30MB/s]
tokenizer.json: 100%|██████████| 1.36M/1.36M [00:00<00:00, 8.31MB/s]
→ (3) Downloading model...
pytorch_model.bin: 100%|██████████| 1.42G/1.42G [02:29<00:00, 9.53MB/s]
✔ Successfully downloaded model "vinai/bertweet-large"

── Downloaded models: ──

                           size
albert-base-v1            45 MB
albert-base-v2            45 MB
bert-base-cased          416 MB
bert-base-uncased        420 MB
bert-large-cased        1277 MB
bert-large-uncased      1283 MB
distilbert-base-cased    251 MB
distilbert-base-uncased  256 MB
distilroberta-base       316 MB
roberta-base             476 MB
vinai/bertweet-base      517 MB
vinai/bertweet-large    1356 MB

✔ Downloaded models saved at C:/Users/Bruce/.cache/huggingface/hub (6.52 GB)

BERT_info( models )
                      model   size vocab  dims   mask
                     <fctr> <char> <int> <int> <char>
 1:       bert-base-uncased  420MB 30522   768 [MASK]
 2:         bert-base-cased  416MB 28996   768 [MASK]
 3:      bert-large-uncased 1283MB 30522  1024 [MASK]
 4:        bert-large-cased 1277MB 28996  1024 [MASK]
 5: distilbert-base-uncased  256MB 30522   768 [MASK]
 6:   distilbert-base-cased  251MB 28996   768 [MASK]
 7:          albert-base-v1   45MB 30000   128 [MASK]
 8:          albert-base-v2   45MB 30000   128 [MASK]
 9:            roberta-base  476MB 50265   768 <mask>
10:      distilroberta-base  316MB 50265   768 <mask>
11:     vinai/bertweet-base  517MB 64001   768 <mask>
12:    vinai/bertweet-large 1356MB 50265  1024 <mask>

(Testado 2024-05-16 no computador do desenvolvedor: HP ProBook 450 G10 Notebook PC)

Pacotes relacionados

Embora o FMAT seja um método inovador para a análise inteligente computacional da psicologia e da sociedade, você também pode procurar uma caixa de ferramentas integrativa para outros métodos analíticos de texto. Outro pacote R que desenvolvi --- PsychWordVec-é útil e amigável para análise de incorporação de palavras (por exemplo, o teste de Word Incoredding Association Test, WEAT). Consulte sua documentação e sinta -se à vontade para usá -lo.

Expandir
Informações adicionais
Aplicativos Relacionados
Recomendado para você
Informações Relacionadas Todos