FMAT下载 - FMAT源代码下载

FMAT

Ai源码

1.0.0

下载

FMAT

作者

Han-Wu-Shuang（Bruce）Bao包寒吴霜

？ [email protected]

？ psychbruce.github.io

引用

Bao，H.-W.-S。（2023）。 FMAT：填充面具关联测试。 https://cran.r-project.org/package=fmat
- 注意：这是原始引用。请参考您安装版本的APA-7格式library(FMAT)时，请参阅信息。
Bao，H.-W.-S。（2024）。填充面具协会测试（FMAT）：自然语言的命题。人格与社会心理学杂志，127 （3），537–561。 https://doi.org/10.1037/pspa0000396
Bao，H.-W.-S。，＆Gries，P。（2024）。自然语言中的跨种族 - 性别刻板印象。英国社会心理学杂志，63 （4），1771– 1786年。 https://doi.org/10.1111/bjso.12748

安装

要使用FMAT，需要安装R包FMAT和三个Python软件包（ transformers ， torch ， huggingface-hub ）。

（1）R包

 # # Method 1: Install from CRAN
install.packages( " FMAT " )

# # Method 2: Install from GitHub
install.packages( " devtools " )
devtools :: install_github( " psychbruce/FMAT " , force = TRUE )

（2）Python环境和包裹

安装Anaconda（推荐的软件包管理器，该管理器会自动安装Python，Spyder等Python ID，以及大量必要的Python软件包依赖项）。

在Rstudio中指定Anaconda的Python解释器。

rstudio→工具→全球/项目选项
→Python→选择→ Conda环境
→选择“ .../anaconda3/python.exe”

安装特定版本的Python软件包“变压器”，“ Torch”和“ HuggingFace-Hub”。
（rstudio终端 / anaconda提示 / Windows命令）

对于CPU用户：

 pip install transformers==4.40.2 torch==2.2.1 huggingface-hub==0.20.3

对于GPU（CUDA）用户：

 pip install transformers==4.40.2 huggingface-hub==0.20.3
pip install torch==2.2.1 --index-url https://download.pytorch.org/whl/cu121

如果您在PC上有NVIDIA GPU设备，并且想使用GPU加速管道，请参见[GPU加速度指南]的安装指南。
根据2024年5月的发行版，“变形金刚”≥4.41取决于“ HuggingFace-Hub”≥0.23。建议的“变形金刚”（4.40.2）和“ HuggingFace-Hub”（0.20.3）的版本可确保在下载Bert模型时显示进度栏的控制台，同时使这些软件包尽可能新。
代理用户应使用“全局模式”（全局模式）下载模型。
If you see the error HTTPSConnectionPool(host='huggingface.co', port=443) , please try to (1) reinstall Anaconda so that some unknown issues may be fixed or (2) downgrade the "urllib3" package to version ≤ 1.25.11 ( pip install urllib3==1.25.11 ) so that it will use HTTP proxies (rather than HTTPS proxies as in later版本）连接到拥抱的脸。
- https://www.cnblogs.com/devilmaycry812839668/p/17872452.html
- https://zhuanlan.zhihu.com/p/350015032

FMAT指南

步骤1：下载伯特模型

使用BERT_download()下载[BERT模型]。模型文件保存到您的本地文件夹“％userProfile％/。缓存/拥抱面”。 Hugging Face可以使用完整的BERT模型列表。

使用BERT_info()和BERT_vocab()查找BERT模型的详细信息。

步骤2：设计FMAT查询

从概念上代表您要测量的构造的设计查询（有关如何设计查询，请参见Bao，2024， JPSP ）。

使用FMAT_query()和/或FMAT_query_bind()来准备data.table 。

步骤3：运行FMAT

使用FMAT_run()获取原始数据（概率估计）进行进一步分析。

该功能已包含了几个预处理步骤，以便于使用（有关详细信息，请参见FMAT_run() ）。

对于使用<mask>而不是[MASK]作为掩码令牌的BERT变体，将自动修改输入查询，以便用户可以始终在查询设计中使用[MASK] 。
对于某些BERT变体，将自动添加特殊的前缀字符（例如u0120和u2581 ，以匹配[MASK]的整个单词（而不是子字）。

笔记

进步正在进行中，尤其是为了适应更多样化（不太受欢迎）的BERT模型。
如果您发现错误或使用这些功能遇到问题，请在GitHub问题上报告或给我发送电子邮件。

GPU加速指南

默认情况下， FMAT软件包使用CPU启用所有用户的功能。但是，对于想要使用GPU加速管道的高级用户， FMAT_run()函数现在支持使用GPU设备，比CPU快3倍。

测试结果（在开发人员的计算机上，取决于BERT模型大小）：

CPU（Intel 13th I7-1355U）：500〜1000查询/分钟
GPU（NVIDIA GEFORCE RTX 2050）：1500〜3000查询/分钟

清单：

确保您在系统上安装了NVIDIA GPU设备（例如GeForce RTX系列）和NVIDIA GPU驱动程序。
将Pytorch（Python torch套件）安装在CUDA支持的情况下。
- 在https://pytorch.org/get-started/locally/上找到安装命令的指南。
- CUDA仅在Windows和Linux上可用，但在MacOS上不可用。
- 如果您在没有CUDA支持的情况下安装了torch的版本，请首先卸载它（命令： pip uninstall torch ），然后安装建议的一个。
- 您也可以安装相应的CUDA工具包（例如，对于支持CUDA 12.1的torch版本，也可以安装相同版本的CUDA工具包）。

示例代码，用于使用CUDA支持的Pytorch：
（rstudio终端 / anaconda提示 / Windows命令）

 pip install torch==2.2.1 --index-url https://download.pytorch.org/whl/cu121

BERT模型

在我的研究文章中已经建立了以下12个代表性BERT模型的可靠性和有效性，但是需要将来的工作来检查其他模型的性能。

（拥抱面上的型号名称 - 下载的型号文件大小）

基于Bert-Base-uncon（420 MB）
Bert-base Casted（416 MB）
Bert-large-uncunge（1283 MB）
Bert-large Casted（1277 MB）
大陶土基于基于基的（256 MB）
大型培训型（251 MB）
Albert-Base-V1（45 MB）
Albert-Base-V2（45 MB）
罗伯塔基地（476 MB）
Distilroberta-base（316 MB）
Vinai/Bertweet-base（517 MB）
Vinai/Bertweet-large（1356 MB）

如果您是Bert的新手，这些参考可能会有所帮助：

什么是填充面具？ [huggingface]
可探索的伯特[huggingface]
BERT模型文档[HuggingFace]
伯特解释了
打破伯特
插图伯特
伯特视觉指南

library( FMAT )
models = c(
  " bert-base-uncased " ,
  " bert-base-cased " ,
  " bert-large-uncased " ,
  " bert-large-cased " ,
  " distilbert-base-uncased " ,
  " distilbert-base-cased " ,
  " albert-base-v1 " ,
  " albert-base-v2 " ,
  " roberta-base " ,
  " distilroberta-base " ,
  " vinai/bertweet-base " ,
  " vinai/bertweet-large "
)
BERT_download( models )

 ℹ Device Info:

R Packages:
FMAT          2024.5
reticulate    1.36.1

Python Packages:
transformers  4.40.2
torch         2.2.1+cu121

NVIDIA GPU CUDA Support:
CUDA Enabled: TRUE
CUDA Version: 12.1
GPU (Device): NVIDIA GeForce RTX 2050


── Downloading model "bert-base-uncased" ──────────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 570/570 [00:00<00:00, 114kB/s]
→ (2) Downloading tokenizer...
tokenizer_config.json: 100%|██████████| 48.0/48.0 [00:00<00:00, 23.9kB/s]
vocab.txt: 100%|██████████| 232k/232k [00:00<00:00, 1.50MB/s]
tokenizer.json: 100%|██████████| 466k/466k [00:00<00:00, 1.98MB/s]
→ (3) Downloading model...
model.safetensors: 100%|██████████| 440M/440M [00:36<00:00, 12.1MB/s] 
✔ Successfully downloaded model "bert-base-uncased"

── Downloading model "bert-base-cased" ────────────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 570/570 [00:00<00:00, 63.3kB/s]
→ (2) Downloading tokenizer...
tokenizer_config.json: 100%|██████████| 49.0/49.0 [00:00<00:00, 8.66kB/s]
vocab.txt: 100%|██████████| 213k/213k [00:00<00:00, 1.39MB/s]
tokenizer.json: 100%|██████████| 436k/436k [00:00<00:00, 10.1MB/s]
→ (3) Downloading model...
model.safetensors: 100%|██████████| 436M/436M [00:37<00:00, 11.6MB/s] 
✔ Successfully downloaded model "bert-base-cased"

── Downloading model "bert-large-uncased" ─────────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 571/571 [00:00<00:00, 268kB/s]
→ (2) Downloading tokenizer...
tokenizer_config.json: 100%|██████████| 48.0/48.0 [00:00<00:00, 12.0kB/s]
vocab.txt: 100%|██████████| 232k/232k [00:00<00:00, 1.50MB/s]
tokenizer.json: 100%|██████████| 466k/466k [00:00<00:00, 1.99MB/s]
→ (3) Downloading model...
model.safetensors: 100%|██████████| 1.34G/1.34G [01:36<00:00, 14.0MB/s]
✔ Successfully downloaded model "bert-large-uncased"

── Downloading model "bert-large-cased" ───────────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 762/762 [00:00<00:00, 125kB/s]
→ (2) Downloading tokenizer...
tokenizer_config.json: 100%|██████████| 49.0/49.0 [00:00<00:00, 12.3kB/s]
vocab.txt: 100%|██████████| 213k/213k [00:00<00:00, 1.41MB/s]
tokenizer.json: 100%|██████████| 436k/436k [00:00<00:00, 5.39MB/s]
→ (3) Downloading model...
model.safetensors: 100%|██████████| 1.34G/1.34G [01:35<00:00, 14.0MB/s]
✔ Successfully downloaded model "bert-large-cased"

── Downloading model "distilbert-base-uncased" ────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 483/483 [00:00<00:00, 161kB/s]
→ (2) Downloading tokenizer...
tokenizer_config.json: 100%|██████████| 48.0/48.0 [00:00<00:00, 9.46kB/s]
vocab.txt: 100%|██████████| 232k/232k [00:00<00:00, 16.5MB/s]
tokenizer.json: 100%|██████████| 466k/466k [00:00<00:00, 14.8MB/s]
→ (3) Downloading model...
model.safetensors: 100%|██████████| 268M/268M [00:19<00:00, 13.5MB/s] 
✔ Successfully downloaded model "distilbert-base-uncased"

── Downloading model "distilbert-base-cased" ──────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 465/465 [00:00<00:00, 233kB/s]
→ (2) Downloading tokenizer...
tokenizer_config.json: 100%|██████████| 49.0/49.0 [00:00<00:00, 9.80kB/s]
vocab.txt: 100%|██████████| 213k/213k [00:00<00:00, 1.39MB/s]
tokenizer.json: 100%|██████████| 436k/436k [00:00<00:00, 8.70MB/s]
→ (3) Downloading model...
model.safetensors: 100%|██████████| 263M/263M [00:24<00:00, 10.9MB/s] 
✔ Successfully downloaded model "distilbert-base-cased"

── Downloading model "albert-base-v1" ─────────────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 684/684 [00:00<00:00, 137kB/s]
→ (2) Downloading tokenizer...
tokenizer_config.json: 100%|██████████| 25.0/25.0 [00:00<00:00, 3.57kB/s]
spiece.model: 100%|██████████| 760k/760k [00:00<00:00, 4.93MB/s]
tokenizer.json: 100%|██████████| 1.31M/1.31M [00:00<00:00, 13.4MB/s]
→ (3) Downloading model...
model.safetensors: 100%|██████████| 47.4M/47.4M [00:03<00:00, 13.4MB/s]
✔ Successfully downloaded model "albert-base-v1"

── Downloading model "albert-base-v2" ─────────────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 684/684 [00:00<00:00, 137kB/s]
→ (2) Downloading tokenizer...
tokenizer_config.json: 100%|██████████| 25.0/25.0 [00:00<00:00, 4.17kB/s]
spiece.model: 100%|██████████| 760k/760k [00:00<00:00, 5.10MB/s]
tokenizer.json: 100%|██████████| 1.31M/1.31M [00:00<00:00, 6.93MB/s]
→ (3) Downloading model...
model.safetensors: 100%|██████████| 47.4M/47.4M [00:03<00:00, 13.8MB/s]
✔ Successfully downloaded model "albert-base-v2"

── Downloading model "roberta-base" ───────────────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 481/481 [00:00<00:00, 80.3kB/s]
→ (2) Downloading tokenizer...
tokenizer_config.json: 100%|██████████| 25.0/25.0 [00:00<00:00, 6.25kB/s]
vocab.json: 100%|██████████| 899k/899k [00:00<00:00, 2.72MB/s]
merges.txt: 100%|██████████| 456k/456k [00:00<00:00, 8.22MB/s]
tokenizer.json: 100%|██████████| 1.36M/1.36M [00:00<00:00, 8.56MB/s]
→ (3) Downloading model...
model.safetensors: 100%|██████████| 499M/499M [00:38<00:00, 12.9MB/s] 
✔ Successfully downloaded model "roberta-base"

── Downloading model "distilroberta-base" ─────────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 480/480 [00:00<00:00, 96.4kB/s]
→ (2) Downloading tokenizer...
tokenizer_config.json: 100%|██████████| 25.0/25.0 [00:00<00:00, 12.0kB/s]
vocab.json: 100%|██████████| 899k/899k [00:00<00:00, 6.59MB/s]
merges.txt: 100%|██████████| 456k/456k [00:00<00:00, 9.46MB/s]
tokenizer.json: 100%|██████████| 1.36M/1.36M [00:00<00:00, 11.5MB/s]
→ (3) Downloading model...
model.safetensors: 100%|██████████| 331M/331M [00:25<00:00, 13.0MB/s] 
✔ Successfully downloaded model "distilroberta-base"

── Downloading model "vinai/bertweet-base" ────────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 558/558 [00:00<00:00, 187kB/s]
→ (2) Downloading tokenizer...
vocab.txt: 100%|██████████| 843k/843k [00:00<00:00, 7.44MB/s]
bpe.codes: 100%|██████████| 1.08M/1.08M [00:00<00:00, 7.01MB/s]
tokenizer.json: 100%|██████████| 2.91M/2.91M [00:00<00:00, 9.10MB/s]
→ (3) Downloading model...
pytorch_model.bin: 100%|██████████| 543M/543M [00:48<00:00, 11.1MB/s] 
✔ Successfully downloaded model "vinai/bertweet-base"

── Downloading model "vinai/bertweet-large" ───────────────────────────────────────
→ (1) Downloading configuration...
config.json: 100%|██████████| 614/614 [00:00<00:00, 120kB/s]
→ (2) Downloading tokenizer...
vocab.json: 100%|██████████| 899k/899k [00:00<00:00, 5.90MB/s]
merges.txt: 100%|██████████| 456k/456k [00:00<00:00, 7.30MB/s]
tokenizer.json: 100%|██████████| 1.36M/1.36M [00:00<00:00, 8.31MB/s]
→ (3) Downloading model...
pytorch_model.bin: 100%|██████████| 1.42G/1.42G [02:29<00:00, 9.53MB/s]
✔ Successfully downloaded model "vinai/bertweet-large"

── Downloaded models: ──

                           size
albert-base-v1            45 MB
albert-base-v2            45 MB
bert-base-cased          416 MB
bert-base-uncased        420 MB
bert-large-cased        1277 MB
bert-large-uncased      1283 MB
distilbert-base-cased    251 MB
distilbert-base-uncased  256 MB
distilroberta-base       316 MB
roberta-base             476 MB
vinai/bertweet-base      517 MB
vinai/bertweet-large    1356 MB

✔ Downloaded models saved at C:/Users/Bruce/.cache/huggingface/hub (6.52 GB)

BERT_info( models )

                      model   size vocab  dims   mask
                     <fctr> <char> <int> <int> <char>
 1:       bert-base-uncased  420MB 30522   768 [MASK]
 2:         bert-base-cased  416MB 28996   768 [MASK]
 3:      bert-large-uncased 1283MB 30522  1024 [MASK]
 4:        bert-large-cased 1277MB 28996  1024 [MASK]
 5: distilbert-base-uncased  256MB 30522   768 [MASK]
 6:   distilbert-base-cased  251MB 28996   768 [MASK]
 7:          albert-base-v1   45MB 30000   128 [MASK]
 8:          albert-base-v2   45MB 30000   128 [MASK]
 9:            roberta-base  476MB 50265   768 <mask>
10:      distilroberta-base  316MB 50265   768 <mask>
11:     vinai/bertweet-base  517MB 64001   768 <mask>
12:    vinai/bertweet-large 1356MB 50265  1024 <mask>

（在开发人员的计算机上测试了2024-05-16：HP Probook 450 G10笔记本电脑PC）