ELCo

ELCO数据集

该回购为我们的论文 @ lrec-Coling 2024提供了数据集和官方实施。
我们论文的本地副本：https：//yisong.me/publications/[email protected]
我们幻灯片的本地副本：https：//yisong.me/publications/[email protected]

ELCO.CSV文件包含完整的ELCO数据集，该数据集分为五个独特的列：

• en：英语短语；
• EM：与英语短语相对应的表情符号序列；
• 描述：表情符号的描述；
• 组成策略：用于组成表情符号的策略，如我们的语料研究中所述。它包括直接表示形式，隐喻表示，语义列表，重复和单个表情符号。
• 属性：英语短语的属性。

完整的elco.csv中的前5行预览：

en	Em	描述	组成策略	属性
大企业	？	['：nucktie：'，'：Chart_increasing：']	隐喻	尺寸
大企业	???	['：Office_building：'，'：Money-Mouth_face：'，'：Money-Mouth_face：']	隐喻	尺寸
大企业	？‍？	['：man_technoffer：'，'：握手：']	隐喻	尺寸
大企业	?? ‍？‍ ?? ‍？‍ ?? ‍？‍？	['：office_building：'，'：people_holding_hands：'，'：people_holding_hands：'，'：people_holding_hands：']	隐喻	尺寸
大企业	？‍？	['：woman_technoffer：'，'：Money-Mouth_face：']	隐喻	尺寸

官方实施基准测试

安装 ？

 git clone [email protected]:WING-NUS/ELCo.git
conda activate
cd ELCo
cd scripts
pip install -r requirements.txt

我们的代码库不需要package requirements.txt特定版本。
对于大多数NLPER，您可能可以使用现有的虚拟（CONDA）环境来运行我们的代码。

运行实验？

指定您的道路？q

在运行bash文件之前，请编辑bash文件，以将您的路径指定到本地的拥抱面缓存。
例如，在脚本/无监督的sh中：

 #!/bin/bash

# Please define your own path here
huggingface_path=YOUR_PATH

您可以将YOUR_PATH更改为拥抱面缓存的绝对目录位置（例如/disk1/yisong/hf-cache ）。

无监督的对表情任务的评估：

 conda activate
cd ELCo
bash scripts/unsupervised.sh

对表情任务进行微调：

 conda activate
cd ELCo
bash scripts/fine-tune.sh

缩放实验：？

 conda activate
cd ELCo
bash scripts/scaling.sh

代码库映射？quly

所有代码都存储在scripts目录中。数据位于Benchmark_data中。
我们的bash文件执行emote.py的各种配置：

• emote.py ：整个实验集的控制器。数据加载程序和编码器也在此处实现；
• emote_config.py ：此配置文件将参数从argparse作为输入作为输入，并返回一个配置类，这对于后续函数很方便；
• unsupervised.py emote.py在第一次运行中，验证的模型将从拥抱面下载到指定的huggingface_path 。确保有足够的空间可用（我们建议至少20GB）。结果保存在benchmark_data/results/TE-unsup/ Directory中。执行实验后，将自动创建该目录；
• finetune.py ：也由emote.py称为验证的模型。此脚本为每个微调时期保存classification_report ，并在benchmark_data/results/TE-finetune/ Directory的_best.csv文件中记录最佳测试精度（优化验证精度时）。执行实验后，该目录将自动创建。

引用

如果您觉得我们的工作很有趣，欢迎您尝试我们的数据集/代码库。
如果您使用了我们的数据集/代码库，请请我们的研究邀请我们的研究：

 @inproceedings{ELCoDataset2024,
    title = "The ELCo Dataset: Bridging Emoji and Lexical Composition",
    author = {Yang, Zi Yun  and
    	Zhang, Ziqing and
      Miao, Yisong},
    booktitle = "Proceedings of The 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation",
    month = May,
    year = "2024",
    address = "Turino, Italy",
}

接触 ？？

如果您有疑问或错误报告，请提出问题或直接通过电子邮件与我们联系：
电子邮件地址：？@？
在哪里？qu = yisong ，？= comp.nus.edu.sg

执照

CC由4.0