ELCo下載 - ELCo源代碼下載

ELCo

Ai源碼

1.0.0

下載

ELCO數據集

該回購為我們的論文 @ lrec-Coling 2024提供了數據集和官方實施。
我們論文的本地副本：https：//yisong.me/publications/[email protected]
我們幻燈片的本地副本：https：//yisong.me/publications/[email protected]

ELCO.CSV文件包含完整的ELCO數據集，該數據集分為五個獨特的列：

en：英語短語；
EM：與英語短語相對應的表情符號序列；
描述：表情符號的描述；
組成策略：用於組成表情符號的策略，如我們的語料研究中所述。它包括直接表示形式，隱喻表示，語義列表，重複和單個表情符號。
屬性：英語短語的屬性。

完整的elco.csv中的前5行預覽：

en	Em	描述	組成策略	屬性
大企業	？	['：nucktie：'，'：Chart_increasing：']	隱喻	尺寸
大企業	???	['：Office_building：'，'：Money-Mouth_face：'，'：Money-Mouth_face：']	隱喻	尺寸
大企業	？ ‍？	['：man_technoffer：'，'：握手：']	隱喻	尺寸
大企業	?? ‍？ ‍ ?? ‍？ ‍ ?? ‍？ ‍？	['：office_building：'，'：people_holding_hands：'，'：people_holding_hands：'，'：people_holding_hands：']	隱喻	尺寸
大企業	？ ‍？	['：woman_technoffer：'，'：Money-Mouth_face：']	隱喻	尺寸

官方實施基準測試

安裝？

 git clone [email protected]:WING-NUS/ELCo.git
conda activate
cd ELCo
cd scripts
pip install -r requirements.txt

我們的代碼庫不需要package requirements.txt特定版本。
對於大多數NLPER，您可能可以使用現有的虛擬（CONDA）環境來運行我們的代碼。

運行實驗？

指定您的道路？ q

在運行bash文件之前，請編輯bash文件，以將您的路徑指定到本地的擁抱面緩存。
例如，在腳本/無監督的sh中：

 #!/bin/bash

# Please define your own path here
huggingface_path=YOUR_PATH

您可以將YOUR_PATH更改為擁抱面緩存的絕對目錄位置（例如/disk1/yisong/hf-cache ）。

無監督的對錶情任務的評估：

 conda activate
cd ELCo
bash scripts/unsupervised.sh

對錶情任務進行微調：

 conda activate
cd ELCo
bash scripts/fine-tune.sh

縮放實驗：？

 conda activate
cd ELCo
bash scripts/scaling.sh

代碼庫映射？ quly

所有代碼都存儲在scripts目錄中。數據位於Benchmark_data中。
我們的bash文件執行emote.py的各種配置：

emote.py ：整個實驗集的控制器。數據加載程序和編碼器也在此處實現；
emote_config.py ：此配置文件將參數從argparse作為輸入作為輸入，並返回一個配置類，這對於後續函數很方便；
unsupervised.py emote.py在第一次運行中，驗證的模型將從擁抱面下載到指定的huggingface_path 。確保有足夠的空間可用（我們建議至少20GB）。結果保存在benchmark_data/results/TE-unsup/ Directory中。執行實驗後，將自動創建該目錄；
finetune.py ：也由emote.py稱為驗證的模型。此腳本為每個微調時期保存classification_report ，並在benchmark_data/results/TE-finetune/ Directory的_best.csv文件中記錄最佳測試精度（優化驗證精度時）。執行實驗後，該目錄將自動創建。

引用

如果您覺得我們的工作很有趣，歡迎您嘗試我們的數據集/代碼庫。
如果您使用了我們的數據集/代碼庫，請請我們的研究邀請我們的研究：

 @inproceedings{ELCoDataset2024,
    title = "The ELCo Dataset: Bridging Emoji and Lexical Composition",
    author = {Yang, Zi Yun  and
    	Zhang, Ziqing and
      Miao, Yisong},
    booktitle = "Proceedings of The 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation",
    month = May,
    year = "2024",
    address = "Turino, Italy",
}