ec nl
1.0.0
ICLR 2022 (Spotlight)에서 코스 웨스 이전을 통한 긴급 및 자연 언어 연결 용지 연결 코드 및 데이터.
@inproceedings { yao2022linking ,
title = { Linking Emergent and Natural Languages via Corpus Transfer } ,
author = { Yao, Shunyu and Yu, Mo and Zhang, Yang and Narasimhan, Karthik and Tenenbaum, Joshua and Gan, Chuang } ,
booktitle = { International Conference on Learning Representations (ICLR) } ,
year = { 2022 } ,
html = { https://openreview.net/pdf?id=49A1Y6tRhaq } ,
}Google 드라이브에는 포함됩니다
image_features : EC 사전 훈련에 사용될 미리 훈련 된 RESNET의 Coco.pt ( coco.pt ) 및 개념 캡션 ( cc.pt ) 데이터 세트의 이미지 기능.
lm_corpora : 언어 모델링 전송 실험에 사용되는 Corpora.
| 이름 | 용법 | 논평 |
|---|---|---|
| CC.pt | 사전 훈련 | 출현 언어 |
| Paren-Zipf.pt | 사전 훈련 | 중첩 괄호의 일반 언어 |
| wiki-es.pt | 사전 훈련 | 스페인어 (즉, 로마) 위키 백과 |
| Wiki-Da.pt | 미세 조정 | 덴마크 (IE-Germanic) Wikipedia |
| wiki-eu.pt | 미세 조정 | 바스크 (바스크) 위키 백과 |
| Wiki-Ja.pt | 미세 조정 | 일본 (일본어) 위키 백과 |
| wiki-ro.pt | 미세 조정 | 루마니아어 (즉, 로마) 위키 백과 |
| Wiki-Fi.pt | 미세 조정 | 핀란드 (Uralic) Wikipedia |
| wiki-id.pt | 미세 조정 | 인도네시아 (오스트레인시아 인) 위키 백과 |
| Wiki-Kk.pt | 미세 조정 | Kazakh (Turkic) Wikipedia |
| Wiki-He.pt | 미세 조정 | 히브리어 (Afro-Asiatic) Wikipedia |
| wiki-ur.pt | 미세 조정 | 우르두어 (예 : 인도) 위키 백과 |
| Wiki-Fa.pt | 미세 조정 | 페르시아 (예 : 이라니아어) 위키 백과 |
이 부분은 다운 스트림 작업을위한 긴급 Langauge 코퍼스를 생성하는 것을 목표로합니다. Google Drive에서 ./ec-pretrain/data 로 image_features 다운로드하십시오. 출현하는 의사 소통 교육을 실행하려면
cd ec-game
python train.py몇 가지 주요 옵션 :
--dataset : 개념 캡션 ( cc ) 또는 MS-Coco ( coco_2014 ) 데이터 세트를 사용합니다.--vocab_size : 어휘 크기 (기본 4035 ).--seq_len : 시퀀스 길이 한계 (기본 15 ). 이러한 게임 훈련은 EC 에이전트 (예 : ./ckpt/cc_vocab_4035_seq_15_reset_-1_nlayers_1/run77926/model_90.6_1000_4035.pt ) 및 Emergent Language Corpora (EG)를 자동으로 저장합니다. ./ckpt/cc_vocab_4035_seq_15_reset_-1_nlayers_1/run77926/model_90.6_1000_4035.pt-cc.pt , 다양한 교육 단계에서 lm_corpora/cc.pt ). 이 예에서 90.6_1000_4035 각각 게임 정확도, 게임 교육 단계 및 게임 어휘 크기를 나타냅니다.
이 부분은 논문의 그림 2를 재현하는 것을 목표로합니다. Google Drive에서 ./ec-pretrain/data 로 lm_corpora 다운로드하십시오.
사전 훈련을 실행하려면
export size=2 # 2,5,10,15,30
export pt_name= " wiki-es " # "paren-zipf", "cc"
. pretrain.sh미세 조정을 실행하려면
export size=2 # 2,5,10,15,30
export pt_name= " wiki-es " # "paren-zipf", "cc"
export ft_name= " wiki-ro "
export ckpt=3000
. finetune.sh위의 변수의 의미 :
size : 사전 훈련 코퍼스의 토큰 크기 (백만) ( [2, 5, 10, 15, 30] ).pt_name : 사전 훈련 코퍼스의 이름 ( ["wiki-es", "paren-zipf", "cc"] ).ft_name : 미세 조정 코퍼스의 이름 ( ["wiki-ro", "wiki-da.pt] ).ckpt : 미세 조정에 사용할 사전 훈련 검사 점 (기본 3000 ). 코드의 EC 부분은 ECNMT를 기반으로하며 부분적으로 번역을 기반으로합니다.
코드의 LM 부분은 huggingface run_clm.py를 기반으로합니다.
EC 실험의 데이터 세트에는 MS Coco 및 개념 캡션이 포함됩니다.
LM 실험의 데이터 세트는 Tilt-Transfer에서 도출됩니다.
그에 따라 이러한 리소스를 인용하십시오. 어떤 질문이든, Shunyu에 문의하십시오.
