code switching papers

代码开关研究资源

这是有关代码转换研究的计算语言方法的教程，研讨会，论文和资源的列表。该列表将随着时间的推移更新。欢迎您发送更新列表并成为贡献者之一的拉动请求！

？我计划收集有关代码转换的论文和书籍，并在此处列出。如果您有一个，请随时与我联系或创建拉动请求！

目录

• 亮点
• ？讲习班
• ？研究论文
  • 调查文件
  • 大型语言模型
  • 语言标识和POS标签
  • 语料库
  • 语言建模和语音识别
  • 话语
  • 一代
  • 语音综合
  • 公制
  • 表示学习
  • 机器翻译
  • 语音翻译
  • 自然语言理解
  • 命名实体识别
  • 语言学
  • 情感计算
  • 对话和对话系统
  • 话语
  • 句法
  • 对抗性攻击
  • 社会语言学
  • 基准
  • 社交媒体
  • 文本归一化
  • 工具包
• 图书
• 这些

亮点

• 我们将在NAACL 2025举办代码转换研讨会！我们将很快更新网站！ [网站]
• 如果您是新手的代码转换或寻找新的研究方向，我们已经撰写了一份有关代码转换的综合调查文件： NLP中代码切换研究的数十年进展：一项有关趋势和挑战的系统调查[论文]。随时阅读，如果您有任何建议，请告诉我们！感谢Alham Fikri Aji，Zheng-Xin Yong和Thamar Solorio使这成为可能吗？
• 我们在EMNLP 2023组织了代码转换研讨会！ [网站]
• 我们（我（我，玛丽娜·朱科娃（Marina Zhukova）和苏迪普塔·卡尔（Sudipta Kar））在阿布扎比（Abu Dhabi）的emnlp 2022举办了一次羽毛鸟会议。我们大约有30个人加入（面对面和在线）。谢谢你的到来！
• ？ Microsoft Research（Monojit Choudhury，Kalika Bali，Anirudh Srinivasan和Sandipan Dandapat）在EMNLP 2019上提供了一个关于代码混合的全面教程，您可以检查以下链接。

？讲习班

这是代码转换研讨会系列的列表：

• 关于代码转换计算方法的首个研讨会，EMNLP 2014 [网站]
• 有关代码转换计算方法的第二个研讨会，EMNLP 2016
• 关于语言代码转换计算方法的第三次研讨会，ACL 2018 [网站]
• 关于语言代码转换计算方法的第四次研讨会，LREC 2020 [网站]
• 多语言社区中有关代码转换的语音技术的第一个研讨会，Interspeech 2020 [网站]
• 关于语言代码开关计算方法的第五次研讨会，NAACL 2021 [网站]
• 关于语言代码转换计算方法的第六次研讨会，EMNLP 2023 [网站]
• 关于语言代码转换的计算方法的第七届研讨会，NAACL 2025 [网站（将很快开放）]

？研究论文

调查文件

• Winata等。 （2023）数十年来，NLP的代码转换研究进展：一项有关趋势和挑战的系统调查。 ACL发现[纸]
• Doğruöz等人（2021）对代码转换的调查：语言技术的语言和社会观点。 ACL [纸]
• Jose等。 （2020）对当前数据集的调查，用于代码转换研究。国际高级计算与通信系统会议（ICACCS）[论文]
• Sitaram等。 （2019）对言语和语言处理的调查。 arxiv [纸]

大型语言模型

• Winata等。 （2024）矿工：作为语义检索器的多语言语言模型。 EMNLP调查结果[Paper] [代码]
• Yoo等。 （2024）代码转换红色团队：安全性和多语言理解的LLM评估。 arxiv [纸]
• Leon等人（2024）代码混合探针显示了预训练的模型如何在代码切换文本上推广。 LREC [纸] [代码]
• Huzaifah等。 （2024）用大语言模型评估代码转换翻译。 lrec-coling [纸]
• Yong等。 （2023）提示大型语言模型生成代码混合文本：东南亚语言的情况。计算，EMNLP [纸]

语言标识和POS标签

• Burchell等。 （2024）代码开关的语言标识比您想象的要难。 EACL [纸]
• Igor Sterner和Simone Teufel（2023） Tongueswitcher：德语 - 英语密码转换的细粒度识别。计算，EMNLP [纸]
• Ostapenko等。 （2022）扬声器信息可以指导模型更好地归纳偏见：关于预测代码转换的案例研究。 ACL [纸]
• Nguyen等。 （2021）印度英语社交媒体文本中的自动语言标识。开放人文数据杂志[论文]
• Tarunesh等。 （2021）从机器翻译到代码转换：生成高质量的代码切换文本。 ACL [纸]
• Gustavo Aguilar和Thamar Solorio。 （2020）从英语到代码转换：具有强大形态线索的转移学习。 ACL [纸] [代码]
• Mager等。 （2019年） ，用于词内代码转换的子词级语言识别。 NAACL [纸]
• 张等。 （2018）一种快速，紧凑，准确的模型，用于识别CodeMixed文本的语言。 EMNLP [纸]
• 凯尔西·鲍尔（Kelsey Ball）和丹·加勒特（Dan Garrette）。 （2018）词性转换的言论部分标记，不明确的语言标识。 EMNLP [纸]
• Zeynep Yirmibesoglu和Gulsen eryigit。 （2018）检测土耳其 - 英语对之间的代码转换。 Workshop W-NUT，EMNLP [纸]
• Mavem等。 （2018）对代码转换社交媒体文本的语言识别和分析。语言代码开关计算方法的第三个研讨会，ACL [纸]
• Victor Soto和Julia Hirschberg。 （2018）用于代码开关数据的言论和语言ID标记。语言代码开关计算方法的第三个研讨会，ACL [纸]
• Bullock等。 （2018）预测代码转换中矩阵语言的存在。语言代码开关计算方法的第三个研讨会，ACL [纸]
• Soto等。 （2018）同源词，pos标签和夹带代码转换中的作用。言语[纸]
• Barman等。 （2016）代码混合社交媒体内容的言论部分标记：管道，堆叠和联合建模。第二届有关代码转换计算方法的研讨会，ACL [纸]
• Vyas等。 （2014年）英语印地语代码混合社交媒体内容的POS标签。 EMNLP [纸]
• Heba Elfardy和Mona Diab。 （2012）语言代码切换的令牌级别识别。粘林[纸]
• Thamar Solorio和Yang Liu。 （2008）学习预测代码转换点。 EMNLP [纸]
• dau-cheng Lyu和Ren-Yuan Lyu。 （2008）使用多个提示在代码转换话语上进行语言识别。言语[纸]

语料库

• Kuwanto等。 （2024）语言学理论符合LLM：通过等效性的大型语言模型的代码开关文本生成。 Arxiv [Paper] [Code] [DataSet]
• Ruochen Zhang和Carsten Eickhoff（2024） Crocosum：用于交叉代码开关摘要的基准数据集。 LREC [PAPER] [DATASET]
• 怀特豪斯等。 （2022） ENTITYCS：通过以实体为中心的代码切换改善零击的跨语性转移。 EMNLP [Paper] [代码]
• Lovenia等。 （2022）上升：一种自发的中文 - 英语数据集，用于多转交谈中的代码转换。 LREC [PAPER] [DATASET]
• Nguyen等。 （2020年）坎贝拉越南 - 英语的自然语音语料库。 LREC [纸]
• Umapathy等。 （2020）调查宝莱坞电影中代码切换对话的自然语言推断的建模技术。多语言社区中有关代码转换语音技术的第一个研讨会，Interspeech 2020 [DataSet]
• Xiang等。 （2020年）新汉语字母顺序的单词：由Web驱动的代码混合词汇资源。 AACL-IJCNLP [TBC]
• Chakravarthi等。 （2020） Copus创建用于混合泰米尔语英语文本中的情感分析。用于资源不足的语言的口语技术）和CCURL（资源不足的语言研讨会的协作和计算，LREC [Paper]
• Khanuja等。 （2020）一个新的数据集，用于从代码混合对话中推断自然语言推断。语言代码转换的计算方法的第四次研讨会，LREC [纸]
• Barik等。 （2019）印尼 - 英语代码混合的Twitter数据的归一化。 W-NUT，EMNLP [PAPER] [DATASET]
• 辛格等。 （2018）印地语代码混合POS标签的Twitter语料库。社交媒体自然语言处理的第六次国际研讨会，ACL [论文]
• Li等。 （2012）普通话 - 英语密码开关语料库。 LREC [纸]
• Lyu等。 （2010） Seame：东南亚的普通话 - 英语码转换语料库。言语[纸]
• Lyu等。 （2010）对普通话 - 英语码转换语音语料库的分析：Seame 。年龄[纸]

语言建模和语音识别

• Yu等。 （2023）用普通话 - 英语ASR进行代码开关的文本生成和注入。 ICASSP [纸]
• Tolúlopé等。 （2023）多语言自我监督的语音表示形式改善了使用代码开关的低资源非洲语言的语音识别。关于语言代码开关计算方法的第六次研讨会。 [纸]
• Kumar等。 （2020）基于机器学习的代码切换数据的语言建模。国际电子与可持续通信系统会议（ICESC）[纸]
• Madhumani等。 （2020）学习不歧视：提高单语言和代码开关语音识别的任务不可能学习。 arxiv [纸]
• Shah等。 （2020）学会识别不忘记单语音识别的代码开关语音。 arxiv [纸]
• Winata等。 （2020）用于代码转换语音识别的元转移学习。 ACL [纸] [代码]
• Chandu等。 （2020）样式变化是代码转换的有利位置。 arxiv [纸]
• Ganji Sreeram和Rohit Sinha（2020）探索端到端的端到端框架，用于讲话式语音识别任务：挑战和增强。 IEEE访问[纸]
• Winata等。 （2019）使用基于神经的综合数据来自并行句子的代码开关模型。 conll [纸]
• Hila Gonen和Yoav Goldberg（2019）用于代码开关的语言建模：评估，单语数据的集成以及歧视性培训。 EMNLP [纸]
• Lee等。 （2019）语言动机的并行数据增强，用于代码转换语言建模。言语[纸]
• Victor Soto和Julia Hirschberg（2019）使用Cognate功能改善了代码开关的语言建模性能。言语[纸]
• Chang等。 （2019）生成对抗网络的代码转换句子及其在数据增强中的应用。言语[纸]
• Zeng等。 （2019年）关于端到端的解决方案，用于通讯 - 英语码转换语音识别。言语[纸]
• Taneja等。 （2019）利用单语音语音语料库来识别代码混合语音识别。言语[纸]
• Shan等。 （2019年）调查端到端的语音识别 - 英语密码开关。 IEEE国际声学，语音和信号处理（ICASSP）[纸]
• Haizhou Li的Grandee Lee。 （2019）代码开关语言建模的单词和类公共空间嵌入。 IEEE国际声学，语音和信号处理（ICASSP）[纸]
• Hamed等。 （2019）用双语单词嵌入的代码转换语言建模：埃及阿拉伯语英语的案例研究。国际语音和计算机会议[纸]
• Winata等。 （2018）学习代码开关：使用语言建模的复制机制进行数据扩展。 arxiv [纸]
• Winata等。 （2018）朝向端到端自动代码转换语音识别。 arxiv [纸]
• Nakayama等。 （2018）用于半监督日本英语代码转换ASR和TTS的语音链。 IEEE口语技术研讨会（SLT）[纸]
• Jesse Emond，Bhuwana Ramabhadran，Brian Roark，Pedro Moreno和Min MA。 （2018）基于音译的方法来改善代码转换语音识别表现，IEEE口语技术研讨会（SLT）[纸]
• Ganji Sreeram和Rohit Sinha。 （2018）利用语音部分来改进代码切换数据的文本建模。 2018年第二十四届全国传播会议（NCC）[纸]
• Garg等。 （2018）使用双RNN和相同源预处理的代码切换语言模型。 EMNLP [纸]
• Ewald van der Westhuizen和Thomas R. Niesler。 （2018年）使用单词嵌入来合成大型群岛，用于四种南非语言对的代码切换的ASR 。计算机语言和语言[纸]
• Biswal等。 （2018）用于资源不足的英语 - iSizulu代码转换语音的ASR的多语言神经网络模型。言语[纸]
• Winata等。 （2018）使用语法意识多任务学习的代码转换语言建模。语言代码开关计算方法的第三个研讨会，ACL [Paper] [代码]
• Chandu等。 （2018）语言知情的代码切换文本建模。语言代码开关计算方法的第三个研讨会，ACL [纸]
• Pratapa等。 （2018）用于混合代码的语言建模：基于语言理论的合成数据的作用。 ACL [纸]
• Sivasankaran等。 （2018）电话合并以进行代码转换语音识别。语言代码开关计算方法的第三个研讨会，ACL [纸]
• Garg等。 （2018）代码转换语音识别的双语言模型。言语[纸]
• Baheti等。 （2017）用于代码开关的课程设计：具有深层神经网络的语言识别和语言建模的实验。图标[纸]
• 阿德尔等。 （2015）用于传输的语言模型的句法和语义特征。 IEEE关于音频，语音和语言处理的交易[论文]
• li和Pascale Fung。 （2014）具有功能头约束的代码开关语言建模。 ICASSP [纸]
• li和Pascale Fung。 （2014）具有功能头部约束的语言建模，用于代码切换语音识别。 EMNLP [纸]
• 阿德尔等。 （2013）复发性神经网络和用于代码开关语言建模的语言模型的组合。 ACL [纸]
• 阿德尔等。 （2013）代码切换对话语音的反复神经网络语言建模。 ICASSP [纸]
• Vu等。 （2012年）是普通话 - 英语 - 代码 - 开关对话演讲的第一个语音识别系统。 ICASSP [纸]
• li和Pascale Fung。 （2012）具有反转限制的代码开关模型，用于混合语言语音识别。粘林[纸]
• Li等。 （2011）混合语言语言的不对称声学建模。 ICASSP [纸]

话语

• Sravani等。 （2021）政治话语分析：政治演讲中代码混合和代码转换的案例研究。第五次研讨会论文集，涉及代码切换的计算方法（计算），NAACL [PAPER]

一代

• Gupta等。 （2020）一种半监督的方法，可以使用预训练的编码器和转移学习生成代码混合文本。 EMNLP的发现[纸]
• Bryan Gregorius和Takeshi Okadome（2022）从单语文本中生成带有依赖性树的代码切换文本。澳大利亚语言技术协会第20届年度研讨会[论文] [代码]

语音综合

• Sai Krishna Rallabandi和Alan W Black（2019）使用关注先验的差异关注，使用单语Corpora生成代码混合语音。言语[纸]
• Sai Krishna Rallabandi和Alan W Black（2017）关于建造混合语言语音合成系统。言语[纸]
• Chandu等。 （2017）混合语言导航说明的语音综合。言语[纸]

公制

• 古兹曼等。 （2017）用于建模跨语料库的代码开关的指标。言语[纸]

表示学习

• Adilazuarda等。 （2023） Indorobusta：朝着鲁棒性，以抗各种代码混合的印尼当地语言。关于扩展多语言评估的第一个研讨会的会议记录，AACL [Paper] [代码]
• Prasad等。 （2021）中间任务培训对代码开关的自然语言理解的有效性。关于多语言表示学习的第一届研讨会论文集，EMNLP [论文]
• Winata等。 （2021）多语言模型是否有效？ 。第五次研讨会论文集，涉及代码切换的计算方法（计算），NAACL [PAPER]
• Rizal等。 （2020）根据合成数据评估印尼 - 英语代码混合文本的单词嵌入。第四届计算方法的研讨会论文集（计算），LREC [PAPER]
• Winata等。 （2019）用于代码开关的层次结构元件命名为实体识别。 EMNLP [Paper] [代码]
• Pratapa等。 （2018）代码混合语言处理的单词嵌入。 EMNLP [纸]

机器翻译

• Pengpun等。 （2024）关于在医疗领域创建英语 - 泰式代码开关的机器翻译。 EMNLP [纸]
• Gaser等。 （2023）探索埃及阿拉伯语英语文本的神经机器翻译的细分方法。 EACL [纸]
• Kuwanto等。 （2021）低资源的机器翻译培训课程适合低资源语言。 arxiv [纸]
• Vivek Srivastava和Mayank Singh（2020） Phinc：一种平行的Hinglish社交媒体代码混合语料，用于机器翻译。 W-NUT，EMNLP [PAPER] [DATASET]
• Thoudam Doren Singh和Thamar Solorio。 （2017年）旨在翻译社交媒体的混合代码评论。塞克林[纸]

语音翻译

• Alastruey等。 （2023）朝着现实世界的流式语音翻译进行代码开关的语音翻译。计算，EMNLP [纸]

自然语言理解

• 克里希南等。 （2021）用于零击的跨语性意图预测和插槽填充的多语言代码转换。 MRL，EMNLP [纸]

命名实体识别

• Priyadharshini等。 （2020）使用元嵌入的代码混合印度语料库的实体识别。第六届高级计算与通信系统国际会议（ICACC）[纸]
• Winata等。 （2019年）学习代码开关的多语言元嵌入式命名实体识别。 REPL4NLP，ACL [PAPER] [代码]
• Aguilar等。 （2018）在代码开关数据上指定实体识别：计算2018共享任务的概述。语言代码开关计算方法的第三个研讨会，ACL [纸]
• Wang等。 （2018）用代码开关命名实体识别，并嵌入了注意。语言代码开关计算方法的第三个研讨会，ACL [纸]
• Winata等。 （2018）双语字符表示，用于有效地解决代码切换中的量表词，命名为实体识别。语言代码开关计算方法的第三个研讨会，ACL [纸]
• Aguilar等。 （2017）社交媒体数据中指定实体识别的多任务方法。关于嘈杂用户生成的文本的第三次研讨会，EMNLP [Paper]

语言学

• 李·诺伊恩（Li Nyuyen）。 （2018）借用还是代码转换？越南英语演讲中社区规范的痕迹。澳大利亚语言学杂志38.4（2018）：443-466。 [纸]
• Fairchild，Sarah和Janet G. Van Hell。 （2017）西班牙遗产扬声器的确定源名称开关。双语：语言与认知20.1（2017）：150-161。 [纸]
• Bhatt，Rakesh M.和Agnes Bolonyai。 （2011）双语语言使用的代码开关和最佳语法。双语：语言与认知14.4（2011）：522-546。 [纸]
• Lipski（2005）代码转换还是借用？没有Sé，所以没有Puedo衰退，您知道。西班牙社会语言学的第二个研讨会[论文]
• Roberto R. Heredia和Jeanette Altarriba（2001）双语语言混合：为什么双语是双语代码开关？鼠尾草出版物[纸]
• Belazi等。 （1994）代码切换和X-bar理论：功能头约束。语言查询第25卷2春季[纸]
• Shana Poplack（1980）有时我会用西班牙语y termino en espanol开始句子：迈向代码转换的类型。语言学18（7-8）[纸]
• Pfaff，Carol W.（1979）对语言混合的限制：用西班牙语/英语的内部代码转换和借用。语言：291-318。 [纸]
• Shana Poplack（1978）句法结构和代码转换的社会功能。卷。 2。
• Gumperz，JJ和Hernandez，E。（1969）双语交流的认知方面。加利福尼亚大学国际研究所[论文]

情感计算

• Chakravarthi等。 （2021） dravidiancodemix：dravidian语言中的情感分析和攻击性语言标识数据集中的代码混合文本。 arxiv [Paper] [代码和数据集]
• Siddharth Yadav（2020年），无监督的情感分析，用于代码混合数据。 Arxiv [Paper] [代码]
• Wang等。 （2017）用联合因子图模型中的代码切换文本中的情感分析。 IEEE/ACM交易有关音频，语音和语言处理的交易[论文]
• Wang等。 （2016）一个双语注意网络，用于代码转换情绪预测。粘林[纸]
• Sophia Lee和Zhongqing Wang（2015）在代码切换文本中的情感：语料库的构建和分析。第八届Sighan汉语处理研讨会论文集[纸]
• Wang等。 （2015）通过双语和情感信息在代码转换文本中的情感检测。 ACL [纸]

对话和对话系统

• Gupta等。 （2018）揭示了代码混合挑战：语言驱动的问题产生和基于神经的问题的框架。 conll [纸]

话语

• Sravani等。 （2021）政治话语分析：政治演讲中代码混合和代码转换的案例研究。计算有关代码切换计算方法（计算）的第五次研讨会的会议记录，NAACL [PAPER]

句法

• Kodali等。 （2022） SYMCOM-混合英语印地语代码混合研究的代码的句法度量。 ACL的发现[纸]
• Özlemçetinoglu和çagrıçöltekin（2019）注释代码切换树库面临的挑战。语法[纸]

对抗性攻击

• Samson Tan和Shafiq Joty（2021）芝麻街上的代码混合：对抗性多斑的黎明。 NAACL [纸]

社会语言学

• Bolock等。 （2020）谁，何时和原因：3 ws的代码转换。国际代理和多代理系统实践应用会议[论文]
• Yoder等。 （2017）作为社会行为的代码转换：阿拉伯语Wikipedia谈话页面的案例。第二届自然语言处理和计算社会科学研讨会论文集，ACL [纸]
• Agrawal等。 （2017） Agarwal，Prabhat等。我可能会用英语说话，但是Gaali Toh Hindi Mein Hi Denge：对社交网络上的英语印地语传输和宣誓模式的研究。国际通信系统与网络会议（COMSNETS）[纸]

基准

• Khanuja等。 （2020） Gluecos：代码开关NLP的评估基准。 ACL [纸]
• Aguilar等。 （2020） Lince：语言代码开关评估的集中基准。 LREC [纸]

社交媒体

• 巴厘岛等。 （2014年） “我正在借用YA混合？”对Facebook中英语印地语代码混合的分析。关于代码切换的计算方法的第一个研讨会论文集[纸]

文本归一化

• Dwija Parikh和Thamar Solorio（2021）用于编码开关数据的标准化和反向转换。计算有关代码切换计算方法（计算）的第五次研讨会的会议记录，NAACL [PAPER]

工具包

合成数据生成工具包

• Jayanthi等。 （2021） codemixednlp：可扩展和打开的NLP工具包用于代码混合。计算有关代码切换计算方法（计算），NAACL [PAPER] [代码]的第五次研讨会的会议记录
• Rizvi等。 （2021） GCM：用于生成合成代码混合文本的工具包。 EACL（系统演示）[纸] [代码]

注释工具包

• Shah等。 （2019） COSSAT：代码开关语音注释工具。第一个关于汇总和分析NLP众包注释的研讨会论文集[纸]

摘要

• Mehnaz等。 （2021） Gupshup：总结开放域代码转换对话。 emnlp

问题回答

• Gupta等。 （2020）一个统一的多语言和代码混合视觉问题的框架。 AACL-IJCNLP [TBA]

对话和对话系统

• Bawa等。 （2020）多语言用户是否喜欢代码混合的聊天机器人？让我们轻推一下！ 。人类计算机相互作用的ACM [纸]
• Banerjee等。 （2018）一个用于构建代码混合目标对话系统的数据集。粘林[纸]

位置纸

• Nguyen等。 （2022）建立用于代码转换的教育技术：当前的实践，困难和未来的方向。语言[纸]

图书

• Caciullos和Travis（2018）社区的双语。剑桥大学出版社

这些

• Genta Indra Winata（2021）多语言转移学习语言和语音神经建模。 [论文]
• Gustavo Aguilar（2020）在社交媒体文本上标记神经序列。 [论文]
• 维克多·索托·马丁内斯（Victor Soto Martinez）（2020）识别和建模代码开关语言。 [论文]