code switching papers

代碼開關研究資源

這是有關代碼轉換研究的計算語言方法的教程，研討會，論文和資源的列表。該列表將隨著時間的推移更新。歡迎您發送更新列表並成為貢獻者之一的拉動請求！

？我計劃收集有關代碼轉換的論文和書籍，並在此處列出。如果您有一個，請隨時與我聯繫或創建拉動請求！

目錄

• 亮點
• ？講習班
• ？研究論文
  • 調查文件
  • 大型語言模型
  • 語言標識和POS標籤
  • 語料庫
  • 語言建模和語音識別
  • 話語
  • 一代
  • 語音綜合
  • 公制
  • 表示學習
  • 機器翻譯
  • 語音翻譯
  • 自然語言理解
  • 命名實體識別
  • 語言學
  • 情感計算
  • 對話和對話系統
  • 話語
  • 句法
  • 對抗性攻擊
  • 社會語言學
  • 基準
  • 社交媒體
  • 文本歸一化
  • 工具包
• 圖書
• 這些

亮點

• 我們將在NAACL 2025舉辦代碼轉換研討會！我們將很快更新網站！ [網站]
• 如果您是新手的代碼轉換或尋找新的研究方向，我們已經撰寫了一份有關代碼轉換的綜合調查文件： NLP中代碼切換研究的數十年進展：一項有關趨勢和挑戰的系統調查[論文]。隨時閱讀，如果您有任何建議，請告訴我們！感謝Alham Fikri Aji，Zheng-Xin Yong和Thamar Solorio使這成為可能嗎？
• 我們在EMNLP 2023組織了代碼轉換研討會！ [網站]
• 我們（我（我，瑪麗娜·朱科娃（Marina Zhukova）和蘇迪普塔·卡爾（Sudipta Kar））在阿布扎比（Abu Dhabi）的emnlp 2022舉辦了一次羽毛鳥會議。我們大約有30個人加入（面對面和在線）。謝謝你的到來！
• ？ Microsoft Research（Monojit Choudhury，Kalika Bali，Anirudh Srinivasan和Sandipan Dandapat）在EMNLP 2019上提供了一個關於代碼混合的全面教程，您可以檢查以下鏈接。

？講習班

這是代碼轉換研討會系列的列表：

• 關於代碼轉換計算方法的首個研討會，EMNLP 2014 [網站]
• 有關代碼轉換計算方法的第二個研討會，EMNLP 2016
• 關於語言代碼轉換計算方法的第三次研討會，ACL 2018 [網站]
• 關於語言代碼轉換計算方法的第四次研討會，LREC 2020 [網站]
• 多語言社區中有關代碼轉換的語音技術的第一個研討會，Interspeech 2020 [網站]
• 關於語言代碼開關計算方法的第五次研討會，NAACL 2021 [網站]
• 關於語言代碼轉換計算方法的第六次研討會，EMNLP 2023 [網站]
• 關於語言代碼轉換的計算方法的第七屆研討會，NAACL 2025 [網站（將很快開放）]

？研究論文

調查文件

• Winata等。 （2023）數十年來，NLP的代碼轉換研究進展：一項有關趨勢和挑戰的系統調查。 ACL發現[紙]
• Doğruöz等人（2021）對代碼轉換的調查：語言技術的語言和社會觀點。 ACL [紙]
• Jose等。 （2020）對當前數據集的調查，用於代碼轉換研究。國際高級計算與通信系統會議（ICACCS）[論文]
• Sitaram等。 （2019）對言語和語言處理的調查。 arxiv [紙]

大型語言模型

• Winata等。 （2024）礦工：作為語義檢索器的多語言語言模型。 EMNLP調查結果[Paper] [代碼]
• Yoo等。 （2024）代碼轉換紅色團隊：安全性和多語言理解的LLM評估。 arxiv [紙]
• Leon等人（2024）代碼混合探針顯示了預訓練的模型如何在代碼切換文本上推廣。 LREC [紙] [代碼]
• Huzaifah等。 （2024）用大語言模型評估代碼轉換翻譯。 lrec-coling [紙]
• Yong等。 （2023）提示大型語言模型生成代碼混合文本：東南亞語言的情況。計算，EMNLP [紙]

語言標識和POS標籤

• Burchell等。 （2024）代碼開關的語言標識比您想像的要難。 EACL [紙]
• Igor Sterner和Simone Teufel（2023） Tongueswitcher：德語 - 英語密碼轉換的細粒度識別。計算，EMNLP [紙]
• Ostapenko等。 （2022）揚聲器信息可以指導模型更好地歸納偏見：關於預測代碼轉換的案例研究。 ACL [紙]
• Nguyen等。 （2021）印度英語社交媒體文本中的自動語言標識。開放人文數據雜誌[論文]
• Tarunesh等。 （2021）從機器翻譯到代碼轉換：生成高質量的代碼切換文本。 ACL [紙]
• Gustavo Aguilar和Thamar Solorio。 （2020）從英語到代碼轉換：具有強大形態線索的轉移學習。 ACL [紙] [代碼]
• Mager等。 （2019年） ，用於詞內代碼轉換的子詞級語言識別。 NAACL [紙]
• 張等。 （2018）一種快速，緊湊，準確的模型，用於識別CodeMixed文本的語言。 EMNLP [紙]
• 凱爾西·鮑爾（Kelsey Ball）和丹·加勒特（Dan Garrette）。 （2018）詞性轉換的言論部分標記，不明確的語言標識。 EMNLP [紙]
• Zeynep Yirmibesoglu和Gulsen eryigit。 （2018）檢測土耳其 - 英語對之間的代碼轉換。 Workshop W-NUT，EMNLP [紙]
• Mavem等。 （2018）對代碼轉換社交媒體文本的語言識別和分析。語言代碼開關計算方法的第三個研討會，ACL [紙]
• Victor Soto和Julia Hirschberg。 （2018）用於代碼開關數據的言論和語言ID標記。語言代碼開關計算方法的第三個研討會，ACL [紙]
• Bullock等。 （2018）預測代碼轉換中矩陣語言的存在。語言代碼開關計算方法的第三個研討會，ACL [紙]
• Soto等。 （2018）同源詞，pos標籤和夾帶代碼轉換中的作用。言語[紙]
• Barman等。 （2016）代碼混合社交媒體內容的言論部分標記：管道，堆疊和聯合建模。第二屆有關代碼轉換計算方法的研討會，ACL [紙]
• Vyas等。 （2014年）英語印地語代碼混合社交媒體內容的POS標籤。 EMNLP [紙]
• Heba Elfardy和Mona Diab。 （2012）語言代碼切換的令牌級別識別。粘林[紙]
• Thamar Solorio和Yang Liu。 （2008）學習預測代碼轉換點。 EMNLP [紙]
• dau-cheng Lyu和Ren-Yuan Lyu。 （2008）使用多個提示在代碼轉換話語上進行語言識別。言語[紙]

語料庫

• Kuwanto等。 （2024）語言學理論符合LLM：通過等效性的大型語言模型的代碼開關文本生成。 Arxiv [Paper] [Code] [DataSet]
• Ruochen Zhang和Carsten Eickhoff（2024） Crocosum：用於交叉代碼開關摘要的基準數據集。 LREC [PAPER] [DATASET]
• 懷特豪斯等。 （2022） ENTITYCS：通過以實體為中心的代碼切換改善零擊的跨語性轉移。 EMNLP [Paper] [代碼]
• Lovenia等。 （2022）上升：一種自發的中文 - 英語數據集，用於多轉交談中的代碼轉換。 LREC [PAPER] [DATASET]
• Nguyen等。 （2020年）坎貝拉越南 - 英語的自然語音語料庫。 LREC [紙]
• Umapathy等。 （2020）調查寶萊塢電影中代碼切換對話的自然語言推斷的建模技術。多語言社區中有關代碼轉換語音技術的第一個研討會，Interspeech 2020 [DataSet]
• Xiang等。 （2020年）新漢語字母順序的單詞：由Web驅動的代碼混合詞彙資源。 AACL-IJCNLP [TBC]
• Chakravarthi等。 （2020） Copus創建用於混合泰米爾語英語文本中的情感分析。用於資源不足的語言的口語技術）和CCURL（資源不足的語言研討會的協作和計算，LREC [Paper]
• Khanuja等。 （2020）一個新的數據集，用於從代碼混合對話中推斷自然語言推斷。語言代碼轉換的計算方法的第四次研討會，LREC [紙]
• Barik等。 （2019）印尼 - 英語代碼混合的Twitter數據的歸一化。 W-NUT，EMNLP [PAPER] [DATASET]
• 辛格等。 （2018）印地語代碼混合POS標籤的Twitter語料庫。社交媒體自然語言處理的第六次國際研討會，ACL [論文]
• Li等。 （2012）普通話 - 英語密碼開關語料庫。 LREC [紙]
• Lyu等。 （2010） Seame：東南亞的普通話 - 英語碼轉換語料庫。言語[紙]
• Lyu等。 （2010）對普通話 - 英語碼轉換語音語料庫的分析：Seame 。年齡[紙]

語言建模和語音識別

• Yu等。 （2023）用普通話 - 英語ASR進行代碼開關的文本生成和注入。 ICASSP [紙]
• Tolúlopé等。 （2023）多語言自我監督的語音表示形式改善了使用代碼開關的低資源非洲語言的語音識別。關於語言代碼開關計算方法的第六次研討會。 [紙]
• Kumar等。 （2020）基於機器學習的代碼切換數據的語言建模。國際電子與可持續通信系統會議（ICESC）[紙]
• Madhumani等。 （2020）學習不歧視：提高單語言和代碼開關語音識別的任務不可能學習。 arxiv [紙]
• Shah等。 （2020）學會識別不忘記單語音識別的代碼開關語音。 arxiv [紙]
• Winata等。 （2020）用於代碼轉換語音識別的元轉移學習。 ACL [紙] [代碼]
• Chandu等。 （2020）樣式變化是代碼轉換的有利位置。 arxiv [紙]
• Ganji Sreeram和Rohit Sinha（2020）探索端到端的端到端框架，用於講話式語音識別任務：挑戰和增強。 IEEE訪問[紙]
• Winata等。 （2019）使用基於神經的綜合數據來自並行句子的代碼開關模型。 conll [紙]
• Hila Gonen和Yoav Goldberg（2019）用於代碼開關的語言建模：評估，單語數據的集成以及歧視性培訓。 EMNLP [紙]
• Lee等。 （2019）語言動機的並行數據增強，用於代碼轉換語言建模。言語[紙]
• Victor Soto和Julia Hirschberg（2019）使用Cognate功能改善了代碼開關的語言建模性能。言語[紙]
• Chang等。 （2019）生成對抗網絡的代碼轉換句子及其在數據增強中的應用。言語[紙]
• Zeng等。 （2019年）關於端到端的解決方案，用於通訊 - 英語碼轉換語音識別。言語[紙]
• Taneja等。 （2019）利用單語音語音語料庫來識別代碼混合語音識別。言語[紙]
• Shan等。 （2019年）調查端到端的語音識別 - 英語密碼開關。 IEEE國際聲學，語音和信號處理（ICASSP）[紙]
• Haizhou Li的Grandee Lee。 （2019）代碼開關語言建模的單詞和類公共空間嵌入。 IEEE國際聲學，語音和信號處理（ICASSP）[紙]
• Hamed等。 （2019）用雙語單詞嵌入的代碼轉換語言建模：埃及阿拉伯語英語的案例研究。國際語音和計算機會議[紙]
• Winata等。 （2018）學習代碼開關：使用語言建模的複制機制進行數據擴展。 arxiv [紙]
• Winata等。 （2018）朝向端到端自動代碼轉換語音識別。 arxiv [紙]
• Nakayama等。 （2018）用於半監督日本英語代碼轉換ASR和TTS的語音鏈。 IEEE口語技術研討會（SLT）[紙]
• Jesse Emond，Bhuwana Ramabhadran，Brian Roark，Pedro Moreno和Min MA。 （2018）基於音譯的方法來改善代碼轉換語音識別表現，IEEE口語技術研討會（SLT）[紙]
• Ganji Sreeram和Rohit Sinha。 （2018）利用語音部分來改進代碼切換數據的文本建模。 2018年第二十四屆全國傳播會議（NCC）[紙]
• Garg等。 （2018）使用雙RNN和相同源預處理的代碼切換語言模型。 EMNLP [紙]
• Ewald van der Westhuizen和Thomas R. Niesler。 （2018年）使用單詞嵌入來合成大型群島，用於四種南非語言對的代碼切換的ASR 。計算機語言和語言[紙]
• Biswal等。 （2018）用於資源不足的英語 - iSizulu代碼轉換語音的ASR的多語言神經網絡模型。言語[紙]
• Winata等。 （2018）使用語法意識多任務學習的代碼轉換語言建模。語言代碼開關計算方法的第三個研討會，ACL [Paper] [代碼]
• Chandu等。 （2018）語言知情的代碼切換文本建模。語言代碼開關計算方法的第三個研討會，ACL [紙]
• Pratapa等。 （2018）用於混合代碼的語言建模：基於語言理論的合成數據的作用。 ACL [紙]
• Sivasankaran等。 （2018）電話合併以進行代碼轉換語音識別。語言代碼開關計算方法的第三個研討會，ACL [紙]
• Garg等。 （2018）代碼轉換語音識別的雙語言模型。言語[紙]
• Baheti等。 （2017）用於代碼開關的課程設計：具有深層神經網絡的語言識別和語言建模的實驗。圖標[紙]
• 阿德爾等。 （2015）用於傳輸的語言模型的句法和語義特徵。 IEEE關於音頻，語音和語言處理的交易[論文]
• li和Pascale Fung。 （2014）具有功能頭約束的代碼開關語言建模。 ICASSP [紙]
• li和Pascale Fung。 （2014）具有功能頭部約束的語言建模，用於代碼切換語音識別。 EMNLP [紙]
• 阿德爾等。 （2013）復發性神經網絡和用於代碼開關語言建模的語言模型的組合。 ACL [紙]
• 阿德爾等。 （2013）代碼切換對話語音的反复神經網絡語言建模。 ICASSP [紙]
• Vu等。 （2012年）是普通話 - 英語 - 代碼 - 開關對話演講的第一個語音識別系統。 ICASSP [紙]
• li和Pascale Fung。 （2012）具有反轉限制的代碼開關模型，用於混合語言語音識別。粘林[紙]
• Li等。 （2011）混合語言語言的不對稱聲學建模。 ICASSP [紙]

話語

• Sravani等。 （2021）政治話語分析：政治演講中代碼混合和代碼轉換的案例研究。第五次研討會論文集，涉及代碼切換的計算方法（計算），NAACL [PAPER]

一代

• Gupta等。 （2020）一種半監督的方法，可以使用預訓練的編碼器和轉移學習生成代碼混合文本。 EMNLP的發現[紙]
• Bryan Gregorius和Takeshi Okadome（2022）從單語文本中生成帶有依賴性樹的代碼切換文本。澳大利亞語言技術協會第20屆年度研討會[論文] [代碼]

語音綜合

• Sai Krishna Rallabandi和Alan W Black（2019）使用關注先驗的差異關注使用單語庫來生成代碼混合語音。言語[紙]
• Sai Krishna Rallabandi和Alan W Black（2017）關於建造混合語言語音合成系統。言語[紙]
• Chandu等。 （2017）混合語言導航說明的語音綜合。言語[紙]

公制

• 古茲曼等。 （2017）用於建模跨語料庫的代碼開關的指標。言語[紙]

表示學習

• Adilazuarda等。 （2023） Indorobusta：朝著魯棒性，以抗各種代碼混合的印尼當地語言。關於擴展多語言評估的第一個研討會的會議記錄，AACL [Paper] [代碼]
• Prasad等。 （2021）中間任務培訓對代碼開關的自然語言理解的有效性。關於多語言表示學習的第一屆研討會論文集，EMNLP [論文]
• Winata等。 （2021）多語言模型是否有效？ 。第五次研討會論文集，涉及代碼切換的計算方法（計算），NAACL [PAPER]
• Rizal等。 （2020）根據合成數據評估印尼 - 英語代碼混合文本的單詞嵌入。第四屆計算方法的研討會論文集（計算），LREC [PAPER]
• Winata等。 （2019）用於代碼開關的層次結構元件命名為實體識別。 EMNLP [Paper] [代碼]
• Pratapa等。 （2018）代碼混合語言處理的單詞嵌入。 EMNLP [紙]

機器翻譯

• Pengpun等。 （2024）關於在醫療領域創建英語 - 泰式代碼開關的機器翻譯。 EMNLP [紙]
• Gaser等。 （2023）探索埃及阿拉伯語英語文本的神經機器翻譯的細分方法。 EACL [紙]
• Kuwanto等。 （2021）低資源的機器翻譯培訓課程適合低資源語言。 arxiv [紙]
• Vivek Srivastava和Mayank Singh（2020） Phinc：一種平行的Hinglish社交媒體代碼混合語料，用於機器翻譯。 W-NUT，EMNLP [PAPER] [DATASET]
• Thoudam Doren Singh和Thamar Solorio。 （2017年）旨在翻譯社交媒體的混合代碼評論。塞克林[紙]

語音翻譯

• Alastruey等。 （2023）朝著現實世界的流式語音翻譯進行代碼開關的語音翻譯。計算，EMNLP [紙]

自然語言理解

• 克里希南等。 （2021）用於零擊的跨語性意圖預測和插槽填充的多語言代碼轉換。 MRL，EMNLP [紙]

命名實體識別

• Priyadharshini等。 （2020）使用元嵌入的代碼混合印度語料庫的實體識別。第六屆高級計算與通信系統國際會議（ICACC）[紙]
• Winata等。 （2019年）學習代碼開關的多語言元嵌入式命名實體識別。 REPL4NLP，ACL [PAPER] [代碼]
• Aguilar等。 （2018）在代碼開關數據上指定實體識別：計算2018共享任務的概述。語言代碼開關計算方法的第三個研討會，ACL [紙]
• Wang等。 （2018）用代碼開關命名實體識別，並嵌入了注意。語言代碼開關計算方法的第三個研討會，ACL [紙]
• Winata等。 （2018）雙語字符表示，用於有效地解決代碼切換中的量表詞，命名為實體識別。語言代碼開關計算方法的第三個研討會，ACL [紙]
• Aguilar等。 （2017）社交媒體數據中指定實體識別的多任務方法。關於嘈雜用戶生成的文本的第三次研討會，EMNLP [Paper]

語言學

• 李·諾伊恩（Li Nyuyen）。 （2018）借用還是代碼轉換？越南英語演講中社區規範的痕跡。澳大利亞語言學雜誌38.4（2018）：443-466。 [紙]
• Fairchild，Sarah和Janet G. Van Hell。 （2017）西班牙遺產揚聲器的確定源名稱開關。雙語：語言與認知20.1（2017）：150-161。 [紙]
• Bhatt，Rakesh M.和Agnes Bolonyai。 （2011）雙語語言使用的代碼開關和最佳語法。雙語：語言與認知14.4（2011）：522-546。 [紙]
• Lipski（2005）代碼轉換還是藉用？沒有Sé，所以沒有Puedo衰退，您知道。西班牙社會語言學的第二個研討會[論文]
• Roberto R. Heredia和Jeanette Altarriba（2001）雙語語言混合：為什麼雙語是雙語代碼開關？鼠尾草出版物[紙]
• Belazi等。 （1994）代碼切換和X-bar理論：功能頭約束。語言查詢第25卷2春季[紙]
• Shana Poplack（1980）有時我會用西班牙語y termino en espanol開始句子：邁向代碼轉換的類型。語言學18（7-8）[紙]
• Pfaff，Carol W.（1979）對語言混合的限制：用西班牙語/英語的內部代碼轉換和借用。語言：291-318。 [紙]
• Shana Poplack（1978）句法結構和代碼轉換的社會功能。卷。 2。
• Gumperz，JJ和Hernandez，E。 （1969）雙語交流的認知方面。加利福尼亞大學國際研究所[論文]

情感計算

• Chakravarthi等。 （2021） dravidiancodemix：dravidian語言中的情感分析和攻擊性語言標識數據集中的代碼混合文本。 arxiv [Paper] [代碼和數據集]
• Siddharth Yadav（2020年），無監督的情感分析，用於代碼混合數據。 Arxiv [Paper] [代碼]
• Wang等。 （2017）用聯合因子圖模型中的代碼切換文本中的情感分析。 IEEE/ACM交易有關音頻，語音和語言處理的交易[論文]
• Wang等。 （2016）一個雙語注意網絡，用於代碼轉換情緒預測。粘林[紙]
• Sophia Lee和Zhongqing Wang（2015）在代碼切換文本中的情感：語料庫的構建和分析。第八屆Sighan漢語處理研討會論文集[紙]
• Wang等。 （2015）通過雙語和情感信息在代碼轉換文本中的情感檢測。 ACL [紙]

對話和對話系統

• Gupta等。 （2018）揭示了代碼混合挑戰：語言驅動的問題產生和基於神經的問題的框架。 conll [紙]

話語

• Sravani等。 （2021）政治話語分析：政治演講中代碼混合和代碼轉換的案例研究。計算有關代碼切換計算方法（計算）的第五次研討會的會議記錄，NAACL [PAPER]

句法

• Kodali等。 （2022） SYMCOM-混合英語印地語代碼混合研究的代碼的句法度量。 ACL的發現[紙]
• Özlemçetinoglu和çagrıçöltekin（2019）註釋代碼切換樹庫面臨的挑戰。語法[紙]

對抗性攻擊

• Samson Tan和Shafiq Joty（2021）芝麻街上的代碼混合：對抗性多斑的黎明。 NAACL [紙]

社會語言學

• Bolock等。 （2020）誰，何時和原因：3 ws的代碼轉換。國際代理和多代理系統實踐應用會議[論文]
• Yoder等。 （2017）作為社會行為的代碼轉換：阿拉伯語Wikipedia談話頁面的案例。第二屆自然語言處理和計算社會科學研討會論文集，ACL [紙]
• Agrawal等。 （2017） Agarwal，Prabhat等。我可能會用英語說話，但是Gaali Toh Hindi Mein Hi Denge：對社交網絡上的英語印地語傳輸和宣誓模式的研究。國際通信系統與網絡會議（COMSNETS）[紙]

基準

• Khanuja等。 （2020） Gluecos：代碼開關NLP的評估基準。 ACL [紙]
• Aguilar等。 （2020） Lince：語言代碼開關評估的集中基準。 LREC [紙]

社交媒體

• 巴厘島等。 （2014年） “我正在藉用YA混合？”對Facebook中英語印地語代碼混合的分析。關於代碼切換的計算方法的第一個研討會論文集[紙]

文本歸一化

• Dwija Parikh和Thamar Solorio（2021）用於編碼開關數據的標準化和反向轉換。計算有關代碼切換計算方法（計算）的第五次研討會的會議記錄，NAACL [PAPER]

工具包

合成數據生成工具包

• Jayanthi等。 （2021） codemixednlp：可擴展和打開的NLP工具包用於代碼混合。計算有關代碼切換計算方法（計算），NAACL [PAPER] [代碼]的第五次研討會的會議記錄
• Rizvi等。 （2021） GCM：用於生成合成代碼混合文本的工具包。 EACL（系統演示）[紙] [代碼]

註釋工具包

• Shah等。 （2019） COSSAT：代碼開關語音註釋工具。第一個關於匯總和分析NLP眾包註釋的研討會論文集[紙]

摘要

• Mehnaz等。 （2021） Gupshup：總結開放域代碼轉換對話。 emnlp

問題回答

• Gupta等。 （2020）一個統一的多語言和代碼混合視覺問題的框架。 AACL-IJCNLP [TBA]

對話和對話系統

• Bawa等。 （2020）多語言用戶是否喜歡代碼混合的聊天機器人？讓我們輕推一下！ 。人類計算機相互作用的ACM [紙]
• Banerjee等。 （2018）一個用於構建代碼混合目標對話系統的數據集。粘林[紙]

位置紙

• Nguyen等。 （2022）建立用於代碼轉換的教育技術：當前的實踐，困難和未來的方向。語言[紙]

圖書

• Caciullos和Travis（2018）社區的雙語。劍橋大學出版社

這些

• Genta Indra Winata（2021）多語言轉移學習語言和語音神經建模。 [論文]
• Gustavo Aguilar（2020）在社交媒體文本上標記神經序列。 [論文]
• 維克多·索托·馬丁內斯（Victor Soto Martinez）（2020）識別和建模代碼開關語言。 [論文]