nlp library

NLP-library

นี่คือรายการเอกสารที่ฉันได้พบในความสามารถและมูลค่ารวมถึงในห้องสมุด NLP Practitioner เอกสารบางฉบับอาจปรากฏในหลายหมวดย่อยหากไม่พอดีกับกล่องใดกล่องหนึ่ง

PRS ยินดีต้อนรับอย่างแน่นอน! กำกับการโต้ตอบ/คำถามใด ๆ ไปที่ @mihail_eric

การกำหนดพิเศษบางอย่างสำหรับเอกสารบางฉบับ:

ตำนาน: นี่คือตัวเปลี่ยนเกมในวรรณคดี NLP และการอ่านที่คุ้มค่า

- ทรัพยากร: บทความนี้แนะนำชุดข้อมูล/ทรัพยากรบางส่วนและด้วยเหตุนี้อาจเป็นประโยชน์สำหรับการใช้งาน

การติดแท็กส่วนหนึ่ง

• (2000) Tagger ส่วนหนึ่งของสถิติ
  • TLDR : กระดาษน้ำเชื้อแสดงให้เห็นถึง POS Tagger ที่ใช้ HMM ที่ทรงพลัง เคล็ดลับและเทคนิคมากมายสำหรับการสร้างระบบคลาสสิกดังกล่าวรวมอยู่ด้วย
• (2003) การติดแท็กส่วนหนึ่งที่อุดมไปด้วยฟีเจอร์ด้วยเครือข่ายการพึ่งพาวงจร
  • TLDR : เสนอคุณสมบัติทางภาษาที่ทรงพลังจำนวนมากสำหรับการสร้างระบบ SOTA POS-TAGGING (จากนั้น)
• (2015) รุ่น LSTM-CRF แบบสองทิศทางสำหรับการติดแท็กลำดับ
  • TLDR : เสนอแบบจำลองการติดแท็กลำดับองค์ประกอบที่รวมเครือข่ายประสาทกับฟิลด์สุ่มแบบมีเงื่อนไขการบรรลุ SOTA ในการติดแท็ก, ner และ chunking

การแยกวิเคราะห์

• (2003) การแยกวิเคราะห์ที่ไม่ถูกต้อง
  • TLDR : กระดาษที่สวยงามแสดงให้เห็นว่าบริบทที่ไม่น่าจะเป็นไปได้ที่ไม่สามารถใช้งานได้จะเกินประสิทธิภาพการทำงานของ PCFGs คำศัพท์
• (2006) การเรียนรู้คำอธิบายประกอบต้นไม้ที่ถูกต้องขนาดกะทัดรัดและตีความได้
  • TLDR : ผลลัพธ์ที่น่าสนใจแสดงให้เห็นว่าการใช้ความคาดหวัง-การกำหนดค่าสูงสุดคุณสามารถเรียนรู้สัญลักษณ์ nonterminal ที่ถูกต้องและมีขนาดกะทัดรัดโดยอัตโนมัติสำหรับคำอธิบายประกอบต้นไม้เพื่อให้ได้ SOTA
• (2014) ตัวแยกวิเคราะห์การพึ่งพาที่รวดเร็วและแม่นยำโดยใช้เครือข่ายประสาท
  • TLDR : งานที่สำคัญมากนำไปสู่คลื่นลูกใหม่ของสถาปัตยกรรมการแยกวิเคราะห์ที่ใช้เครือข่ายประสาท, บรรลุประสิทธิภาพ SOTA รวมถึงความเร็วในการแยกวิเคราะห์
• (2014) ไวยากรณ์เป็นภาษาต่างประเทศ
  • TLDR : หนึ่งในการสาธิตที่เร็วที่สุดเกี่ยวกับประสิทธิภาพของสถาปัตยกรรม SEQ2SEQ ด้วยความสนใจในการแยกวิเคราะห์เขตเลือกตั้งบรรลุ SOTA ในคลังข้อมูล WSJ นอกจากนี้ยังแสดงให้เห็นถึงความสำคัญของการเพิ่มข้อมูลสำหรับงานการแยกวิเคราะห์
• (2015) การแยกวิเคราะห์การพึ่งพาอาศัยการเปลี่ยนแปลงด้วยหน่วยความจำระยะสั้นระยะยาวสแต็ก
  • TLDR : นำเสนอสแต็ก LSTMS ซึ่งเป็นตัวแยกวิเคราะห์ประสาทที่ประสบความสำเร็จในการดำเนินการ push-pop แบบดั้งเดิมของตัวแยกวิเคราะห์การพึ่งพาการเปลี่ยนผ่านเพื่อบรรลุ SOTA ในกระบวนการ

การจดจำเอนทิตีชื่อ

• (2005) การรวมข้อมูลที่ไม่ใช่ท้องถิ่นเข้ากับระบบการสกัดข้อมูลโดยการสุ่มตัวอย่าง Gibbs
  • TLDR : การใช้วิธีการ Monte Carlo เย็นรวมกับแบบจำลองฟิลด์แบบสุ่มแบบมีเงื่อนไขงานนี้ได้รับการลดข้อผิดพลาดอย่างมากในมาตรฐานการแยกข้อมูลบางอย่าง
• (2015) รุ่น LSTM-CRF แบบสองทิศทางสำหรับการติดแท็กลำดับ
  • TLDR : เสนอแบบจำลองการติดแท็กลำดับองค์ประกอบที่รวมเครือข่ายประสาทกับฟิลด์สุ่มแบบมีเงื่อนไขการบรรลุ SOTA ในการติดแท็ก, ner และ chunking

ความละเอียด coreference

• (2010) ตะแกรงหลายผ่านสำหรับความละเอียด coreference
  • TLDR : เสนอวิธีการที่อิงกับตะแกรงเพื่อการแก้ไข coreference ที่เป็นเวลาหลายปี (จนกระทั่งวิธีการเรียนรู้ลึก) คือ SOTA
• (2015) ความละเอียด coreference เอนทิตีเป็นศูนย์กลางด้วยการสแต็คแบบจำลอง
  • TLDR : งานนี้นำเสนอวิธีการที่ดีในการสร้างโซ่คอร์เฟียร์ซ้ำ ๆ โดยใช้คุณสมบัติระดับเอนทิตี
• (2016) การปรับปรุงการแก้ไข coreference โดยการเรียนรู้การแจกจ่ายระดับเอนทิตีระดับเอนทิตี
  • TLDR : หนึ่งในวิธีที่มีประสิทธิภาพที่สุดในการใช้เครือข่ายประสาทสำหรับการแก้ไข coreference ซึ่งมีประสิทธิภาพสูงกว่า SOTA อย่างมีนัยสำคัญ

การวิเคราะห์ความเชื่อมั่น

• (2012) baselines และ bigrams: ง่ายความเชื่อมั่นที่ดีและการจำแนกหัวข้อ

  • TLDR : กระดาษที่สง่างามมากแสดงให้เห็นว่าแบบจำลองไร้เดียงสาที่ไร้เดียงสาที่มีคุณสมบัติ BigRam สามารถทำได้ดีกว่าวิธีการที่ซับซ้อนมากขึ้นเช่นเครื่องสนับสนุนเวกเตอร์ในงานเช่นการวิเคราะห์ความเชื่อมั่น

• (2013) แบบจำลองลึกแบบเรียกซ้ำสำหรับการประพันธ์ความหมายมากกว่า Treebank ความเชื่อมั่นหรือไม่?

  • TLDR : แนะนำ Stanford Sentiment Treebank ซึ่งเป็นทรัพยากรที่ยอดเยี่ยมสำหรับคำอธิบายประกอบความเชื่อมั่นอย่างละเอียดเกี่ยวกับประโยค ยังแนะนำเครือข่ายเทนเซอร์ประสาทแบบเรียกซ้ำซึ่งเป็นสถาปัตยกรรมการเรียนรู้เชิงลึกที่มีแรงจูงใจทางภาษาศาสตร์อย่างประณีต

• (2014) การแจกจ่ายการเป็นตัวแทนของประโยคและเอกสาร

  • TLDR : แนะนำ ย่อหน้า ที่ไม่ได้รับการดูแลที่เรียนรู้การเป็นตัวแทนของวรรคโดยใช้ความคิดที่ได้รับแรงบันดาลใจจาก Word2VEC ประสบความสำเร็จจากนั้น Sota ในการวิเคราะห์ความเชื่อมั่นใน Stanford Sentiment Treebank และชุดข้อมูล IMDB

• (2019) การเพิ่มข้อมูลที่ไม่ได้รับการดูแลสำหรับการฝึกอบรมที่สอดคล้องกัน

  • TLDR : แนะนำ การเพิ่มข้อมูลที่ไม่ได้รับการดูแล ซึ่งเป็นวิธีการฝึกอบรมที่มีประสิทธิภาพสำหรับตัวอย่างการฝึกอบรมจำนวนน้อย กระดาษใช้ชุดข้อมูลการวิเคราะห์ความเชื่อมั่นของ UDA กับ IMDB เพื่อให้บรรลุ SOTA ด้วยตัวอย่างการฝึกอบรมเพียง 30 ตัวอย่าง

ตรรกะ/การอนุมานตามธรรมชาติ

• (2007) ตรรกะตามธรรมชาติสำหรับการอนุมานเชิงข้อความ
  • TLDR : เสนอวิธีการตามตรรกะที่เข้มงวดกับปัญหาการอนุมานข้อความที่เรียกว่าตรรกะธรรมชาติ การแปลงที่มีแรงจูงใจทางคณิตศาสตร์เจ๋งมากใช้เพื่ออนุมานความสัมพันธ์ระหว่างวลี
• (2008) แบบจำลองตรรกะธรรมชาติขยาย
  • TLDR : ขยายงานก่อนหน้านี้เกี่ยวกับตรรกะตามธรรมชาติสำหรับการอนุมานเพิ่มปรากฏการณ์เช่นการยกเว้นความหมายและความหมายเพื่อเพิ่มกระบวนการแปลงสภาพแวดล้อม
• (2014) เครือข่ายประสาทแบบเรียกซ้ำสามารถเรียนรู้ความหมายเชิงตรรกะ
  • TLDR : แสดงให้เห็นว่าสถาปัตยกรรมการเรียนรู้ลึกเช่นเครือข่ายเทนเซอร์ประสาทสามารถนำไปใช้กับการอนุมานภาษาธรรมชาติได้อย่างมีประสิทธิภาพ
• (2015) คลังข้อมูลที่มีคำอธิบายประกอบขนาดใหญ่สำหรับการเรียนรู้การอนุมานภาษาธรรมชาติ?
  • TLDR : แนะนำคลังข้อมูลการอนุมานภาษาธรรมชาติของสแตนฟอร์ดซึ่งเป็นทรัพยากร NLI ที่ยอดเยี่ยมซึ่งมีขนาดใหญ่กว่าสองคำสั่งขนาดเหนือชุดข้อมูลก่อนหน้า

การแปลเครื่องจักร

• (1993) คณิตศาสตร์ของการแปลเครื่องสถิติ
  • TLDR : แนะนำรูปแบบการแปลเครื่องไอบีเอ็ม, โมเดลน้ำเชื้อหลายรุ่นในสถิติ MT
• (2002) Bleu: วิธีการประเมินการแปลของเครื่องโดยอัตโนมัติหรือไม่?
  • TLDR : เสนอ Bleu เทคนิคการประเมินผล defacto ที่ใช้สำหรับการแปลด้วยเครื่อง (แม้กระทั่งวันนี้!)
• (2003) การแปลตามวลีทางสถิติ
  • TLDR : แนะนำรูปแบบการแปลตามวลีสำหรับ MT ทำการวิเคราะห์ที่ดีซึ่งแสดงให้เห็นว่าทำไมโมเดลที่อิงวลีจึงมีประสิทธิภาพสูงกว่าคำที่ใช้คำ
• (2014) ลำดับการเรียนรู้ลำดับด้วยเครือข่ายประสาท
  • TLDR : แนะนำสถาปัตยกรรมเครือข่ายประสาทตามลำดับ ในขณะที่ใช้กับ MT ในบทความนี้ แต่ก็กลายเป็นหนึ่งในสถาปัตยกรรมที่สำคัญของการประมวลผลภาษาธรรมชาติที่ทันสมัย
• (2015) การแปลเครื่องประสาทโดยการเรียนรู้ร่วมกันเพื่อจัดตำแหน่งและแปล
  • TLDR : ขยายสถาปัตยกรรมลำดับต่อลำดับก่อนหน้านี้สำหรับ MT โดยใช้กลไกความสนใจซึ่งเป็นเครื่องมือที่ทรงพลังสำหรับการอนุญาตให้คำเป้าหมายค้นหาสัญญาณสำคัญจากประโยคต้นฉบับเบา ๆ
• (2015) แนวทางที่มีประสิทธิภาพในการแปลเครื่องประสาทตามความสนใจ
  • TLDR : แนะนำกลไกความสนใจใหม่สองประการสำหรับ MT โดยใช้พวกเขาเพื่อให้ได้ SOTA ผ่านระบบ MT ของระบบประสาทที่มีอยู่
• (2016) การแปลเครื่องประสาทของคำหายากด้วยหน่วย subword
  • TLDR : แนะนำการเข้ารหัสคู่ไบต์ซึ่งเป็นเทคนิคที่มีประสิทธิภาพในการอนุญาตให้ระบบ Neural MT จัดการการแปลแบบเปิดโล่ง (เพิ่มเติม)
• (2016) ชี้คำที่ไม่รู้จัก
  • TLDR : เสนอกลไกการคัดลอกเพื่อให้ระบบ MT สามารถคัดลอกคำที่มีประสิทธิภาพมากขึ้นจากลำดับบริบทต้นฉบับ
• (2016) ระบบการแปลเครื่องประสาทของ Google: การลดช่องว่างระหว่างการแปลมนุษย์และเครื่องจักร
  • TLDR : การศึกษากรณีที่ยอดเยี่ยมแสดงให้เห็นว่าระบบการแปลความจุเครื่องจักรการผลิต (ในกรณีนี้ของ Google) มีลักษณะอย่างไร

การแยกวิเคราะห์ความหมาย

• (2013) การแยกความหมายบน Freebase จากคู่ตอบคำถาม?
  • TLDR : เสนอเทคนิคที่สง่างามสำหรับการแยกวิเคราะห์ความหมายที่เรียนรู้โดยตรงจากคู่ตอบคำถามโดยไม่จำเป็นต้องใช้รูปแบบเชิงตรรกะที่มีคำอธิบายประกอบทำให้ระบบสามารถขยายได้เป็น Freebase
• (2014) การแยกความหมายผ่านการถอดความ
  • TLDR : พัฒนารูปแบบการถอดความที่ไม่ซ้ำกันสำหรับการเรียนรู้รูปแบบตรรกะของผู้สมัครที่เหมาะสมจากคู่ตอบคำถามการปรับปรุง SOTA ในชุดข้อมูล Q/A ที่มีอยู่
• (2015) การสร้างตัวแยกวิเคราะห์ความหมายค้างคืน?
  • TLDR : กระดาษเรียบร้อยแสดงให้เห็นว่าตัวแยกวิเคราะห์ความหมายสามารถสร้างขึ้นได้ตั้งแต่เริ่มต้นโดยไม่เริ่มต้นโดยไม่มีตัวอย่างการฝึกอบรม!
• (2015) นำการเรียนรู้ของเครื่องและความหมายการคำนวณมารวมกัน
  • TLDR : ภาพรวมที่ดีของกรอบความหมายเชิงคำนวณที่ใช้การเรียนรู้ของเครื่องเพื่อเรียนรู้รูปแบบเชิงตรรกะสำหรับการแยกวิเคราะห์ความหมายได้อย่างมีประสิทธิภาพ

การตอบคำถาม/การอ่านความเข้าใจ

• (2016) การตรวจสอบอย่างละเอียดของงาน CNN/Daily Mail Reading Seckension

  • TLDR : กระดาษโทรปลุกที่ยอดเยี่ยมแสดงให้เห็นว่าประสิทธิภาพของ SOTA สามารถทำได้ในชุดข้อมูลความเข้าใจในการอ่านบางอย่างโดยใช้ระบบง่าย ๆ พร้อมคุณสมบัติที่เลือกอย่างระมัดระวัง อย่าลืมวิธีการเรียนรู้ที่ไม่ลึก!

• (2017) ทีม: 100,000+ คำถามสำหรับความเข้าใจของเครื่องข้อความ?

  • TLDR : แนะนำชุดข้อมูลทีมซึ่งเป็นคลังข้อมูลการตอบคำถามที่ได้กลายเป็นหนึ่งในเกณฑ์มาตรฐาน defacto ที่ใช้ในปัจจุบัน

• (2019) ดูก่อนที่คุณจะกระโดด: คำถามการสนทนาตอบคำถามกราฟความรู้โดยใช้การขยายบริบทที่รอบคอบ

  • TLDR : แนะนำวิธีการที่ไม่ได้รับการดูแลซึ่งสามารถตอบคำถามที่ไม่สมบูรณ์ผ่านกราฟความรู้ได้โดยการรักษาบริบทการสนทนาโดยใช้เอนทิตีและเพรดิเคตที่เห็นและอนุมานชิ้นส่วนที่ขาดหายไปหรือคลุมเครือโดยอัตโนมัติสำหรับคำถามติดตามผล

• (2019) การเรียนรู้ที่จะดึงเส้นทางการใช้เหตุผลผ่านกราฟ Wikipedia สำหรับการตอบคำถาม

  • TLDR : แนะนำวิธีการดึงข้อมูลซ้ำที่ใช้กราฟใหม่ซึ่งดึงเส้นทางการให้เหตุผลผ่านกราฟ Wikipedia เพื่อตอบคำถามแบบเปิดโดเมนแบบหลายฮอป

• (2019) การใช้เหตุผลแบบ abductive pommonsense

  • TLDR : แนะนำชุดข้อมูลและกำหนดแนวคิดสองงานใหม่สำหรับการใช้เหตุผลแบบ abductive: การอนุมานภาษาธรรมชาติและการสร้างภาษาธรรมชาติที่ไม่เหมาะสม

• (2020) การใช้เหตุผลที่แตกต่างกันเหนือฐานความรู้เสมือนจริง

  • TLDR : แนะนำโมดูลประสาทสำหรับการตอบคำถามแบบมัลติฮอปซึ่งแตกต่างกันและสามารถผ่านการฝึกอบรมแบบ end-to-end

• (2020) การใช้ประโยชน์จากการดึงข้อความด้วยแบบจำลองการกำเนิดสำหรับการตอบคำถามโดเมนแบบเปิด

  • TLDR : นำเสนอวิธีการตอบคำถามแบบเปิดโดเมนที่ต้องอาศัยการดึงข้อความสนับสนุนก่อนที่จะประมวลผลด้วยแบบจำลองการกำเนิด

• (2020) DEFORMER: DECOMPOSING TRANSFORMERS ที่ผ่านการฝึกอบรมมาก่อนสำหรับการตอบคำถามที่เร็วขึ้น

  • TLDR : นำเสนอหม้อแปลงที่ย่อยสลายซึ่งแทนที่การตั้งใจด้วยตนเองอย่างเต็มที่ด้วยคำถามที่ทั่วทั้งคำถามและทั่วทั้งชั้นในชั้นล่างลดการคำนวณรันไทม์

• (2020) การเรียกคืนหลักฐานการจัดเรียงที่ไม่ได้รับการดูแลโดยไม่ได้รับการดูแล

  • TLDR : นำเสนอแนะนำวิธีการดึงหลักฐานซ้ำ ๆ ที่รวดเร็วรวดเร็วและไม่ได้รับการดูแลสำหรับการตอบคำถามหลายคำถาม

• (2020) การเรียนรู้ที่จะถามเพิ่มเติม: การสร้างคำถามแบบกึ่งกลางแบบกึ่งกลางภายใต้การโต้ตอบแบบสองกราฟ

  • TLDR : นำเสนอวิธีการสร้างคำถามในกึ่งอัตโนมัติโดยใช้กราฟสองกราฟตามข้อความและคำตอบ

• (2020) การตอบคำถามใดที่สามารถเรียนรู้ได้จาก Nerds เรื่องไม่สำคัญ

  • TLDR : นำเสนอข้อมูลเชิงลึกเกี่ยวกับงานตอบคำถามที่สามารถเรียนรู้จากทัวร์นาเมนต์เรื่องไม่สำคัญ

• (2020) การปรับปรุงคำถามหลายคำถามตอบคำถามกราฟความรู้โดยใช้การฝังฐานความรู้

  • TLDR : นำเสนอวิธีการที่มีประสิทธิภาพในการดำเนินการหลายกราฟ KGQA มากกว่ากราฟความรู้ที่กระจัดกระจาย

การสร้างภาษาธรรมชาติ/การสรุป

• (2004) Rouge: แพ็คเกจสำหรับการประเมินผลสรุปอัตโนมัติ?
  • TLDR : แนะนำ Rouge, ตัวชี้วัดการประเมินผลสำหรับการสรุปที่ใช้ในวันนี้เกี่ยวกับงานการส่งต่อลำดับที่หลากหลาย
• (2004) Textrank: นำคำสั่งมาเป็นข้อความ
  • TLDR : การใช้เทคนิคการวิเคราะห์ข้อความบนกราฟตาม PageRank ผู้เขียนจะได้ผลลัพธ์ SOTA ในการสกัดคำหลักและผลการสรุปการสกัดที่แข็งแกร่งมากในแฟชั่นที่ไม่ได้รับการดูแล
• (2015) การสร้างภาษาธรรมชาติที่ใช้ LSTM ตามเงื่อนไขความหมายสำหรับระบบการสนทนาที่พูด
  • TLDR : เสนอเครื่องกำเนิดภาษาธรรมชาติของระบบประสาทที่เพิ่มประสิทธิภาพการวางแผนประโยคและการรับรู้พื้นผิวที่ดีกว่าระบบอื่น ๆ ในการประเมินของมนุษย์
• (2016) ชี้คำที่ไม่รู้จัก
  • TLDR : เสนอกลไกการคัดลอกเพื่อให้ระบบ MT สามารถคัดลอกคำที่มีประสิทธิภาพมากขึ้นจากลำดับบริบทต้นฉบับ
• (2017) ไปถึงจุด: การสรุปด้วยเครือข่ายตัวชี้
  • TLDR : งานนี้นำเสนอกลไกการคัดลอกอ่อนที่สง่างามซึ่งมีประสิทธิภาพสูงกว่า SOTA อย่างมากในการสรุปเชิงนามธรรม
• (2020) แบบจำลองการกำเนิดสำหรับการทำความเข้าใจภาษาธรรมชาติร่วมกันและการสร้าง
  • TLDR : งานนี้นำเสนอแบบจำลองการกำเนิดซึ่งคู่รัก NLU และ NLG ผ่านตัวแปรแฝงที่ใช้ร่วมกันซึ่งได้รับประสิทธิภาพที่ทันสมัยในชุดข้อมูลบทสนทนาสองชุดที่มีการแสดงอย่างเป็นทางการทั้งแบบแบนและโครงสร้างต้นไม้
• (2020) Bart: denoising sequence to-sequence pre-training สำหรับการสร้างภาษาธรรมชาติการแปลและความเข้าใจ
  • TLDR : งานนี้นำเสนอแบบจำลองการกำเนิดซึ่งคู่รัก NLU และ NLG ผ่านตัวแปรแฝงที่ใช้ร่วมกันซึ่งได้รับประสิทธิภาพที่ทันสมัยในชุดข้อมูลบทสนทนาสองชุดที่มีการแสดงอย่างเป็นทางการทั้งแบบแบนและโครงสร้างต้นไม้

ระบบการสนทนา

• (2011) การสร้างการตอบสนองของข้อมูลไดรฟ์ในโซเชียลมีเดีย
  • TLDR : เสนอโดยใช้วิธีการแปลเครื่องทางสถิติที่อิงวลีกับปัญหาการสร้างการตอบสนอง
• (2015) การสร้างภาษาธรรมชาติที่ใช้ LSTM ตามเงื่อนไขความหมายสำหรับระบบการสนทนาที่พูด
  • TLDR : เสนอเครื่องกำเนิดภาษาธรรมชาติของระบบประสาทที่เพิ่มประสิทธิภาพการวางแผนประโยคและการรับรู้พื้นผิวที่ดีกว่าระบบอื่น ๆ ในการประเมินของมนุษย์
• (2016) วิธีที่จะไม่ประเมินระบบบทสนทนาของคุณ: การศึกษาเชิงประจักษ์ของตัวชี้วัดการประเมินผลที่ไม่ได้รับการดูแลสำหรับการสร้างการตอบสนองการสนทนา
  • TLDR : งานสำคัญแสดงให้เห็นว่าตัวชี้วัดอัตโนมัติที่มีอยู่ที่ใช้สำหรับการสนทนาอย่างฉับพลันนั้นไม่สัมพันธ์กับการตัดสินของมนุษย์
• (2016) ระบบบทสนทนาแบบ end-end-end to-end ที่ใช้งานได้
  • TLDR : เสนอสถาปัตยกรรมที่เรียบร้อยสำหรับการย่อยสลายระบบบทสนทนาเป็นส่วนประกอบเครือข่ายประสาทที่ผ่านการฝึกอบรมเป็นรายบุคคล
• (2016) ฟังก์ชั่นวัตถุประสงค์การส่งเสริมความหลากหลายสำหรับโมเดลการสนทนาทางประสาท
  • TLDR : แนะนำฟังก์ชั่นวัตถุประสงค์ข้อมูลร่วมกันสูงสุดสำหรับระบบบทสนทนาการฝึกอบรม
• (2016) ชุดบทสนทนาการติดตามสถานะการติดตาม: รีวิว
  • TLDR : ภาพรวมที่ดีของบทสนทนาการติดตามสถานะการติดตามสำหรับระบบบทสนทนา
• (2017) สถาปัตยกรรมลำดับการคัดลอกต่อลำดับให้ประสิทธิภาพที่ดีในการสนทนาที่มุ่งเน้นงาน
  • TLDR : แสดงให้เห็นว่าสถาปัตยกรรมลำดับต่อลำดับอย่างง่ายด้วยกลไกการคัดลอกสามารถดำเนินการแข่งขันได้ในชุดข้อมูลบทสนทนาที่มุ่งเน้นงานที่มีอยู่
• (2017) เครือข่ายการดึงคีย์-ค่าสำหรับการสนทนาที่มุ่งเน้นงาน?
  • TLDR : แนะนำชุดข้อมูล multidomain ใหม่สำหรับชุดข้อมูลที่มุ่งเน้นงานรวมถึงสถาปัตยกรรมสำหรับการรวมข้อมูลเบา ๆ จากฐานความรู้ที่มีโครงสร้างลงในระบบบทสนทนา
• (2017) การเรียนรู้ตัวแทนการสนทนาร่วมกันแบบสมมาตรด้วยการฝังกราฟความรู้แบบไดนามิก?
  • TLDR : แนะนำชุดข้อมูลการสนทนาร่วมกันใหม่รวมถึงสถาปัตยกรรมสำหรับการแสดงความรู้ที่มีโครงสร้างผ่านการฝังกราฟความรู้
• (2017) เครือข่ายรหัสไฮบริด: การควบคุมกล่องโต้ตอบแบบ end-to-end ที่ใช้งานได้จริงและมีประสิทธิภาพด้วยการเรียนรู้ภายใต้การดูแลและการเรียนรู้
  • TLDR : แนะนำสถาปัตยกรรมบทสนทนาไฮบริดที่สามารถได้รับการฝึกฝนร่วมกันผ่านการเรียนรู้ภายใต้การดูแลรวมถึงการเรียนรู้การเสริมแรงและรวมเทคนิคเครือข่ายประสาทด้วยวิธีการตามกฎที่ละเอียด

การเรียนรู้แบบโต้ตอบ

• (1971) ขั้นตอนการเป็นตัวแทนสำหรับข้อมูลในโปรแกรมคอมพิวเตอร์เพื่อทำความเข้าใจภาษาธรรมชาติ
  • TLDR : หนึ่งในเอกสารน้ำเชื้อทางวิทยาศาสตร์คอมพิวเตอร์แนะนำ SHRDLU ระบบเริ่มต้นสำหรับคอมพิวเตอร์ที่ทำความเข้าใจกับคำสั่งภาษามนุษย์
• (2016) การเรียนรู้เกมภาษาผ่านการโต้ตอบ
  • TLDR : แนะนำการตั้งค่าใหม่สำหรับการโต้ตอบกับคอมพิวเตอร์เพื่อให้บรรลุงานที่สามารถใช้ภาษาธรรมชาติเพียงอย่างเดียวในการสื่อสารกับระบบ!
• (2017) การทำให้ภาษาการเขียนโปรแกรมเป็นธรรมชาติผ่านการเรียนรู้แบบโต้ตอบ
  • TLDR : งานที่ยอดเยี่ยมมากช่วยให้ชุมชนคนงานสามารถทำให้ภาษาเป็นธรรมชาติเริ่มต้นด้วยชุดคำสั่งหลักในงานโต้ตอบ

การสร้างแบบจำลองภาษา

• (1996) การศึกษาเชิงประจักษ์ของเทคนิคการปรับให้เรียบสำหรับการสร้างแบบจำลองภาษา
  • TLDR : ดำเนินการสำรวจอย่างกว้างขวางเกี่ยวกับเทคนิคการปรับให้เรียบในระบบการสร้างแบบจำลองภาษาแบบดั้งเดิม
• (2003) รูปแบบภาษาความน่าจะเป็นของระบบประสาท
  • TLDR : งานน้ำเชื้อในการเรียนรู้อย่างลึกซึ้งสำหรับ NLP แนะนำหนึ่งในโมเดลที่มีประสิทธิภาพครั้งแรกสำหรับการสร้างแบบจำลองภาษาที่ใช้เครือข่ายประสาท
• (2014) มาตรฐานหนึ่งพันล้านคำสำหรับการวัดความคืบหน้าในการสร้างแบบจำลองภาษาทางสถิติ?
  • TLDR : แนะนำมาตรฐานการสร้างแบบจำลองภาษาของ Google One พันล้านคำ
• (2015) รูปแบบภาษาประสาทที่ตระหนักถึงตัวละคร
  • TLDR : เสนอรูปแบบภาษาโดยใช้เครือข่ายประสาทแบบ convolutional ที่สามารถใช้ข้อมูลระดับตัวละครดำเนินการบน PAR ด้วยระบบ LSTM ระดับคำ
• (2016) สำรวจขีด จำกัด ของการสร้างแบบจำลองภาษา
  • TLDR : แนะนำระบบโมเดลภาษาขนาดใหญ่โดยใช้การเรียนรู้อย่างลึกซึ้งซึ่งใช้เทคนิคที่หลากหลายและดำเนินการอย่างมีนัยสำคัญ SOTA ในมาตรฐานหนึ่งพันล้านคำ
• (2018) การเป็นตัวแทนของคำศัพท์เชิงลึก?
  • TLDR : บทความนี้แนะนำ Elmo ซึ่งเป็นคอลเลกชันที่ทรงพลังสุด ๆ ของการฝังคำที่เรียนรู้จากการเป็นตัวแทนระดับกลางของแบบจำลองภาษา LSTM แบบสองทิศทางลึก ประสบความสำเร็จ SOTA ใน 6 งาน NLP ที่หลากหลาย
• (2018) เบิร์ต: การฝึกอบรมก่อนหน้านี้ของหม้อแปลงแบบสองทิศทางเพื่อทำความเข้าใจภาษา
  • TLDR : หนึ่งในเอกสารที่สำคัญที่สุดของปี 2018 แนะนำ Bert สถาปัตยกรรมที่ทรงพลังที่ได้รับการฝึกฝนโดยใช้การสร้างแบบจำลองภาษาซึ่งจะถูกถ่ายโอนไปยังงานเฉพาะโดเมนอื่น ๆ อย่างมีประสิทธิภาพ
• (2019) XLNET: การฝึกฝนอัตโนมัติแบบอัตโนมัติเพื่อความเข้าใจภาษา
  • TLDR : วิธีการฝึกอบรมอัตโนมัติแบบอัตโนมัติทั่วไปที่ปรับปรุงเมื่อเบิร์ตโดยการเพิ่มโอกาสที่คาดหวังไว้ในการเรียงลำดับทั้งหมดของลำดับการแยกตัวประกอบ

เบ็ดเตล็ด

• (1997) หน่วยความจำระยะสั้นระยะยาว
  • TLDR : แนะนำหน่วยการกำเริบ LSTM ซึ่งเป็นรากฐานที่สำคัญของ NLP ที่ใช้เครือข่ายประสาทที่ทันสมัย
• (2000) โมเดล Markov สูงสุดสำหรับการแยกข้อมูลและการแบ่งส่วน
  • TLDR : แนะนำรุ่น Markov Markov สำหรับการสกัดข้อมูลซึ่งเป็นเทคนิค ML ที่ใช้กันทั่วไปใน NLP แบบคลาสสิก
• (2010) จากความถี่ถึงความหมาย: โมเดลพื้นที่เวกเตอร์ของความหมาย
  • TLDR : การสำรวจที่ยอดเยี่ยมของแบบจำลองพื้นที่เวกเตอร์ที่มีอยู่สำหรับการเรียนรู้ความหมายในข้อความ
• (2012) การแนะนำเขตข้อมูลแบบสุ่มแบบมีเงื่อนไข
  • TLDR : ภาพรวมเชิงลึกที่ดีของฟิลด์สุ่มแบบมีเงื่อนไขซึ่งเป็นแบบจำลองการติดฉลากลำดับที่ใช้กันทั่วไป
• (2013) การแจกจ่ายการเป็นตัวแทนของคำและวลีและการจัดองค์ประกอบของพวกเขา
  • TLDR แนะนำ Word2veC ซึ่งเป็นชุดของการเป็นตัวแทนเวกเตอร์แบบกระจายที่ใช้กันทั่วไปสำหรับการเริ่มต้นการฝังคำในสถาปัตยกรรม NLP ทุกครั้งในช่วงห้าปีที่ผ่านมา -
• (2014) ถุงมือ: เวกเตอร์ทั่วโลกสำหรับการเป็นตัวแทนคำ?
  • TLDR : แนะนำ Glove Word Embeddings ซึ่งเป็นหนึ่งในเทคนิคการฝังคำที่ใช้ก่อนหน้านี้มากที่สุดในทุกรสชาติของรุ่น NLP
• (2014) อย่านับคาดการณ์! การเปรียบเทียบอย่างเป็นระบบของการนับบริบทกับเวกเตอร์ความหมายบริบท
  • TLDR : กระดาษสำคัญแสดงให้เห็นว่าการกำหนดบริบทการกระจายความหมายของการกระจายความหมายดีกว่าเทคนิคการนับตามการนับ
• (2015) การปรับปรุงความคล้ายคลึงกันของการกระจายกับบทเรียนที่เรียนรู้จากคำที่ฝังคำ
  • TLDR : แสดงให้เห็นว่าเทคนิคความหมายแบบกระจายแบบดั้งเดิมสามารถปรับปรุงได้ด้วยตัวเลือกการออกแบบบางอย่างและการเพิ่มประสิทธิภาพ hyperparameter ที่ทำให้คู่แข่งประสิทธิภาพของพวกเขาเป็นวิธีการฝังที่ใช้เครือข่ายประสาท
• (2018) การปรับแต่งโมเดลภาษาสากลสำหรับการจำแนกประเภทข้อความ
  • TLDR : ให้เทคนิค Smorgasbord ของ NICE สำหรับแบบจำลองภาษา Finetuning ที่สามารถถ่ายโอนไปยังงานการจำแนกประเภทข้อความได้อย่างมีประสิทธิภาพ
• (2019) การเปรียบเทียบคำอธิบาย: สู่การทำความเข้าใจการฝังคำ
  • TLDR : งานที่ดีมากจัดทำพิธีการทางคณิตศาสตร์เพื่อทำความเข้าใจคุณสมบัติการถอดความบางอย่างของการฝังคำที่ทันสมัย