หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

คำนำ

พื้นที่เก็บข้อมูลนี้มีสไลด์บรรยายและคำอธิบายหลักสูตรสำหรับหลักสูตรการประมวลผลภาษาธรรมชาติลึกที่เปิดสอนใน Hilary Term 2017 ที่ University of Oxford

นี่เป็นหลักสูตรขั้นสูงเกี่ยวกับการประมวลผลภาษาธรรมชาติ การประมวลผลอินพุตภาษาธรรมชาติโดยอัตโนมัติและการผลิตเอาต์พุตภาษาเป็นองค์ประกอบสำคัญของข่าวกรองทั่วไปเทียม ความคลุมเครือและเสียงรบกวนที่มีอยู่ในการสื่อสารของมนุษย์ทำให้เทคนิค AI สัญลักษณ์แบบดั้งเดิมไม่มีประสิทธิภาพสำหรับการเป็นตัวแทนและวิเคราะห์ข้อมูลภาษา เมื่อเร็ว ๆ นี้เทคนิคทางสถิติบนพื้นฐานของเครือข่ายประสาทได้ประสบความสำเร็จมากมายในการประมวลผลภาษาธรรมชาติที่นำไปสู่ความสนใจเชิงพาณิชย์และความสนใจด้านวิชาการอย่างมากในสาขานี้

นี่คือหลักสูตรที่ประยุกต์ใช้การเน้นความก้าวหน้าล่าสุดในการวิเคราะห์และสร้างคำพูดและข้อความโดยใช้เครือข่ายประสาทที่เกิดขึ้นซ้ำ เราแนะนำคำจำกัดความทางคณิตศาสตร์ของแบบจำลองการเรียนรู้ของเครื่องที่เกี่ยวข้องและได้รับอัลกอริทึมการเพิ่มประสิทธิภาพที่เกี่ยวข้อง หลักสูตรนี้ครอบคลุมช่วงของแอปพลิเคชันของเครือข่ายประสาทใน NLP รวมถึงการวิเคราะห์มิติแฝงในข้อความการถอดเสียงคำพูดเป็นข้อความแปลระหว่างภาษาและการตอบคำถาม หัวข้อเหล่านี้ถูกจัดระเบียบเป็นธีมระดับสูงสามชุดซึ่งก่อให้เกิดความก้าวหน้าจากการทำความเข้าใจการใช้เครือข่ายประสาทสำหรับการสร้างแบบจำลองภาษาต่อเนื่องเพื่อทำความเข้าใจการใช้เป็นแบบจำลองภาษาแบบมีเงื่อนไขสำหรับงานการถ่ายโอนและในที่สุดก็เข้าใกล้เทคนิคการใช้เทคนิคเหล่านี้ร่วมกับกลไกอื่น ๆ สำหรับการใช้งานขั้นสูง ตลอดหลักสูตรการใช้งานจริงของโมเดลดังกล่าวในฮาร์ดแวร์ CPU และ GPU ก็ถูกกล่าวถึง

หลักสูตรนี้จัดโดย Phil Blunsom และส่งมอบร่วมกับกลุ่มวิจัยภาษาธรรมชาติ DeepMind

อาจารย์

  • Phil Blunsom (Oxford University และ DeepMind)
  • Chris Dyer (Carnegie Mellon University และ DeepMind)
  • Edward Grefenstette (DeepMind)
  • Karl Moritz Hermann (DeepMind)
  • แอนดรูว์อาวุโส (DeepMind)
  • Wang Ling (DeepMind)
  • Jeremy Appleyard (Nvidia)

TAS

  • Yannis Assael
  • Yishu Miao
  • เบรนแดนชิลลิงฟอร์ด
  • แจนซื้อ

ตารางเวลา

ทางปฏิบัติ

  • กลุ่ม 1-วันจันทร์, 9: 00-11: 00 (สัปดาห์ที่ 2-8), 60.05 อาคาร Thom
  • กลุ่ม 2-วันศุกร์ 16: 00-18: 00 (สัปดาห์ที่ 2-8), ห้อง 379
  1. ภาคปฏิบัติ 1: Word2vec
  2. ภาคปฏิบัติ 2: การจำแนกประเภทข้อความ
  3. ภาคปฏิบัติ 3: เครือข่ายประสาทที่เกิดขึ้นอีกสำหรับการจำแนกประเภทข้อความและการสร้างแบบจำลองภาษา
  4. ภาคปฏิบัติ 4: เปิดใช้งานจริง

การบรรยาย

การบรรยายสาธารณะจะจัดขึ้นในโรงละคร 1 ของสถาบันคณิตศาสตร์ในวันอังคารและวันพฤหัสบดี (ยกเว้นสัปดาห์ที่ 8), 16: 00-18: 00 น.

วัสดุการบรรยาย

1. การบรรยาย 1A - บทนำ [Phil Blunsom]

การบรรยายครั้งนี้แนะนำหลักสูตรและกระตุ้นให้เกิดการศึกษาภาษาโดยใช้เทคนิคการเรียนรู้อย่างลึกซึ้ง

[สไลด์] [วิดีโอ]

2. การบรรยาย 1B - เครือข่ายประสาทลึกเป็นเพื่อนของเรา [วังหลิง]

การบรรยายนี้แก้ไขแนวคิดการเรียนรู้ของเครื่องจักรขั้นพื้นฐานที่นักเรียนควรรู้ก่อนที่จะเริ่มต้นหลักสูตรนี้

[สไลด์] [วิดีโอ]

3. การบรรยาย 2a- ความหมายระดับคำ [Ed Grefenstette]

คำพูดคือความหมายหลักที่หน่วยแบริ่งในภาษา การเป็นตัวแทนและการเรียนรู้ความหมายของคำเป็นงานพื้นฐานใน NLP และในการบรรยายนี้แนวคิดของการฝังคำถูกนำมาใช้เป็นวิธีแก้ปัญหาที่ใช้งานได้จริงและปรับขนาดได้

[สไลด์] [วิดีโอ]

การอ่าน

พื้นฐาน

  • Firth, John R. "บทสรุปของทฤษฎีภาษาศาสตร์, 1930-1955." (1957): 1-32
  • Curran, James Richard "จากความคล้ายคลึงกันของการกระจายไปยังความหมาย" (2004)
  • Collobert, Ronan, et al. "การประมวลผลภาษาธรรมชาติ (เกือบ) ตั้งแต่เริ่มต้น" วารสารการวิจัยการเรียนรู้ของเครื่องจักร 12. ส.ค. (2011): 2493-2537
  • Mikolov, Tomas, et al. "การกระจายการเป็นตัวแทนของคำและวลีและการประพันธ์" ของพวกเขา " ความก้าวหน้าในระบบการประมวลผลข้อมูลระบบประสาท 2013.

ชุดข้อมูลและการสร้างภาพข้อมูล

  • Finkelstein, Lev, et al. "การค้นหาในบริบท: แนวคิดที่มาเยือน" การประชุมวิชาการนานาชาติครั้งที่ 10 บนเวิลด์ไวด์เว็บ ACM, 2001
  • Hill, Felix, Roi Reichart และ Anna Korhonen "SIMLEX-999: การประเมินแบบจำลองความหมายด้วยการประมาณความคล้ายคลึงกัน (ของแท้)" ภาษาศาสตร์เชิงคำนวณ (2016)
  • Maaten, Laurens Van Der และ Geoffrey Hinton "การแสดงข้อมูลโดยใช้ T-SNE" วารสารการวิจัยการเรียนรู้ของเครื่อง 9.nov (2008): 2579-2605

โพสต์บล็อก

  • การเรียนรู้ลึก NLP และการเป็นตัวแทน Christopher Olah
  • การแสดงภาพ tweeps ชั้นนำด้วย T-Sne ใน JavaScript, Andrej Karpathy

การอ่านเพิ่มเติม

  • Hermann, Karl Moritz และ Phil Blunsom "โมเดลหลายภาษาสำหรับความหมายแบบกระจายองค์ประกอบ" arxiv preprint arxiv: 1404.4641 (2014)
  • Levy, Omer และ Yoav Goldberg "การฝังคำศัพท์ประสาทเป็นตัวประกอบเมทริกซ์โดยนัย" ความก้าวหน้าในระบบการประมวลผลข้อมูลระบบประสาท 2014.
  • Levy, Omer, Yoav Goldberg และ Ido Dagan "การปรับปรุงความคล้ายคลึงกันของการกระจายกับบทเรียนที่เรียนรู้จากการฝังคำศัพท์" การทำธุรกรรมของสมาคมการคำนวณภาษาศาสตร์ 3 (2015): 211-225
  • หลิงวังและคณะ "การดัดแปลงสอง/ง่ายเกินไปของ Word2vec สำหรับปัญหาไวยากรณ์" HLT-NAACL 2558.

4. การบรรยาย 2B - ภาพรวมของการปฏิบัติ [Chris Dyer]

การบรรยายครั้งนี้กระตุ้นให้ส่วนการปฏิบัติของหลักสูตร

[สไลด์] [วิดีโอ]

5. การบรรยาย 3 - การสร้างแบบจำลองภาษาและ RNNS ตอนที่ 1 [Phil Blunsom]

การสร้างแบบจำลองภาษาเป็นงานที่สำคัญในการใช้งานจริงในแอปพลิเคชัน NLP จำนวนมาก การบรรยายครั้งนี้แนะนำการสร้างแบบจำลองภาษารวมถึงวิธีการที่ใช้ N-GRAM แบบดั้งเดิมและวิธีการทางประสาทร่วมสมัยมากขึ้น โดยเฉพาะอย่างยิ่งรูปแบบภาษา Neural Network (RNN) ที่เป็นที่นิยมได้รับการแนะนำและอัลกอริทึมการฝึกอบรมและการประเมินขั้นพื้นฐานที่อธิบายไว้

[สไลด์] [วิดีโอ]

การอ่าน

หนังสือเรียน

  • การเรียนรู้ลึกบทที่ 10

บล็อก

  • ประสิทธิภาพที่ไม่สมเหตุสมผลของเครือข่ายประสาทที่เกิดขึ้นอีก Andrej Karpathy
  • ประสิทธิภาพที่ไม่สมเหตุสมผลของแบบจำลองภาษาระดับตัวละคร Yoav Goldberg
  • การอธิบายและแสดงการเริ่มต้นแบบมุมฉากสำหรับเครือข่ายประสาทที่เกิดขึ้นอีกสตีเฟ่นเมอร์ตี้

6. การบรรยาย 4 - การสร้างแบบจำลองภาษาและ RNNS ตอนที่ 2 [Phil Blunsom]

การบรรยายครั้งนี้ยังคงดำเนินต่อไปจากการประชุมก่อนหน้านี้และพิจารณาปัญหาบางอย่างที่เกี่ยวข้องในการผลิตแบบจำลองภาษา RNN ที่มีประสิทธิภาพ มีการอธิบายปัญหาการไล่ระดับสีที่หายไปและระเบิดและการแก้ปัญหาทางสถาปัตยกรรมเช่นหน่วยความจำระยะสั้นระยะยาว (LSTM)

[สไลด์] [วิดีโอ]

การอ่าน

หนังสือเรียน

  • การเรียนรู้ลึกบทที่ 10

หายไปการไล่ระดับสี LSTMS เป็นต้น

  • เกี่ยวกับความยากลำบากในการฝึกอบรมเครือข่ายประสาทที่เกิดขึ้นซ้ำ Pascanu et al., ICML 2013
  • หน่วยความจำระยะสั้นระยะยาว Hochreiter และ Schmidhuber, การคำนวณระบบประสาท 1997
  • การเรียนรู้วลีการเป็นตัวแทนโดยใช้ RNN encoderDecoder สำหรับการแปลเครื่องสถิติ Cho et al, EMNLP 2014
  • บล็อก: ทำความเข้าใจกับเครือข่าย LSTM, Christopher Olah

การจัดการกับคำศัพท์ขนาดใหญ่

  • แบบจำลองภาษาแบบกระจายตามลำดับชั้นที่ปรับขนาดได้ MNIH และ HINTON, NIPS 2009
  • อัลกอริทึมที่รวดเร็วและง่ายดายสำหรับการฝึกอบรมแบบจำลองภาษาที่น่าจะเป็นของระบบประสาท MNIH และ TEH, ICML 2012
  • ในการใช้คำศัพท์เป้าหมายที่มีขนาดใหญ่มากสำหรับการแปลเครื่องประสาท Jean et al., ACL 2015
  • สำรวจขีด จำกัด ของการสร้างแบบจำลองภาษา Jozefowicz et al., Arxiv 2016
  • การประมาณ Softmax ที่มีประสิทธิภาพสำหรับ GPU Grave et al., Arxiv 2016
  • หมายเหตุเกี่ยวกับการประมาณค่าเสียงรบกวนและการสุ่มตัวอย่างเชิงลบ Dyer, Arxiv 2014
  • การสร้างแบบจำลองภาษาประสาทในเชิงปฏิบัติในการแปลเครื่อง Baltescu และ Blunsom, NAACL 2015

การทำให้เป็นมาตรฐานและออกกลางคัน

  • แอปพลิเคชันที่มีพื้นฐานทางทฤษฎีของการออกกลางคันในเครือข่ายประสาทกำเริบ Gal และ Ghahramani, NIPS 2016
  • บล็อก: ความไม่แน่นอนในการเรียนรู้ลึก, Yarin Gal

สิ่งอื่น ๆ

  • เครือข่ายทางหลวงกำเริบ Zilly et al., Arxiv 2016
  • กำลังการผลิตและความสามารถในการฝึกอบรมในเครือข่ายประสาทที่เกิดขึ้นอีก Collins et al., Arxiv 2016

7. การบรรยาย 5 - การจำแนกประเภทข้อความ [Karl Moritz Hermann]

การบรรยายครั้งนี้กล่าวถึงการจำแนกประเภทข้อความเริ่มต้นด้วยตัวแยกประเภทพื้นฐานเช่นไร้เดียงสาเบย์และดำเนินการผ่านไปยัง RNNs และเครือข่าย Convolution

[สไลด์] [วิดีโอ]

การอ่าน

  • เครือข่ายประสาทที่เกิดขึ้นซ้ำ ๆ สำหรับการจำแนกประเภทข้อความ Lai et al. AAAI 2015
  • เครือข่ายประสาทแบบ convolutional สำหรับการสร้างแบบจำลองประโยค Kalchbrenner และคณะ ACL 2014
  • การประพันธ์ความหมายผ่านเมทริกซ์-เวกเตอร์แบบเรียกซ้ำ Socher และคณะ EMNLP 2012
  • บล็อก: การทำความเข้าใจเครือข่ายประสาท Convolution สำหรับ NLP, Denny Britz
  • วิทยานิพนธ์: การแจกจ่ายตัวแทนสำหรับความหมายองค์ประกอบ, เฮอร์มันน์ (2014)

8. การบรรยาย 6 - Deep NLP บน Nvidia GPUs [Jeremy Appleyard]

การบรรยายนี้แนะนำหน่วยประมวลผลกราฟิก (GPU) เป็นทางเลือกแทนซีพียูสำหรับการดำเนินการอัลกอริทึมการเรียนรู้เชิงลึก จุดแข็งและจุดอ่อนของ GPU ถูกกล่าวถึงรวมถึงความสำคัญของการทำความเข้าใจว่าแบนด์วิดธ์หน่วยความจำและปริมาณงานส่งผลกระทบต่อ RNNs

[สไลด์] [วิดีโอ]

การอ่าน

  • การเพิ่มประสิทธิภาพประสิทธิภาพของเครือข่ายประสาทที่เกิดขึ้นอีกบน GPU Appleyard et al., Arxiv 2016
  • RNNS แบบถาวร: การเก็บน้ำหนักที่เกิดขึ้นอีกครั้งบนชิป, Diamos et al., ICML 2016
  • การประมาณ Softmax ที่มีประสิทธิภาพสำหรับ GPU Grave et al., Arxiv 2016

9. การบรรยาย 7 - โมเดลภาษาแบบมีเงื่อนไข [Chris Dyer]

ในการบรรยายครั้งนี้เราขยายแนวคิดของการสร้างแบบจำลองภาษาเพื่อรวมข้อมูลก่อนหน้า โดยการปรับแต่งรูปแบบภาษา RNN ในการแสดงอินพุตเราสามารถสร้างภาษาที่เกี่ยวข้องกับบริบท แนวคิดทั่วไปนี้สามารถนำไปใช้กับการแปลงลำดับเป็นลำดับใหม่สำหรับงานต่าง ๆ เช่นการแปลและการสรุปหรือรูปภาพลงในคำบรรยายภาพที่อธิบายเนื้อหาของพวกเขา

[สไลด์] [วิดีโอ]

การอ่าน

  • รูปแบบการแปลอย่างต่อเนื่องที่เกิดขึ้นอีก Kalchbrenner และ Blunsom, EMNLP 2013
  • ลำดับการเรียนรู้ลำดับด้วยเครือข่ายประสาท Sutskever et al., NIPS 2014
  • แบบจำลองภาษาประสาทหลายรูปแบบ Kiros et al., ICML 2014
  • แสดงและบอก: เครื่องกำเนิดภาพบรรยายภาพประสาท Vinyals et al., CVPR 2015

10. การบรรยาย 8 - สร้างภาษาด้วยความสนใจ [Chris Dyer]

การบรรยายครั้งนี้แนะนำหนึ่งในกลไกที่สำคัญและมีอิทธิพลมากที่สุดที่ใช้ในเครือข่ายประสาทลึก: ความสนใจ ความสนใจเพิ่มเครือข่ายที่เกิดขึ้นอีกด้วยความสามารถในการปรับสภาพในส่วนเฉพาะของอินพุตและเป็นกุญแจสำคัญในการบรรลุประสิทธิภาพสูงในงานเช่นการแปลด้วยเครื่องและคำบรรยายภาพ

[สไลด์] [วิดีโอ]

การอ่าน

  • การแปลเครื่องประสาทโดยการเรียนรู้ร่วมกันเพื่อจัดตำแหน่งและแปล Bahdanau et al., ICLR 2015
  • แสดงเข้าร่วมและบอก: การสร้างภาพบรรยายภาพด้วยความสนใจด้วยภาพ Xu et al., ICML 2015
  • การผสมผสานอคติการจัดแนวโครงสร้างเข้ากับรูปแบบการแปลระบบประสาทแบบตั้งใจ Cohn et al., NAACL 2016
  • Bleu: วิธีการประเมินการแปลของเครื่องโดยอัตโนมัติ Papineni et al, ACL 2002

11. การบรรยาย 9 - การจดจำคำพูด (ASR) [แอนดรูว์อาวุโส]

การรู้จำเสียงพูดอัตโนมัติ (ASR) เป็นหน้าที่ของการเปลี่ยนสัญญาณเสียงดิบของภาษาพูดลงในการถอดความข้อความ การพูดคุยนี้ครอบคลุมประวัติศาสตร์ของแบบจำลอง ASR ตั้งแต่ผสมเกาส์เซียนไปจนถึงความสนใจเพิ่ม RNNs, ภาษาศาสตร์พื้นฐานของการพูดและการเป็นตัวแทนอินพุตและเอาท์พุทต่างๆที่ใช้บ่อย

[สไลด์] [วิดีโอ]

12. การบรรยาย 10 - ข้อความถึงคำพูด (TTS) [แอนดรูว์อาวุโส]

การบรรยายนี้แนะนำอัลกอริทึมสำหรับการแปลงภาษาเขียนเป็นภาษาพูด (ข้อความเป็นคำพูด) TTS เป็นกระบวนการผกผันของ ASR แต่มีความแตกต่างที่สำคัญบางประการในแบบจำลองที่ใช้ ที่นี่เราตรวจสอบโมเดล TTS แบบดั้งเดิมจากนั้นครอบคลุมวิธีการทางประสาทล่าสุดเช่นโมเดล Wavenet ของ DeepMind

[สไลด์] [วิดีโอ]

13. การบรรยาย 11 - ตอบคำถาม [Karl Moritz Hermann]

[สไลด์] [วิดีโอ]

การอ่าน

  • การสอนเครื่องจักรเพื่ออ่านและเข้าใจ Hermann et al., NIPS 2015
  • การเรียนรู้อย่างลึกซึ้งสำหรับการเลือกประโยคคำตอบ Yu et al., NIPS Deep Learning Workshop 2014

14. การบรรยาย 12 - หน่วยความจำ [Ed Grefenstette]

[สไลด์] [วิดีโอ]

การอ่าน

  • การคำนวณแบบไฮบริดโดยใช้เครือข่ายประสาทที่มีหน่วยความจำภายนอกแบบไดนามิก Graves et al., Nature 2016
  • การให้เหตุผลเกี่ยวกับความสนใจของระบบประสาท Rocktäschel et al., ICLR 2016
  • เรียนรู้ที่จะแปลงสภาพด้วยหน่วยความจำที่ไม่มีขอบเขต Grefenstette et al., NIPS 2015
  • เครือข่ายหน่วยความจำแบบครบวงจร Sukhbaatar et al., NIPS 2015

15. การบรรยาย 13 - ความรู้ด้านภาษาศาสตร์ในเครือข่ายประสาท

[สไลด์] [วิดีโอ]

เพียซซ่า

เราจะใช้ Piazza เพื่ออำนวยความสะดวกในการสนทนาในชั้นเรียนในระหว่างหลักสูตร แทนที่จะส่งอีเมลคำถามโดยตรงฉันขอแนะนำให้คุณโพสต์คำถามของคุณเกี่ยวกับ Piazza ที่จะตอบโดยเพื่อนนักเรียนอาจารย์และอาจารย์ของคุณ อย่างไรก็ตามโปรดทราบว่าอาจารย์ทุกคนสำหรับหลักสูตรนี้เป็นอาสาสมัครเวลาของพวกเขาและอาจไม่สามารถให้คำตอบได้เสมอไป

ค้นหาหน้าชั้นเรียนของเราได้ที่: https://piazza.com/ox.ac.uk/winter2017/dnlpht2017/home

การประเมิน

การประเมินเบื้องต้นสำหรับหลักสูตรนี้จะเป็นการมอบหมายที่ออกบ้านเมื่อสิ้นสุดภาคเรียน การมอบหมายนี้จะถามคำถามเกี่ยวกับแนวคิดและรูปแบบที่กล่าวถึงในหลักสูตรรวมถึงจากสิ่งพิมพ์การวิจัยที่เลือก ลักษณะของคำถามจะรวมถึงการวิเคราะห์คำอธิบายทางคณิตศาสตร์ของแบบจำลองและการเสนอส่วนขยายการปรับปรุงหรือการประเมินผลของแบบจำลองดังกล่าว การมอบหมายอาจขอให้นักเรียนอ่านสิ่งพิมพ์การวิจัยเฉพาะและหารือเกี่ยวกับอัลกอริทึมที่เสนอในบริบทของหลักสูตร ในการตอบคำถามนักเรียนจะได้รับการคาดหวังว่าจะมีข้อโต้แย้งที่เป็นลายลักษณ์อักษรที่สอดคล้องกันและใช้สูตรทางคณิตศาสตร์ที่เหมาะสมและอาจเป็นรหัสหลอกเพื่อแสดงคำตอบ

องค์ประกอบที่เป็นประโยชน์ของหลักสูตรจะได้รับการประเมินในวิธีปกติ

กิตติกรรมประกาศ

หลักสูตรนี้จะเป็นไปไม่ได้หากไม่ได้รับการสนับสนุนจาก DeepMind, University of Oxford ภาควิชาวิทยาศาสตร์คอมพิวเตอร์, Nvidia และการบริจาคทรัพยากร GPU จาก Microsoft Azure

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด