lectures

전문

이 저장소에는 옥스포드 대학교 (University of Oxford)의 힐러리 학기 2017 년에 제공되는 깊은 자연 언어 처리 과정에 대한 강의 슬라이드 및 코스 설명이 포함되어 있습니다.

이것은 자연어 처리에 대한 고급 과정입니다. 자연어 입력을 자동으로 처리하고 언어 출력을 생성하는 것은 인공 일반 지능의 핵심 요소입니다. 인간의 의사 소통에 내재 된 모호성과 소음은 전통적인 상징적 AI 기술이 언어 데이터를 표현하고 분석하는 데 효과적이지 않습니다. 최근 신경망을 기반으로 한 통계 기술은 자연어 처리에서 여러 가지 놀라운 성공을 거두었습니다.

이 과정은 재발 성 신경망을 사용하여 음성 및 텍스트를 분석하고 생성하는 데있어 최근의 발전에 중점을 둔 적용 과정입니다. 관련 머신 러닝 모델의 수학적 정의를 소개하고 관련 최적화 알고리즘을 도출합니다. 이 과정은 텍스트의 잠재적 차원 분석, 텍스트로 음성 전사, 언어 번역 및 질문에 대한 답변을 포함하여 NLP의 신경망의 다양한 응용 프로그램을 다룹니다. 이러한 주제는 순차적 인 언어 모델링을위한 신경망 사용을 이해하고, 변환 작업을위한 조건부 언어 모델로 사용하는 것까지, 그리고 최종적으로 고급 응용 프로그램을위한 다른 메커니즘과 함께 이러한 기술을 사용하는 접근 방식으로 구성되는 세 가지 높은 수준의 테마로 구성됩니다. 과정 전체에서 CPU 및 GPU 하드웨어에서 이러한 모델의 실제 구현도 논의됩니다.

이 과정은 Phil Blunsom이 주최하고 Deepmind Natural Language Research Group과 제휴하여 제공됩니다.

강사

• Phil Blunsom (Oxford University and Deepmind)
• Chris Dyer (Carnegie Mellon University and Deepmind)
• 에드워드 그레 펜 스테 트 (DeepMind)
• 칼 모리츠 헤르만 (Deepmind)
• 앤드류 선임 (DeepMind)
• 왕 링 (DeepMind)
• Jeremy Appleyard (Nvidia)

TAS

• Yannis Assael
• Yishu Miao
• 브렌든 실링 포드
• Jan은 구입합니다

시간표

실용적

• 그룹 1- 월요일, 9 : 00-11 : 00 (2-8 주), 60.05 Thom Building
• 그룹 2- 금요일, 16 : 00-18 : 00 (2-8 주), 방 379

1. 실용적 1 : Word2vec
2. 실용적 2 : 텍스트 분류
3. 실용 3 : 텍스트 분류 및 언어 모델링을위한 반복 신경 네트워크
4. 실용적 4 : 실용적인 개방

강의

공공 강의는 화요일과 목요일 (8 주 제외), 16 : 00-18 : 00 (힐러리 기간 1,3-8 주) 강의 극장 1에서 개최됩니다.

강의 자료

1. 강의 1A- 소개 [Phil Blunsom]

이 강의는 코스를 소개하고 딥 러닝 기술을 사용하여 언어 처리를 연구하는 것이 흥미로운 이유를 동기를 부여합니다.

[슬라이드] [비디오]

2. 강의 1B -Deep Neural Networks는 우리의 친구입니다 [Wang Ling]

이 강의는이 과정을 시작하기 전에 학생들이 알아야 할 기본 머신 러닝 개념을 수정합니다.

[슬라이드] [비디오]

3. 강의 2A- 워드 레벨 시맨틱 [Ed Grefenstette]

단어는 언어로 단위를 갖는 핵심을 의미합니다. 단어의 의미를 대표하고 배우는 것은 NLP에서 근본적인 작업 이며이 강의에서 단어 임베딩의 개념은 실용적이고 확장 가능한 솔루션으로 도입됩니다.

[슬라이드] [비디오]

독서

임베딩 기본 사항

• Firth, John R. "언어 이론의 시놉시스, 1930-1955." (1957) : 1-32.
• Curran, James Richard. "분포에서 시맨틱 유사성으로." (2004).
• Collobert, Ronan 등 "처음부터 자연어 처리 (거의)." 기계 학습 연구 저널 12. 8 월 (2011) : 2493-2537.
• Mikolov, Tomas 등 "단어와 문구의 분포 된 표현과 그 구성 성." 신경 정보 처리 시스템의 발전. 2013.

데이터 세트 및 시각화

• Finkelstein, Lev, et al. "컨텍스트에 검색하기 : 개념이 다시 방문되었습니다." 월드 와이드 웹에서 열린 제 10 차 국제 회의 절차. ACM, 2001.
• Hill, Felix, Roi Reichart 및 Anna Korhonen. "SIMLEX-999 : (진정한) 유사성 추정을 가진 시맨틱 모델 평가." 계산 언어학 (2016).
• Maaten, Laurens van Der 및 Geoffrey Hinton. "t-sne을 사용하여 데이터 시각화." 기계 학습 연구 저널 9.Nov (2008) : 2579-2605.

블로그 게시물

• 딥 러닝, NLP 및 표현, Christopher Olah.
• JavaScript, Andrej Karpathy에서 T-SNE로 Top Tweep를 시각화합니다.

추가 독서

• Hermann, Karl Moritz 및 Phil Blunsom. "구성 분산 의미를위한 다국어 모델." Arxiv preprint arxiv : 1404.4641 (2014).
• Levy, Omer 및 Yoav Goldberg. "암시 적 매트릭스 인수화로서의 신경 단어 임베딩." 신경 정보 처리 시스템의 발전. 2014.
• Levy, Omer, Yoav Goldberg 및 Ido Dagan. "단어 임베딩에서 배운 교훈으로 분포 유사성을 향상시킵니다." 컴퓨터 언어학 협회의 거래 3 (2015) : 211-225.
• Ling, Wang 등 "구문 문제에 대한 Word2Vec의 두 가지/너무 간단한 적응." HLT-NAACL. 2015.

4. 강의 2B- 실용에 대한 개요 [Chris Dyer]

이 강의는 코스의 실용적인 부분에 동기를 부여합니다.

[슬라이드] [비디오]

5. 강의 3- 언어 모델링 및 RNNS Part 1 [Phil Blunsom]

언어 모델링은 많은 NLP 애플리케이션에서 실질적으로 사용하는 중요한 작업입니다. 이 강의는 전통적인 N- 그램 기반 접근법과보다 현대적인 신경 접근법을 포함한 언어 모델링을 소개합니다. 특히 인기있는 재발 성 신경망 (RNN) 언어 모델이 소개되고 기본 교육 및 평가 알고리즘이 설명되어 있습니다.

[슬라이드] [비디오]

독서

교과서

• 딥 러닝, 10 장.

블로그

• 반복 신경 네트워크의 불합리한 효과, Andrej Karpathy.
• 문자 수준 언어 모델의 불합리한 효과, Yoav Goldberg.
• 재발 신경 네트워크에 대한 직교 초기화를 설명하고 설명하는 Stephen Merity.

6. 강의 4- 언어 모델링 및 RNNS Part 2 [Phil Blunsom]

이 강의는 이전의 강의에서 계속 진행되며 RNN 언어 모델의 효과적인 구현과 관련된 일부 문제를 고려합니다. 사라지고 폭발하는 그라디언트 문제가 설명되고 LSTM (Long Shot Term Memory)과 같은 건축 솔루션이 소개됩니다.

[슬라이드] [비디오]

독서

교과서

• 딥 러닝, 10 장.

사라지는 그라디언트, LSTM 등

• 재발 성 신경망을 훈련하기가 어렵습니다. Pascanu et al., ICML 2013.
• 긴 단기 기억. Hochreiter 및 Schmidhuber, 신경 계산 1997.
• 통계 기계 번역을위한 RNN 인코더 데코를 사용한 학습 문구 표현. Cho et al, EMNLP 2014.
• 블로그 : LSTM 네트워크 이해, Christopher Olah.

큰 어휘를 다루고 있습니다

• 확장 가능한 계층 적 분산 언어 모델. Mnih and Hinton, NIPS 2009.
• 신경 확률 언어 모델을 훈련하기위한 빠르고 간단한 알고리즘. MNIH 및 TEH, ICML 2012.
• 신경 기계 번역에 매우 큰 대상 어휘를 사용합니다. Jean et al., ACL 2015.
• 언어 모델링의 한계 탐색. Jozefowicz et al., Arxiv 2016.
• GPU의 효율적인 SoftMax 근사. Grave et al., Arxiv 2016.
• 노이즈 대비 추정 및 음성 샘플링에 대한 참고 사항. 다이어, ARXIV 2014.
• 기계 번역에서 실용적인 신경 언어 모델링. Baltescu and Blunsom, NAACL 2015

정규화 및 드롭 아웃

• 이론적으로 반복 신경 네트워크에서 드롭 아웃 적용. Gal and Ghahramani, NIPS 2016.
• 블로그 : 딥 러닝의 불확실성, Yarin Gal.

다른 것들

• 반복 고속도로 네트워크. Zilly et al., Arxiv 2016.
• 재발 성 신경망의 용량 및 훈련 가능성. Collins et al., Arxiv 2016.

7. 강의 5- 텍스트 분류 [Karl Moritz Hermann]

이 강의는 순진한 베이와 같은 기본 분류기부터 시작하여 RNN 및 컨볼 루션 네트워크로 진행되는 텍스트 분류에 대해 설명합니다.

[슬라이드] [비디오]

독서

• 텍스트 분류를위한 반복 컨볼 루션 신경 네트워크. Lai et al. AAAI 2015.
• 문장 모델링을위한 컨볼 루션 신경 네트워크, Kalchbrenner et al. ACL 2014.
• 재귀 매트릭스 벡터를 통한 시맨틱 조성 성, Socher et al. EMNLP 2012.
• 블로그 : NLP, Denny Britz의 Convolution Neural Networks 이해.
• 논문 : Hermann (2014)의 구성 시맨틱에 대한 분포 표현.

8. 강의 6- NVIDIA GPUS의 DEEP NLP [Jeremy Appleyard]

이 강의는 딥 러닝 알고리즘을 실행하기위한 CPU의 대안으로 그래픽 처리 장치 (GPU)를 소개합니다. GPU의 강점과 약점은 물론 메모리 대역폭과 계산이 RNN에 대한 처리량에 어떻게 영향을 미치는지 이해하는 것의 중요성에 대해 논의됩니다.

[슬라이드] [비디오]

독서

• GPU에서 반복 신경 네트워크의 성능을 최적화합니다. Appleyard et al., Arxiv 2016.
• 영구 RNNS : 재발 성 중량 온칩, Diamos et al., ICML 2016
• GPU의 효율적인 SoftMax 근사. Grave et al., Arxiv 2016.

9. 강의 7- 조건부 언어 모델 [Chris Dyer]

이 강의에서 우리는 이전 정보를 통합하기 위해 언어 모델링 개념을 확장합니다. 입력 표현에 RNN 언어 모델을 조절함으로써 상황에 맞는 언어를 생성 할 수 있습니다. 이 일반적인 아이디어는 변환 및 요약과 같은 작업을 위해 서열을 새로운 시퀀스로 변환하거나 컨텐츠를 설명하는 캡션으로 적용 할 수 있습니다.

[슬라이드] [비디오]

독서

• 반복 연속 번역 모델. Kalchbrenner와 Blunsom, EMNLP 2013
• 신경 네트워크를 사용한 서열 학습에 대한 서열. Sutskever et al., NIPS 2014
• 멀티 모달 신경 언어 모델. Kiros et al., ICML 2014
• 표시 및 말 : 신경 이미지 캡션 생성기. Vinyals et al., CVPR 2015

10. 강의 8- 관심있는 언어 생성 [Chris Dyer]

이 강의는 심층 신경망에서 사용되는 가장 중요하고 영향력있는 메커니즘 중 하나 인주의를 소개합니다. 주의는 입력의 특정 부분에서 조절할 수있는 기능을 갖춘 재발 된 네트워크를 증대하며 기계 번역 및 이미지 캡션과 같은 작업에서 고성능을 달성하는 데 핵심입니다.

[슬라이드] [비디오]

독서

• 공동으로 조정하고 번역하는 법을 배우는 신경 기계 번역. Bahdanau et al., ICLR 2015
• 시각적 관심을 가진 신경 이미지 캡션 생성을 보여주고 참석하고 말하십시오. Xu et al., ICML 2015
• 구조적 정렬 바이어스를주의 신경 번역 모델에 통합합니다. Cohn et al., NAACL 2016
• BLEU : 기계 번역의 자동 평가 방법. Papineni et al, ACL 2002

11. 강의 9- 음성 인식 (ASR) [Andrew Senior]

자동 음성 인식 (ASR)은 구어 언어의 원시 오디오 신호를 텍스트 전사로 변환하는 작업입니다. 이 강연은 가우스 혼합물에서주의 증강 RNN, 언어의 기본 언어학, 자주 사용되는 다양한 입력 및 출력 표현에 이르기까지 ASR 모델의 역사를 다룹니다.

[슬라이드] [비디오]

12. 강의 10- 텍스트로 연설 (TTS) [Andrew Senior]

이 강의는 서면 언어를 음성 언어로 변환하기위한 알고리즘을 소개합니다 (텍스트 to Speech). TTS는 ASR의 역 프로세스이지만 적용된 모델에는 몇 가지 중요한 차이점이 있습니다. 여기서 우리는 전통적인 TTS 모델을 검토 한 다음 DeepMind의 Wavenet 모델과 같은 최신 신경 접근법을 다룹니다.

[슬라이드] [비디오]

13. 강의 11- 질문 답변 [Karl Moritz Hermann]

[슬라이드] [비디오]

독서

• 기계를 읽고 이해하도록 가르치는 교육. Hermann et al., NIPS 2015
• 답변 문장 선택을위한 딥 러닝. Yu et al., NIPS 딥 러닝 워크숍 2014

14. 강의 12- 메모리 [Ed Grefenstette]

[슬라이드] [비디오]

독서

• 동적 외부 메모리가있는 신경망을 사용한 하이브리드 컴퓨팅. Graves et al., Nature 2016
• 신경의 관심과의 유도에 대한 추론. Rocktäschel et al., ICLR 2016
• 무한한 기억으로 변환하는 법을 배웁니다. Grefenstette et al., NIPS 2015
• 엔드 투 엔드 메모리 네트워크. Sukhbaatar et al., NIPS 2015

15. 강의 13- 신경망의 언어 지식

[슬라이드] [비디오]

광장

우리는 코스 중에 수업 토론을 촉진하기 위해 광장을 사용 할 것입니다. 질문을 직접 이메일로 보내지 않고, 동료 학생, 강사 및 강사가 답변 할 수 있도록 피아자에 질문을 게시하는 것이 좋습니다. 그러나이 과정의 모든 강사들은 그들의 시간을 자원하고 있으며 항상 응답을 할 수있는 것은 아닙니다.

https://piazza.com/ox.ac.uk/winter2017/dnlpht2017/home에서 수업 페이지를 찾으십시오

평가

이 과정의 기본 평가는 용어가 끝날 때 발행 된 테이크 홈 과제입니다. 이 과제는 코스에서 논의 된 개념과 모델과 선택된 연구 간행물에서 질문하는 질문을합니다. 질문의 특성에는 모델에 대한 수학적 설명 분석 및 이러한 모델에 대한 확장, 개선 또는 평가 제안이 포함됩니다. 과제는 또한 학생들에게 특정 연구 간행물을 읽고 과정의 맥락에서 제안 된 알고리즘에 대해 논의하도록 요청할 수 있습니다. 답변에 응답 할 때 학생들은 일관된 서면 논증을 제시하고 적절한 수학 공식을 사용하고 아마도 의사 코드를 사용하여 답을 설명 할 것으로 예상됩니다.

과정의 실질적인 구성 요소는 일반적인 방식으로 평가됩니다.

감사의 말

이 과정은 NVIDIA의 옥스포드 컴퓨터 과학 대학교, Microsoft Azure로부터 GPU 자원의 관대 한 기부금없이 Deepmind의 지원 없이는 불가능했을 것입니다.