lectures

前文

このリポジトリには、オックスフォード大学で2017年に提供される深い自然言語処理コースの講義スライドとコースの説明が含まれています。

これは、自然言語処理に関する高度なコースです。自然な言語入力と言語出力の生産を自動的に処理することは、人工的な一般情報の重要な要素です。人間のコミュニケーションに固有の曖昧さと騒音は、言語データを表現および分析するのに効果的でない、従来の象徴的なAI技術を提供します。最近、ニューラルネットワークに基づいた統計的手法は、自然言語処理において多くの顕著な成功を達成しています。

これは、再発性ニューラルネットワークを使用した音声とテキストの分析と生成の最近の進歩に焦点を当てた応用コースです。関連する機械学習モデルの数学的定義を紹介し、関連する最適化アルゴリズムを導き出します。このコースでは、テキストの潜在寸法の分析、テキストへのスピーチの転写、言語間の翻訳、質問への回答など、NLPのニューラルネットワークのさまざまなアプリケーションをカバーしています。これらのトピックは、シーケンシャル言語モデリングのためのニューラルネットワークの使用を理解することから、伝達タスクの条件付き言語モデルとしての使用を理解すること、そして最終的に高度なアプリケーションの他のメカニズムと組み合わせてこれらの技術を採用するアプローチへの進行を形成する3つの高レベルのテーマに編成されています。コース全体を通して、CPUおよびGPUハードウェアに関するこのようなモデルの実際の実装についても説明します。

このコースは、Phil Blunsomが主催し、Deepmind Natural Language Research Groupと協力して提供されます。

講師

• Phil Blunsom（オックスフォード大学とディープマインド）
• クリス・ダイアー（カーネギー・メロン大学とディープマインド）
• エドワード・グレフェンステット（deepmind）
• カールモリッツヘルマン（ディープマインド）
• アンドリューシニア（ディープマインド）
• 王リン（deepmind）
• ジェレミー・アプライード（nvidia）

タス

• ヤニス・アッサエル
• Yishu Miao
• ブレンダンシリングフォード
• ヤンは買います

時刻表

実践

• グループ1-月曜日、9：00-11：00（2〜8週目）、60.05トムビルディング
• グループ2-金曜日、16：00-18：00（2〜8週目）、379室

1. 実用1：word2vec
2. 実用的2：テキスト分類
3. 実用3：テキスト分類と言語モデリングのための再発ニューラルネットワーク
4. 実用4：実用的なオープン

講義

公開講義は、火曜日と木曜日（8週目を除く）、16：00-18：00（ヒラリー期間1,3-8）に、数学研究所の講義劇場1で開催されます。

講義資料

1。講義1A-はじめに[Phil Blunsom]

この講義では、コースを紹介し、深い学習技術を使用して言語処理を研究することが興味深い理由を動機付けています。

[スライド] [ビデオ]

2。講義1B-深いニューラルネットワークは私たちの友人です[WangLing]

この講義は、このコースに着手する前に学生が知っておくべき基本的な機械学習の概念を改訂します。

[スライド] [ビデオ]

3。講義2A-ワードレベルセマンティクス[Ed Grefenstette]

言葉は、言語の中心的な意味ベアリングユニットです。単語の意味を表現して学習することは、NLPの基本的なタスクであり、この講義では、単語の埋め込みの概念が実用的でスケーラブルなソリューションとして導入されています。

[スライド] [ビデオ]

読む

埋め込み基本

• Firth、John R.「言語理論の概要、1930-1955。」 （1957）：1-32。
• カラン、ジェームズ・リチャード。 「分布からセマンティックの類似性まで。」 （2004）。
• Collobert、Ronan、et al。 「自然言語処理（ほぼ）ゼロから。」 Journal of Machine Learning Research12。Aug（2011）：2493-2537。
• ミコロフ、トマス、他「単語やフレーズの分散表現とその構成性。」神経情報処理システムの進歩。 2013年。

データセットと視覚化

• Finkelstein、Lev、et al。 「コンテキストに検索を配置：概念が再訪されました。」 World Wide Webに関する第10回国際会議の議事録。 ACM、2001年。
• ヒル、フェリックス、ロイ・ライハート、アンナ・コルホネン。 「Simlex-999：（本物の）類似性推定を備えたセマンティックモデルの評価。」計算言語学（2016）。
• マーテン、ローレンス・ファン・デル、ジェフリー・ヒントン。 「T-SNEを使用したデータの視覚化。」 Journal of Machine Learning Research 9.Nov（2008）：2579-2605。

ブログ投稿

• ディープラーニング、NLP、および表現、クリストファーオラ。
• JavaScript、Andrej Karpathyで、T-SNEでトップツイープを視覚化します。

さらに読む

• ヘルマン、カール・モリッツ、フィル・ブルンソン。 「組成分散セマンティクスの多言語モデル。」 Arxiv Preprint arxiv：1404.4641（2014）。
• レビー、オメル、ヨーブ・ゴールドバーグ。 「暗黙のマトリックス因数分解としてのニューラルワード埋め込み。」神経情報処理システムの進歩。 2014年。
• レヴィ、オメル、ヨーブ・ゴールドバーグ、アイド・ダガン。 「単語の埋め込みから学んだ教訓との分布類似性の改善。」協会の計算言語学のトランザクション3（2015）：211-225。
• リン、王、他「構文問題に対するWord2Vecの2つの/あまりにも単純な適応。」 HLT-NAACL。 2015年。

4。講義2b-実践の概要[Chris Dyer]

この講義は、コースの実用的なセグメントを動機付けます。

[スライド] [ビデオ]

5。講義3-言語モデリングとRNNSパート1 [Phil Blunsom]

言語モデリングは、多くのNLPアプリケーションでの重要な実用的なタスクです。この講義では、従来のN-GRAMベースのアプローチやより現代的な神経アプローチなど、言語モデリングを紹介します。特に、一般的な再発性ニューラルネットワーク（RNN）言語モデルが導入され、その基本的なトレーニングと評価アルゴリズムが説明されています。

[スライド] [ビデオ]

読む

教科書

• ディープラーニング、第10章。

ブログ

• 再発性ニューラルネットワークの不合理な有効性、Andrej Karpathy。
• キャラクターレベルの言語モデルの不合理な有効性、Yoav Goldberg。
• 再発性ニューラルネットワークの直交初期化の説明と説明、Stephen Merity。

6。講義4-言語モデリングとRNNSパート2 [Phil Blunsom]

この講義は以前の講義から継続され、RNN言語モデルの効果的な実装の作成に伴う問題のいくつかを考慮しています。消失と爆発の勾配の問題が説明されており、長期記憶（LSTM）などの建築ソリューションが導入されています。

[スライド] [ビデオ]

読む

教科書

• ディープラーニング、第10章。

消失グラデーション、LSTMなど

• 再発性ニューラルネットワークのトレーニングの難しさについて。 Pascanu et al。、ICML 2013。
• 長期的な記憶。 Hochreiter and Schmidhuber、Neural Computation 1997。
• 統計機械翻訳のためにRNNエンコードデコーダーを使用した学習フレーズ表現。 Cho et al、EMNLP 2014。
• ブログ：LSTMネットワークの理解、クリストファー・オラ。

大きな語彙を扱う

• スケーラブルな階層分散言語モデル。 MnihとHinton、NIPS 2009。
• 神経確率論的言語モデルをトレーニングするための高速でシンプルなアルゴリズム。 MnihとTeh、ICML 2012。
• 神経機械翻訳に非常に大きなターゲット語彙を使用すること。 Jean et al。、ACL 2015。
• 言語モデリングの限界の調査。 Jozefowicz et al。、Arxiv 2016。
• GPUの効率的なソフトマックス近似。 Grave et al。、Arxiv 2016。
• ノイズの対照的な推定と負のサンプリングに関するメモ。ダイアー、ARXIV 2014。
• 機械翻訳における実用的な神経言語モデリング。 BaltescuとBlunsom、NAACL 2015

正則化とドロップアウト

• 再発性ニューラルネットワークにおけるドロップアウトの理論的に接地された応用。 Gal and Ghahramani、NIPS 2016。
• ブログ：ディープラーニングの不確実性、ヤリンガル。

他のもの

• 再発性高速道路ネットワーク。 Zilly et al。、Arxiv 2016。
• 再発性ニューラルネットワークの容量と訓練性。 Collins et al。、Arxiv 2016。

7。講義5-テキスト分類[Karl Moritz Hermann]

この講義では、素朴なベイズなどの基本的な分類器から始まり、RNNSと畳み込みネットワークに進むテキスト分類について説明します。

[スライド] [ビデオ]

読む

• テキスト分類のための再発畳み込みニューラルネットワーク。 Lai et al。 AAAI 2015。
• 文章をモデリングするための畳み込みニューラルネットワーク、Kalchbrenner et al。 ACL 2014。
• 再帰的マトリックスベクトル、Socher et al。 EMNLP 2012。
• ブログ：NLP、Denny Britzの畳み込みニューラルネットワークの理解。
• 論文：組成セマンティクスの分布表現、Hermann（2014）。

8。講義6- nvidia gpusの深いNLP [Jeremy Appleyard]

この講義では、深い学習アルゴリズムを実行するためのCPUの代替としてグラフィカル処理ユニット（GPU）を紹介します。 GPUの長所と短所については、RNNのメモリ帯域幅と計算がスループットにどのように影響するかを理解することの重要性について説明します。

[スライド] [ビデオ]

読む

• GPUの再発性ニューラルネットワークのパフォーマンスを最適化します。 Appleyard et al。、Arxiv 2016。
• 永続的なRNNS：留めた再発ウェイトオンチップ、Diamos et al。、ICML 2016
• GPUの効率的なソフトマックス近似。 Grave et al。、Arxiv 2016。

9。講義7-条件付き言語モデル[Chris Dyer]

この講義では、言語モデリングの概念を拡張して、以前の情報を組み込みます。入力表現でRNN言語モデルを条件付けることにより、コンテキストに関連する言語を生成できます。この非常に一般的なアイデアは、シーケンスを翻訳や要約などのタスクの新しいシーケンスに変換したり、コンテンツを説明するキャプションに画像を送信することができます。

[スライド] [ビデオ]

読む

• 再発性連続翻訳モデル。 KalchbrennerとBlunsom、EMNLP 2013
• ニューラルネットワークを使用したシーケンス学習へのシーケンス。 Sutskever et al。、NIPS 2014
• マルチモーダル神経言語モデル。 Kiros et al。、ICML 2014
• 表示および伝える：ニューラル画像キャプションジェネレーター。 Vinyals et al。、CVPR 2015

10。講義8-注意を払った言語を生成[Chris Dyer]

この講義では、深いニューラルネットワークで採用されている最も重要で影響力のあるメカニズムの1つである注意を紹介します。注意は、入力の特定の部分を条件付ける機能を備えた再発ネットワークを増強し、機械翻訳や画像キャプションなどのタスクで高性能を達成するための鍵です。

[スライド] [ビデオ]

読む

• 共同で調整して翻訳することを学習することにより、ニューラル機械の翻訳。 Bahdanau et al。、ICLR 2015
• 視覚的な注意を払って、ニューラルイメージのキャプション生成を示し、出席し、伝えます。 Xu et al。、ICML 2015
• 構造アライメントバイアスを注意深い神経翻訳モデルに組み込みます。 Cohn et al。、Naacl 2016
• BLEU：機械翻訳の自動評価の方法。 Papineni et al、ACL 2002

11。講義9-音声認識（ASR）[アンドリューシニア]

自動音声認識（ASR）は、話された言語の生のオーディオ信号をテキストの転写に伝達するタスクです。この講演では、ガウス混合物から注意の拡張RNNS、音声の基本的な言語学、および頻繁に採用されるさまざまな入力および出力表現まで、ASRモデルの歴史をカバーしています。

[スライド] [ビデオ]

12。講義10-テキストからスピーチ（TTS）[アンドリューシニア]

この講義では、書かれた言語を話し言葉（テキストからスピーチ）に変換するためのアルゴリズムを紹介します。 TTSはASRの逆プロセスですが、適用されるモデルにはいくつかの重要な違いがあります。ここでは、従来のTTSモデルを確認し、DeepMindのWavenetモデルなどの最近のニューラルアプローチをカバーします。

[スライド] [ビデオ]

13。講義11-質問に答える[Karl Moritz Hermann]

[スライド] [ビデオ]

読む

• 読んで理解するためのティーチングマシン。 Hermann et al。、Nips 2015
• 回答文の選択のための深い学習。 Yu et al。、Nips Deep Learning Workshop 2014

14。講義12-メモリ[Ed Grefenstette]

[スライド] [ビデオ]

読む

• 動的な外部メモリを備えたニューラルネットワークを使用したハイブリッドコンピューティング。 Graves et al。、Nature 2016
• 神経の注意を伴う誘惑についての推論。 Rocktäscheletal。、ICLR 2016
• 固定されていないメモリで伝達することを学ぶ。 Grefenstette et al。、NIPS 2015
• エンドツーエンドメモリネットワーク。 Sukhbaatar et al。、NIPS 2015

15。講義13-ニューラルネットワークにおける言語知識

[スライド] [ビデオ]

ピアッツァ

コース中にクラスディスカッションを容易にするためにピアッツァを使用します。質問に直接メールで送信するのではなく、仲間の学生、インストラクター、講師が回答するために、Piazzaに関する質問を投稿することをお勧めします。ただし、このコースのすべての講師が時間を志願していることに注意してください。常に対応するために利用できるとは限りません。

https://piazza.com/ox.ac.uk/winter2017/dnlpht2017/homeでクラスページをご覧ください

評価

このコースの主要な評価は、期間の終わりに発行された持ち帰り課題です。この割り当てでは、コースで議論されている概念とモデル、および選択された研究出版物から質問をします。質問の性質には、モデルの数学的説明を分析し、そのようなモデルの拡張、改善、または評価を提案することが含まれます。この課題は、学生に特定の研究出版物を読んで、コースのコンテキストで提案されたアルゴリズムについて話し合うように依頼する場合があります。質問に答えると、学生は一貫した書面による議論を提示し、適切な数学的式、そしておそらく擬似コードを使用して答えを説明することが期待されます。

コースの実用的なコンポーネントは、通常の方法で評価されます。

謝辞

このコースは、ディープマインド、オックスフォード大学コンピューターサイエンス大学、NVIDIA、およびMicrosoft AzureからのGPUリソ​​ースの寛大な寄付の支援なしでは不可能でした。