lectures
1.0.0
Ce référentiel contient les diapositives de conférence et la description du cours du cours de traitement du langage naturel profond offert à Hilary Term 2017 à l'Université d'Oxford.
Il s'agit d'un cours avancé sur le traitement du langage naturel. Le traitement automatique des entrées en langage naturel et la production de sorties de langage sont un composant clé de l'intelligence générale artificielle. Les ambiguïtés et le bruit inhérents à la communication humaine rendent les techniques traditionnelles d'IA symboliques inefficaces pour représenter et analyser les données linguistiques. Les techniques statistiques récemment basées sur les réseaux de neurones ont obtenu un certain nombre de succès remarquables dans le traitement du langage naturel, ce qui a conduit à beaucoup d'intérêt commercial et académique dans le domaine
Il s'agit d'un cours appliqué axé sur les progrès récents dans l'analyse et la génération de la parole et du texte à l'aide de réseaux de neurones récurrents. Nous présentons les définitions mathématiques des modèles d'apprentissage automatique pertinents et dérivons leurs algorithmes d'optimisation associés. Le cours couvre une gamme d'applications des réseaux de neurones dans la PNL, notamment l'analyse des dimensions latentes dans le texte, la transcription de la parole au texte, la traduction entre les langues et la réponse aux questions. Ces sujets sont organisés en trois thèmes de haut niveau formant une progression de la compréhension de l'utilisation de réseaux de neurones pour la modélisation du langage séquentiel, de la compréhension de leur utilisation comme modèle de langage conditionnel pour les tâches de transduction, et enfin pour approcher de ces techniques en combinaison avec d'autres mécanismes pour des applications avancées. Tout au long du cours, la mise en œuvre pratique de ces modèles sur le matériel CPU et GPU est également discutée.
Ce cours est organisé par Phil Blunsom et livré en partenariat avec le DeepMind Natural Language Research Group.
Des conférences publiques ont lieu dans le théâtre des conférences 1 du Maths Institute, les mardis et jeudis (sauf la semaine 8), 16: 00-18: 00 (Hilary Term Weeks 1,3-8).
Cette conférence présente le cours et motive pourquoi il est intéressant d'étudier le traitement du langage en utilisant des techniques d'apprentissage en profondeur.
[diapositives] [vidéo]
Cette conférence révise les concepts de base d'apprentissage automatique que les étudiants devraient connaître avant de se lancer dans ce cours.
[diapositives] [vidéo]
Les mots sont le signification centrale portant des unités dans la langue. Représenter et apprendre la signification des mots est une tâche fondamentale dans la PNL et dans cette conférence, le concept d'un mot incorpore est introduit comme une solution pratique et évolutive.
[diapositives] [vidéo]
Cette conférence motive le segment pratique du cours.
[diapositives] [vidéo]
La modélisation linguistique est une tâche importante d'une grande utilisation pratique dans de nombreuses applications PNL. Cette conférence présente la modélisation du langage, y compris les approches traditionnelles basées sur le N-Gram et les approches neuronales plus contemporaines. En particulier, le modèle de langage du réseau neuronal récurrent (RNN) est introduit et ses algorithmes de formation et d'évaluation de base décrits.
[diapositives] [vidéo]
Cette conférence se poursuit à partir de la précédente et considère certains des problèmes liés à la production d'une implémentation efficace d'un modèle de langue RNN. Le problème du gradient de fuite et d'explosion est décrit et des solutions architecturales, telles que la mémoire à court terme (LSTM), sont introduites.
[diapositives] [vidéo]
Cette conférence traite de la classification du texte, en commençant par des classificateurs de base, tels que Naive Bayes, et progressant vers les RNN et les réseaux de convolution.
[diapositives] [vidéo]
Cette conférence introduit des unités de traitement graphique (GPU) comme une alternative aux processeurs pour exécuter des algorithmes d'apprentissage en profondeur. Les forces et les faiblesses des GPU sont discutées ainsi que l'importance de comprendre comment la bande passante de la mémoire et le débit d'impact sur le calcul pour les RNN.
[diapositives] [vidéo]
Dans cette conférence, nous étendons le concept de modélisation du langage pour intégrer des informations antérieures. En conditionnant un modèle de langue RNN sur une représentation d'entrée, nous pouvons générer un langage contextuellement pertinent. Cette idée très générale peut être appliquée pour transduler les séquences dans de nouvelles séquences pour des tâches telles que la traduction et la résumé, ou des images en légendes décrivant leur contenu.
[diapositives] [vidéo]
Cette conférence présente l'un des mécanismes les plus importants et les plus influencés utilisés dans les réseaux de neurones profonds: l'attention. L'attention augmente les réseaux récurrents avec la possibilité de conditionner des parties spécifiques de l'entrée et est la clé pour atteindre des performances élevées dans des tâches telles que la traduction automatique et le sous-titrage de l'image.
[diapositives] [vidéo]
La reconnaissance de la parole automatique (ASR) est la tâche de transdurer les signaux audio bruts du langage parlé dans les transcriptions de texte. Cette conversation couvre l'histoire des modèles ASR, des mélanges gaussiens aux RNN augmentés d'attention, la linguistique de base de la parole et les différentes représentations d'entrée et de sortie fréquemment utilisées.
[diapositives] [vidéo]
Cette conférence présente des algorithmes pour convertir le langage écrit en langue parlée (texte en parole). TTS est le processus inverse de l'ASR, mais il existe des différences importantes dans les modèles appliqués. Ici, nous passons en revue les modèles TTS traditionnels, puis couvrons les approches neuronales plus récentes telles que le modèle Wavenet de DeepMind.
[diapositives] [vidéo]
[diapositives] [vidéo]
[diapositives] [vidéo]
[diapositives] [vidéo]
Nous utiliserons Piazza pour faciliter la discussion en classe pendant le cours. Plutôt que de envoyer des questions directement par e-mail, je vous encourage à poster vos questions sur la Piazza à répondre à vos camarades, instructeurs et professeurs. Cependant, veuillez noter que tous les conférenciers de ce cours font de leur temps et peuvent ne pas toujours être disponibles pour donner une réponse.
Trouvez notre page de classe sur: https://piazza.com/ox.ac.uk/winter2017/dnlpht2017/home
La principale évaluation de ce cours sera une affectation à emporter émise à la fin de la durée. Cette mission posera des questions sur les concepts et les modèles discutés dans le cours, ainsi que dans certaines publications de recherche. La nature des questions comprendra l'analyse des descriptions mathématiques des modèles et la proposition d'extensions, d'améliorations ou d'évaluations à ces modèles. La mission peut également demander aux étudiants de lire des publications de recherche spécifiques et de discuter de leurs algorithmes proposés dans le contexte du cours. En répondant aux questions, les élèves devront à la fois présenter des arguments écrits cohérents et utiliser des formules mathématiques appropriées, et éventuellement un pseudo-code, pour illustrer les réponses.
La composante pratique du cours sera évaluée de la manière habituelle.
Ce cours n'aurait pas été possible sans le soutien de Deepmind, du Département d'informatique de l'Université d'Oxford, de Nvidia, et du généreux don de ressources GPU de Microsoft Azure.
