lectures
1.0.0
Этот репозиторий содержит слайды лекций и описание курса для курса по обработке глубокого языка, предлагаемого в термине Hilary 2017 в Оксфордском университете.
Это продвинутый курс по обработке естественного языка. Автоматическая обработка входов естественного языка и производство языковых выходов является ключевым компонентом искусственного общего интеллекта. Неопределения и шум, присущие человеческому общению, делают традиционные символические методы ИИ неэффективными для представления и анализа языковых данных. Недавно статистические методы, основанные на нейронных сетях, достигли ряда замечательных успехов в обработке естественного языка, что привело к большому коммерческому и академическому интересу в этой области
Это прикладный курс, ориентированный на последние достижения в анализе и генерации речи и текста с использованием повторяющихся нейронных сетей. Мы вводим математические определения соответствующих моделей машинного обучения и выводим связанные с ними алгоритмы оптимизации. Курс охватывает целый ряд приложений нейронных сетей в НЛП, включая анализ скрытых аспектов в тексте, транскрибирующих речи к тексту, перевода между языками и ответа на вопросы. Эти темы организованы в три темы высокого уровня, образуя прогрессирование от понимания использования нейронных сетей для последовательного моделирования языка, до понимания их использования в качестве моделей условного языка для задач трансдукции, и, наконец, к подходам с использованием этих методов в сочетании с другими механизмами для передовых приложений. На протяжении всего курса также обсуждается практическая реализация таких моделей на оборудовании ЦП и графического процессора.
Этот курс организован Филом Блунсом и проведен в партнерстве с исследовательской группой DeepMind Natural Language.
Общественные лекции проводятся в лекционном театре 1 Института математики, по вторникам и четвергам (кроме недели 8), 16: 00-18: 00 (Hilary Term Weeks 1,3-8).
Эта лекция представляет курс и мотивирует, почему интересно изучать языковую обработку с использованием методов глубокого обучения.
[слайды] [видео]
Эта лекция пересматривает основные концепции машинного обучения, которые студенты должны знать, прежде чем приступить к этому курсу.
[слайды] [видео]
Слова являются основным значением подразделений с языком. Представление и изучение значений слов является фундаментальной задачей в НЛП, и в этой лекции концепция встраивания слова внедряется как практическое и масштабируемое решение.
[слайды] [видео]
Эта лекция мотивирует практический сегмент курса.
[слайды] [видео]
Языковое моделирование является важной задачей большого практического использования во многих приложениях НЛП. Эта лекция вводит языковое моделирование, в том числе традиционные подходы на основе N-грамма и более современные нейронные подходы. В частности, введена популярная рецидивирующая языковая модель нейронной сети (RNN) и описаны ее основные алгоритмы обучения и оценки.
[слайды] [видео]
Эта лекция продолжается с предыдущей и рассматривает некоторые проблемы, связанные с созданием эффективной реализации модели языка RNN. Проблема исчезновения и взрыва градиента описана и вводятся архитектурные решения, такие как длинная краткосрочная память (LSTM).
[слайды] [видео]
В этой лекции обсуждается классификация текста, начиная с основных классификаторов, таких как наивные байеса, и прогрессируя в RNN и сети сверток.
[слайды] [видео]
Эта лекция представляет графические обработки (графические процессоры) в качестве альтернативы процессорам для выполнения алгоритмов глубокого обучения. Обсуждаются сильные и слабые стороны графических процессоров, а также важность понимания того, как пропускная способность и пропускная способность вычислений на вычисления для RNN.
[слайды] [видео]
В этой лекции мы расширяем концепцию языкового моделирования, чтобы включить предварительную информацию. Конструкция модели языка RNN на входном представлении, мы можем генерировать контекстуально релевантный язык. Эта очень общая идея может быть применена для преобразования последовательностей в новые последовательности для таких задач, как перевод и суммирование, или изображения в подписи, описывающие их содержание.
[слайды] [видео]
Эта лекция вводит один из самых важных и влиятельных механизмов, используемых в глубоких нейронных сетях: внимание. Внимание дополняет рецидивирующие сети с возможностью обусловленности на определенных частях ввода и является ключом к достижению высокой производительности в таких задачах, как машинный перевод и подписание изображений.
[слайды] [видео]
Автоматическое распознавание речи (ASR) является задачей преобразования необработанных аудиосигналов разговорного языка в текстовые транскрипции. Этот разговор охватывает историю моделей ASR, от гауссовых смесей до внимания, дополненных RNN, основной лингвистики речи и различных входных и выходных представлений, часто используемых.
[слайды] [видео]
Эта лекция вводит алгоритмы для преобразования письменного языка в разговорной язык (текст в речь). TTS - это обратный процесс для ASR, но есть некоторые важные различия в применяемых моделях. Здесь мы рассмотрим традиционные модели TTS, а затем освещаем более поздние нейронные подходы, такие как модель DeepMind Wavenet.
[слайды] [видео]
[слайды] [видео]
[слайды] [видео]
[слайды] [видео]
Мы будем использовать Piazza для облегчения обсуждения в классе в течение курса. Вместо того, чтобы напрямую по электронной почте, я призываю вас опубликовать ваши вопросы на Piazza, чтобы получить ответ ваших сокурсников, инструкторов и преподавателей. Однако, пожалуйста, обратите внимание, что все лекторы для этого курса добровольно участвуют в своем времени и не всегда могут быть доступны, чтобы дать ответ.
Найдите нашу страницу класса по адресу: https://piazza.com/ox.ac.uk/winter2017/dnlpht2017/home
Основной оценкой для этого курса будет назначение на дому, выпущенное в конце срока. В этом задании будут задавать вопросы, опираясь на концепции и модели, обсуждаемые в курсе, а также из выбранных исследовательских публикаций. Характер вопросов будет включать анализ математических описаний моделей и предложение расширения, улучшения или оценки к таким моделям. Задание также может попросить студентов прочитать конкретные исследования в области исследования и обсудить предлагаемые их алгоритмы в контексте курса. Ожидается, что студенты будут представлять как последовательные письменные аргументы, так и использовать соответствующие математические формулы, так и, возможно, псевдокод, чтобы проиллюстрировать ответы.
Практический компонент курса будет оцениваться обычным способом.
Этот курс был бы невозможным без поддержки DeepMind, Департамента компьютерных наук Оксфорда, NVIDIA, и щедрого пожертвования ресурсов графического процессора от Microsoft Azure.
