course nlp

Вступление в код для обработки естественного языка

Вы можете узнать о курсе в этом сообщении в блоге, и все видео лекции доступны здесь.

Этот курс первоначально был преподан в программе Университета Сан -Франциско «Мастера наук в области науки о данных» летом 2019 года. Курс преподается в Python с ноутбуками Jupyter, используя такие библиотеки, как Sklearn, NLTK, Pytorch и Fastai.

Оглавление

Будут покрыты следующие темы:

1. Что такое НЛП?

• Изменение поля
• Ресурсы
• Инструменты
• Библиотеки Python
• Пример приложений
• Этические проблемы

2. Тематическое моделирование с NMF и SVD

• Остановить слова, Stemming & Lemmatization
• Матрица термина
• Тематическая частота документов (TF-IDF)
• Разложение единственного значения (SVD)
• Незначательная матричная факторизация (NMF)
• Усеченный SVD, рандомизированный SVD

3. Классификация настроений с наивным байесом, логистической регрессией и NGRAMS

• Разреженное матричное хранилище
• Счетчики
• Библиотека Фастаи
• Наивный Байес
• Логистическая регрессия
• Ngrams
• Логистическая регрессия с наивными байесами, с триграммами

4. regex (и повторная визуализация токенизации)

5. Языковая моделирование и классификация настроений с глубоким обучением

• Языковая модель
• Передача обучения
• Классификация настроений

6. Перевод с RNNS

• Обзор Enterdings
• Bleu метрика
• Учитель принуждение
• Двунаправленный
• Внимание

7. Перевод с архитектурой трансформатора

• Трансформатор модель
• Многообещающее внимание
• Маскировка
• Сглаживание метки

8. предвзятость и этика в NLP

• предвзято
• виды предвзятости
• Экономика внимания
• Утопление в мошеннической/фальшивой информации

Почему этот курс преподается в странном порядке?

Этот курс структурирован с методом преподавания сверху вниз , который отличается от того, как работает большинство курсов по математике. Как правило, в восходящем подходе вы сначала изучаете все отдельные компоненты, которые вы будете использовать, а затем постепенно создаете их в более сложные структуры. Проблемы с этим в том, что студенты часто теряют мотивацию, не имеют ощущения «общей картины» и не знают, что им понадобится.

У профессора Гарварда Дэвид Перкинс есть книга, которая делает обучение целым, в котором он использует бейсбол в качестве аналогии. Мы не требуем, чтобы дети запомнили все правила бейсбола и понимали все технические детали, прежде чем мы позволим им играть в игру. Скорее, они начинают играть с справедливым ощущением этого, а затем постепенно изучают больше правил/деталей с течением времени.

Если вы прошли курс Fast.ai глубокого обучения, это то, что мы использовали. Вы можете услышать больше о моей философии преподавания в этом сообщении в блоге или в этом выступлении, который я выступил на встрече с машинным обучением в Сан -Франциско.

Все это, чтобы сказать, не волнуйтесь, если сначала не понимаете все! Ты не должен. Мы начнем использовать некоторые «черные ящики», а затем копаем подробности нижнего уровня позже.

Чтобы начать, сосредоточьтесь на том, что делают вещи, а не на том, что они есть.