course nlp

Una introducción de código primero al procesamiento del lenguaje natural

Puede conocer el curso en esta publicación de blog y todos los videos de conferencias están disponibles aquí.

Este curso se enseñó originalmente en el Programa de Maestría en Ciencias de Ciencias de Datos de la Universidad de San Francisco, verano de 2019. El curso se enseña en Python con cuadernos Jupyter, utilizando bibliotecas como Sklearn, NLTK, Pytorch y Fastai.

Tabla de contenido

Se cubrirán los siguientes temas:

1. ¿Qué es NLP?

• Un campo cambiante
• Recursos
• Herramientas
• Bibliotecas de pitón
• Aplicaciones de ejemplo
• Problemas de ética

2. Modelado de temas con NMF y SVD

• Detener palabras, Stemming y lemmatización
• Matriz de documento de término
• Tema Frecuencia de documento-documento de la frecuencia (TF-IDF)
• Descomposición de valor singular (SVD)
• Factorización de matriz no negativa (NMF)
• SVD truncado, SVD aleatorizado

3. Clasificación de sentimientos con Bayes ingenuos, regresión logística y ngrams

• Almacenamiento de matriz escaso
• Mostrador
• la biblioteca de Fastai
• Bayes ingenuos
• Regresión logística
• Ngrams
• Regresión logística con características ingenuas de Bayes, con trigramas

4. Regex (y volver a visitar la tokenización)

5. Modelado de idiomas y clasificación de sentimientos con aprendizaje profundo

• Modelo
• Transferir el aprendizaje
• Clasificación de sentimientos

6. Traducción con RNNS

• Revisar incrustaciones
• Bleu métrica
• Foring de maestro
• Bidireccional
• Atención

7. Traducción con la arquitectura del transformador

• Modelo de transformador
• Atención múltiple
• Enmascaramiento
• Suavizado de la etiqueta

8. Besgo y ética en PNL

• sesgo en incrustaciones de palabras
• Tipos de sesgo
• economía de atención
• ahogamiento en información fraudulenta/falsa

¿Por qué se enseña este curso en un orden extraño?

Este curso está estructurado con un método de enseñanza de arriba hacia abajo , que es diferente de cómo funcionan la mayoría de los cursos de matemáticas. Por lo general, en un enfoque de abajo hacia arriba , primero aprende todos los componentes separados que usará, y luego los construye gradualmente en estructuras más complejas. Los problemas con esto son que los estudiantes a menudo pierden la motivación, no tienen una idea del "panorama general" y no saben lo que necesitarán.

El profesor de Harvard, David Perkins, tiene un libro, que hace que el aprendizaje sea completo en el que usa el béisbol como analogía. No requerimos que los niños memoricen todas las reglas del béisbol y comprendan todos los detalles técnicos antes de dejarlos jugar. Más bien, comienzan a jugar con un sentido general de ello, y luego aprenden gradualmente más reglas/detalles a medida que pasa el tiempo.

Si tomaste el curso de aprendizaje profundo de ayuno, eso es lo que usamos. Puedes escuchar más sobre mi filosofía de enseñanza en esta publicación de blog o esta charla que di en la reunión de aprendizaje automático de San Francisco.

Todo eso para decir, ¡no te preocupes si no entiendes todo al principio! Se supone que no lo haces. Comenzaremos a usar algunas "cajas negras" y luego profundizaremos en los detalles de nivel inferior más adelante.

Para comenzar, concéntrese en lo que hacen las cosas, no en lo que son.