course nlp

Une introduction par code au traitement du langage naturel

Vous pouvez découvrir le cours de ce billet de blog et toutes les vidéos de conférences sont disponibles ici.

Ce cours a été initialement enseigné dans le programme Masters of Science of Data Science de l'Université de San Francisco, été 2019.

Table des matières

Les sujets suivants seront couverts:

1. Qu'est-ce que la PNL?

• Un champ changeant
• Ressources
• Outils
• Bibliothèques python
• Exemples d'applications
• Problèmes d'éthique

2. Modélisation de sujets avec NMF et SVD

• Mots d'arrêt, engendrés et lemmatisation
• Matrice de documents à terme
• Fréquence de la fréquence des sujets envers la fréquence des documents (TF-IDF)
• Décomposition de valeur singulière (SVD)
• Factorisation matricielle non négative (NMF)
• SVD tronqué, SVD randomisé

3. Classification des sentiments avec des Bayes naïfs, régression logistique et ngrams

• Stockage à matrice clairsemée
• Comptoirs
• La bibliothèque Fastai
• Bayes naïf
• Régression logistique
• Ngrams
• Régression logistique avec des caractéristiques naïves de Bayes, avec des trigrammes

4. Regex (et tokenisation revisitive)

5. Modélisation linguistique et classification des sentiments avec apprentissage en profondeur

• Modèle de langue
• Transfert d'apprentissage
• Classification des sentiments

6. Traduction avec RNNS

• Examiner les intégres
• Métrique bleu
• Enseignant forçant
• Bidirectionnel
• Attention

7. Traduction avec l'architecture du transformateur

• Modèle de transformateur
• Attention multiples
• Masquage
• Lissage étiqueté

8. Biais et éthique en PNL

• biais dans les intégrations de mot
• Types de biais
• Économie de l'attention
• noyade dans des informations frauduleuses / fausses

Pourquoi ce cours est-il enseigné dans un ordre étrange?

Ce cours est structuré avec une méthode d'enseignement descendante , qui est différente de la façon dont la plupart des cours de mathématiques fonctionnent. En règle générale, dans une approche ascendante , vous apprenez d'abord tous les composants distincts que vous utiliserez, puis vous les construisez progressivement en structures plus complexes. Les problèmes avec cela sont que les étudiants perdent souvent la motivation, n'ont pas le sens de la "vue d'ensemble" et ne savent pas ce dont ils auront besoin.

Le professeur de Harvard, David Perkins, a un livre, faisant de l'apprentissage entier dans lequel il utilise le baseball comme analogie. Nous n'avons pas besoin que les enfants mémorisent toutes les règles du baseball et comprennent tous les détails techniques avant de les laisser jouer au jeu. Au contraire, ils commencent à jouer avec un sens juste général, puis apprennent progressivement plus de règles / détails au fil du temps.

Si vous avez suivi le cours de l'apprentissage en profondeur, c'est ce que nous avons utilisé. Vous pouvez en savoir plus sur ma philosophie d'enseignement dans ce billet de blog ou sur cette conférence que j'ai donnée à la Meetup d'apprentissage automatique de San Francisco.

Tout cela à dire, ne vous inquiétez pas si vous ne comprenez pas tout au début! Vous n'êtes pas censé le faire. Nous allons commencer à utiliser des "boîtes noires", puis nous approfondirons les détails du niveau inférieur plus tard.

Pour commencer, concentrez-vous sur ce que font les choses, pas sur ce qu'ils sont.