course nlp

Uma introdução de código primeiro ao processamento de linguagem natural

Você pode descobrir o curso nesta postagem do blog e todos os vídeos de palestras estão disponíveis aqui.

Este curso foi ministrado originalmente no programa de Ciência de Ciência de Dados da Universidade de São Francisco.

Índice

Os seguintes tópicos serão abordados:

1. O que é PNL?

• Um campo em mudança
• Recursos
• Ferramentas
• Bibliotecas Python
• Exemplo de aplicações
• Questões de ética

2. Modelagem de tópicos com NMF e SVD

• Parar palavras, Stemming e Lemmatization
• Matriz de documentos de termo
• Frequência de tópico Frequência de documentos-Inversos (TF-IDF)
• Decomposição de valor singular (SVD)
• Fator de matriz não negativa (NMF)
• SVD truncado, SVD randomizado

3. Classificação de sentimentos com Bayes ingênuos, regressão logística e ngrams

• Armazenamento da matriz esparsa
• Contadores
• A biblioteca Fastai
• Bayes ingênuo
• Regressão logística
• Ngrams
• Regressão logística com recursos ingênuos de Bayes, com trigramas

4. Regex (e re-visitar tokenização)

5. Modelagem de idiomas e classificação de sentimentos com aprendizado profundo

• Modelo de idioma
• Transferência de aprendizado
• Classificação de sentimentos

6. Tradução com RNNs

• Revise as incorporações
• Métrica Bleu
• Professor forçando
• Bidirecional
• Atenção

7. Tradução com a arquitetura do transformador

• Modelo do transformador
• Atenção de várias cabeças
• Mascaramento
• Rótulo de suavização

8. Viés e ética na NLP

• preconceitos em incorporações de palavras
• Tipos de viés
• economia de atenção
• Afogando -se em informações fraudulentas/falsas

Por que este curso é ministrado em uma ordem estranha?

Este curso é estruturado com um método de ensino de cima para baixo , que é diferente de como a maioria dos cursos de matemática opera. Normalmente, em uma abordagem de baixo para cima , você primeiro aprende todos os componentes separados que usará e, em seguida, gradualmente, você os construirá em estruturas mais complexas. Os problemas com isso são que os alunos geralmente perdem a motivação, não sentem o "quadro geral" e não sabem o que precisam.

O professor de Harvard, David Perkins, tem um livro, tornando o aprendizado inteiro no qual ele usa o beisebol como uma analogia. Não exigimos que as crianças memorizem todas as regras do beisebol e entendam todos os detalhes técnicos antes de deixá -las jogar o jogo. Em vez disso, eles começam a brincar com um senso geral e depois aprendem gradualmente mais regras/detalhes com o passar do tempo.

Se você fez o curso de aprendizado profundo.ai, é isso que usamos. Você pode ouvir mais sobre minha filosofia de ensino nesta postagem do blog ou nesta palestra que dei no Meetup de aprendizado de máquina de São Francisco.

Tudo isso para dizer, não se preocupe se você não entender tudo no começo! Você não deveria. Começaremos a usar algumas "caixas pretas" e depois cavaremos os detalhes de nível mais baixo posteriormente.

Para começar, concentre -se no que as coisas fazem, não no que são.