nlp

NLP Basics

• Introdução a conjuntos de dados comuns
• Fonte de atualização recomendada
• Crie uma caixa de ferramentas NLP
• Como medir modelos de classificação de aprendizado de máquina
• Saco de palavras e modelos TFIDF
• Modelo Word2vec e modelo DOC2VEC
• Modelo Word2vec do faça você mesmo
• Classificação de documentos usando perceptron de várias camadas
• Use o FastText para classificação de documentos
• Usando LDA para modelagem de tópicos de documentos
• Use Jieba para anotação de parte chinesa
• Extração de palavras -chave automática usando o TexTrank e TFIDF
• Documentar similaridade

Casos de aplicação de PNL

• Realize análise de sentimentos de comentários alimentares

Deixe a máquina entender o texto

Imagens, palavras e sons são as três formas mais comuns de contato humano e compreensão do mundo externo, e as palavras são as formas mais facilmente preservadas e trocadas. Um grande número de civilizações humanas é finalmente preservado na forma de palavras; Como as máquinas podem se comunicar com as pessoas, entender os pensamentos humanos e, finalmente, entender palavras e várias idéias e intenções por trás delas como seres humanos? O processamento de linguagem natural, o chamado PNL, é uma importante tecnologia de apoio.

PNL e segurança

Na ofensa e defesa tradicionais da Web, todo mundo formou um vínculo indissolúvel com o protocolo HTTP. Mas no campo de segurança, a ofensa da web e a defesa são apenas uma pequena filial. Muitos e-mails de spam obviamente não relacionados podem ser vistos pelas pessoas, mas os gateways de spam baseados em regras são sempre insatisfatórios para processar. Cada vez mais comércio eletrônico, fóruns e até sites de vídeo sempre podem ver ataques pessoais óbvios ou informações ilegais, mas o mecanismo de filtragem com base nas regras é sempre ignorado. Os seres humanos podem entender facilmente o interruptor de vinte e quatro e saber se uma maçã é uma fruta ou um telefone celular, mas como a máquina faz isso? A resposta é NLP.

Um livro de NLP de código aberto

Este pode ser o primeiro livro introdutório da PNL escrito com idéias de código aberto, e todo o processo de escrita está no meu github.

 https://github.com/duoergun0729/nlp

A razão pela qual quero escrever com a ideia de código aberto é principalmente porque a tecnologia PNL, especialmente a tecnologia de PNL baseada no aprendizado de máquina, está se desenvolvendo muito rápido. de produção em massa em 2017. Mas muitos livros de processamento de idiomas naturais permanecem dentro do escopo dos cursos universitários, e até vetores de palavras raramente estão envolvidos. Posso escrever e atualizar livros de papel com ciclos relativamente pesados ​​no Github e também pode ser modificado rapidamente se houver uma errata. Atualmente , completei três deles e continuarei atualizando o conteúdo posteriormente.

Licença

© 2018 ~ 2020 Irmão Dou.

Este trabalho é licenciado sob a Licença Internacional Creative Commons Attribution-NonCommercial Use 4.0 International. Qualquer conduta comercial que use o livro sem minha permissão é ilegal.

Recompensa

Escrever um livro não é fácil, especialmente escrevendo o tempo de descanso pessoal.

Se você preferir a forma de planeta de conhecimento, pode participar do meu planeta de conhecimento e perguntas relacionadas ao PNL também podem ser feitas no planeta.