Projeto de gráfico de conhecimento da web de código aberto
- Rastreie a página chinesa da Enciclopédia Baidu
- Analisar triplos e conteúdo da web
- Construindo um gráfico de conhecimento chinês
- Construindo um bot da Encyclopedia (em construção)
Atualização 20200720
Referência de implantação no Windows Como implantar no Windows, graças ao LMY-NLP0701!
Atualização 20191121
- Migrar o código para o RAWLER Framework Scrapy
- Extração otimizada de alguns códigos
- Migração de persistência de dados para MongoDB
- Corrija o problema de falha do chatbot
- Abra a interface Neo4J Backend para visualizar o efeito de formação de gráficos de conhecimento
Pontas
- Se for um problema do projeto, pergunte a um problema.
- Se envolver divulgação inconveniente, envie um email.
- Chatbot, por favor, visite o link
- O link de acesso ao gráfico de conhecimento da enciclopédia moldada, nome de usuário: neo4j, senha: 123. Os efeitos são os seguintes:
ambiente
- Python 3.6
- Re: URL Combatge regular
- Scrapy: rastreador da web e análise da web
- NEO4J: Banco de dados de gráficos de conhecimento, consulte o link para instalação
- pip install neo4j-driver: neo4j python driver
- PIP Instale PymonGodb: Suporte Python para MongoDB
- Banco de dados MongoDB: link de referência de instalação
Execução de código:
cd WEB_KG/baike
scrapy crawl baike
Interface de execução (pressione Ctrl+C para parar): 
Renderizações do gráfico de conhecimento
Página da web conteúdo armazenado por MongoDB
Triplos armazenados por MongoDB
Interface de fundo neo4j
