COVID 19 NLP vis

Previsão epidêmica e análise de opinião pública

A pilha de tecnologia deste projeto é básica o suficiente e deve ser muito adequada para projetos de análise e visualização de dados para iniciantes. Basicamente, desde que você entenda o Python e tenha conhecimento básico de rastreadores, redes, HTML etc., você pode alcançá -lo.

A epidemia da nova pneumonia coronavírus (Covid-19, conhecida como "novo coronavírus pneumonia") tem riving muitos países ao redor do mundo. Em 11 de março de 2020, a Organização Mundial da Saúde (OMS) anunciou oficialmente que listaria uma nova pneumonia de coronavírus como uma pandemia global.

No processo de combate à nova epidemia de coronavírus globalmente, dados epidêmicos em larga escala sem precedentes foram gerados. A tecnologia e os métodos de análise de big data podem ajudar a descobrir fontes de infecção por vírus, monitorar o desenvolvimento da epidemia e alocar materiais de resgate, de modo a realizar melhor o trabalho de prevenção e controle epidêmicos. Como parte importante da análise de big data, a análise de dados espaciais combina organicamente processamento inteligente de dados, exibição intuitiva e análise interativa, de modo que a inteligência da máquina e a inteligência humana são profundamente integradas e complementares às vantagens uns dos outros, fornecendo uma base e guia eficazes para análise, comando e tomada de decisão na prevenção e controle epidemia.

Este projeto espera usar a tecnologia interativa de análise de dados espaciais e usar o Flask + Pyecharts para criar uma plataforma de análise interativa simples para visualizar e visualizar os novos dados epidêmicos de pneumonia da Crown, percebem e prevê as tendências de desenvolvimento e os principais nós da epidemia, analisam a evolução pública dos tópicos e emoções sociais.

O relatório de análise do projeto foi implantado na página da web, você pode clicar em http://covid.yunwei123.tech/ para visualizá -lo

Captura de tela do relatório de análise visual interativa:

Documento e estrutura de diretório

• conjuntos de dados

  • China_provincedata.csv Dados epidêmicos de províncias, municípios, regiões autônomas e regiões administrativas especiais na China

  • Dados da epidemia de CountryData.CSV de 214 países e regiões em todo o mundo e Diamond Princess Cruise Ship

  • ncov_900k_train.unlabled.csv

    O conjunto de dados coleta dados com base em 230 palavras -chave temáticas relacionadas a "New Coronavirus pneumonia" e captura um total de 1 milhão de dados do WEIBO de 1º de janeiro de 2020 a 20 de fevereiro de 2020 e marca manualmente 100.000 deles. As anotações são divididas em três categorias: 1 (positivo), 0 (neutro) e -1 (negativo).

  • ncov_100k_train.labled.csv é o mesmo que acima, marcado

    Como o conjunto de dados original não pode ser encontrado, apenas os arquivos processados ​​são atualmente

  • ncov_10k_test.csv o mesmo que acima

  • YQKX_DATA-5_21.CSV 100 DIÁRIO DA EPIDEMICA DA PESSOAS Notícias obtidas usando rastreadores

  • China Social Organization_epidemic Prevention and Control-5_21.CSV China Organização Social Public Service Plataform Prevenção e Notícias da Zona de Controle Zone

  • Weibocomments-5_21.csv 5.21 Weibo e comentam dados sob o tema de "combater a epidemia"

• Notebook usado para análise

• Myscripts Python Scripts (rastreadores, visualizações, processamento de dados etc.)

  • spider-yqkx.py diariamente rastreador de pessoas
  • Organização Social da Aranha.
  • weibo_fight the epidemic crawler_spider.py weibo "combate a epidemia" rastreador
  • pyecharts-zhexian-country.py use pyecharts para desenhar a curva de dados epidêmicos de qualquer país
  • Código de análise de cluster hierachy.py Hierachy
  • jiebafenci.py jieba word code e word cloud diagrama rendering
  • linecountry.py gera gráfico de curva epidêmica
  • Logistic.py Código de análise logística
  • mapchina.py gera mapa epidêmica da China
  • mapworld.py gera um mapa epidêmico mundial
  • Mergeweibo.py weboprocess.py Weibo Data Processing Tool
  • código de análise de dados weiboanalyse.py weibo
  • worddata.py weiboworddata.py word na nuvem mapa salva dados
  • visualização de valor tfidf.py tfidf
  • Análise de Sentimentos Sentimentos.Py

• Modelos: site html/css/js e arquivos de imagem

• Index.md: versão de rekdown do site

• Server.py: Flask App

• Design do algoritmo de previsão para dados de tempo de novo coronavírus pneumonia.docx

Pilha de tecnologia relacionada à parte de trabalho

• Construção de banco de dados e consulta de instrução SQL
• Visualização de Pyechart
• Análise de dados do SQL Postgres
• Análise de sentimentos de SNOWLP
• Jieba
• balão

correr:

1. Run Server.py:

Use Docker:

 docker build -t covidvisimage .
docker run -d --name covidvis -p 5000:5000 covidvisimage

OU:

 pip3 install -r requirements.txt
python3 server.py

2. Abra http://127.0.0.1:5000/

Nota: A versão Pyecharts usada aqui é 1.7.1 , que pode ser parcialmente incompatível com as versões subsequentes 1.8 ou acima. Você pode instalá -lo através do seguinte comando:

PIP Instale Pyecharts == 1.7.1