COVID 19 NLP vis

Pronóstico epidémico y análisis de opinión pública

La pila de tecnología de este proyecto es lo suficientemente básica y debe ser muy adecuada para los proyectos de análisis y visualización de datos para principiantes. Básicamente, siempre que comprenda Python y tenga conocimiento básico de rastreadores, redes, HTML, etc., puede lograrlo.

La epidemia de la nueva neumonía por coronavirus (Covid-19, conocida como "nueva neumonía del coronavirus") ha desatado a muchos países en todo el mundo. El 11 de marzo de 2020, la Organización Mundial de la Salud (OMS) anunció oficialmente que enumeraría la nueva neumonía de Coronavirus como pandemia global.

En el proceso de lucha contra la nueva epidemia de coronavirus a nivel mundial, se han generado datos de epidemia a gran escala sin precedentes. La tecnología y los métodos de análisis de big data pueden ayudar a descubrir fuentes de infección por virus, monitorear el desarrollo de la epidemia y asignar materiales de rescate, para llevar a cabo mejor la prevención de la epidemia y el trabajo de control. Como parte importante del análisis de Big Data, el análisis de datos espaciales combina orgánicamente el procesamiento de datos inteligentes, la pantalla intuitiva y el análisis interactivo, de modo que la inteligencia de la máquina y la inteligencia humana están profundamente integradas y complementarias a las ventajas de los demás, proporcionando una base efectiva y una guía para el análisis, el comando y la toma de decisiones en la prevención epidémica y el control.

Este proyecto espera utilizar la tecnología de análisis de datos espaciales interactivos y utilizar Flask + Pyecharts para construir una plataforma de análisis interactiva simple para visualizar y visualizar los nuevos datos epidémicos de la neumonía de la corona, percibir y predecir la tendencias de desarrollo y las notas clave de la epidémica, analizar la evolución dinámica de los temas de las redes sociales y las emotiones y la realización de la situación social de la opinión pública.

El informe de análisis del proyecto se ha implementado en la página web, puede hacer clic en http://covid.yunwei123.tech/ para verlo

Captura de pantalla del informe de análisis visual interactivo:

Estructura de documentos y directorio

• conjuntos de datos

  • China_Provincedata.CSV Datos epidémicos de provincias, municipios, regiones autónomas y regiones administrativas especiales en China

  • Datos de epidemia de campo de campo.CSV de 214 países y regiones de todo el mundo y diamantes Princess Cruise

  • ncov_900k_train.unlabled.csv

    El conjunto de datos recopila datos basados ​​en 230 palabras clave temáticas relacionadas con "nueva neumonía por coronavirus", y captura un total de 1 millón de datos de Weibo del 1 de enero de 2020 al 20 de febrero de 2020, y marca manualmente 100,000 de ellos. Las anotaciones se dividen en tres categorías: 1 (positivo), 0 (neutral) y -1 (negativo).

  • ncov_100k_train.labled.csv es lo mismo que el anterior, marcado

    Dado que el conjunto de datos original no se puede encontrar, solo los archivos procesados ​​están actualmente

  • ncov_10k_test.csv igual que el anterior

  • YQKX_DATA-5_21.CSV Noticias de la epidemia diaria de 100 personas obtenidas usando rastreadores

  • Organización social de China_epidemic Prevención y control-5_21.CSV China Organización social de la organización social Plataforma de servicio público Prevención y control de la zona de control Noticias

  • Weibocomments-5_21.CSV 5.21 Weibo y datos de comentarios bajo el tema de "luchar contra la epidemia"

• cuaderno utilizado para el análisis

• MyScripts Python Scripts (rastreadores, visualizaciones, procesamiento de datos, etc.)

  • Spider-yqkx.py People's Daily Crawler
  • Organización Spider-Social.Py Plataforma de servicio público de Organización Social China
  • weibo_fight La epidemia crawler_spider.py Weibo "Fight the Epidemic" Crawler
  • pyecharts-zhexian-country.py use pyecharts para dibujar la curva de datos epidémicos de cualquier país
  • Código de análisis de clúster Hierachy.py Hierachy
  • Jiebafenci.py Jieba Word Participle Code y Word Cloud Diagram Rendering
  • Linecountry.py genera gráfico de curva epidémica
  • Código de análisis logístico de Logistic.py
  • Mapchina.py genera mapa epidémica de China
  • mapworld.py genera un mapa de epidemia mundial
  • Herramienta de procesamiento de datos de weiboprocess.py weiboprocess.py
  • weiboanalyse.py Código de análisis de datos de Weibo
  • wordData.py weiboworddata.py Word Cloud Map guarda datos
  • tfidf.py Visualización del valor TFIDF
  • Sentiments.py Sentiments Analysis

• Plantillas: sitio web HTML/CSS/JS y archivos de imagen

• index.md: versión de Markdown del sitio web

• servidor.py: aplicación Flask

• Diseño del algoritmo de predicción para los datos de cronometraje de la nueva neumonía del coronavirus.docx

Pila de tecnología relacionada con parte de trabajo

• Consulta de construcción de bases de datos y instrucción SQL
• visualización de pyechart
• Análisis de datos SQL de Postgres
• Análisis de sentimientos de SnownLP
• jié
• matraz

correr:

1. Ejecutar Server.py:

Use Docker:

 docker build -t covidvisimage .
docker run -d --name covidvis -p 5000:5000 covidvisimage

O:

 pip3 install -r requirements.txt
python3 server.py

2. Abra http://127.0.0.1:5000/

Nota: La versión de Pyecharts utilizada aquí es 1.7.1 , que puede ser parcialmente incompatible con las versiones posteriores 1.8 o más. Puede instalarlo a través del siguiente comando:

PIP Instale Pyecharts == 1.7.1