COVID 19 NLP vis

Prévisions épidémiques et analyse d'opinion publique

La pile technologique de ce projet est suffisamment basique et devrait être très adaptée aux projets d'analyse et de visualisation des données débutants. Fondamentalement, tant que vous comprenez Python et que vous avez des connaissances de base des robots, des réseaux, du HTML, etc., vous pouvez y parvenir.

L'épidémie de la nouvelle pneumonie coronavirus (Covid-19, appelée «nouvelle pneumonie coronavirus») a fait rage de nombreux pays à travers le monde. Le 11 mars 2020, l'Organisation mondiale de la santé (OMS) a officiellement annoncé qu'elle énumérerait la pneumonie du coronavirus comme une pandémie mondiale.

Dans le processus de lutte contre la nouvelle épidémie de coronavirus à l'échelle mondiale, des données épidémiques à grande échelle sans précédent ont été générées. La technologie et les méthodes d'analyse des mégadonnées peuvent aider à découvrir des sources d'infection par virus, à surveiller le développement de l'épidémie et à allouer des matériaux de sauvetage, afin de mieux effectuer la prévention et le travail de contrôle épidémique. En tant que partie importante de l'analyse des mégadonnées, l'analyse des données spatiales combine organiquement le traitement intelligent des données, l'affichage intuitif et l'analyse interactive, afin que l'intelligence machine et l'intelligence humaine soient profondément intégrées et complémentaires aux avantages de l'autre, fournissant une base et un guide efficaces pour l'analyse, la commande et la prise de décision dans la prévention et le contrôle épidémiques.

Ce projet espère utiliser la technologie interactive des données spatiales et utiliser Flask + Pyecharts pour créer une plate-forme d'analyse interactive simple pour visualiser et visualiser les nouvelles données épidémiques de la pneumonie de la couronne, percevoir et prédire les tendances de développement et les nœuds clés de l'épidémie, analyser l'évolution dynamique des sujets et des émotions des médias sociaux, et réalisent la situation de l'opinion publique sociale.

Le rapport d'analyse du projet a été déployé sur la page Web, vous pouvez cliquer sur http://covid.yunwei123.tech/ pour le voir

Capture d'écran du rapport d'analyse visuelle interactive:

Document et Structure du répertoire

• ensembles de données

  • Chine_provincedata.csv Données épidémiques des provinces, municipalités, régions autonomes et régions administratives spéciales en Chine

  • CountryData.csv Données épidémiques de 214 pays et régions du monde entier et Diamond Princess Cruise Ship

  • NCOV_900K_TRAIN.UNLALED.CSV

    L'ensemble de données recueille des données basées sur 230 mots clés de thème liés à "New Coronavirus Pneumonia" et capture un total de 1 million de données Weibo du 1er janvier 2020 au 20 février 2020 et en marque manuellement 100 000. Les annotations sont divisées en trois catégories: 1 (positif), 0 (neutre) et -1 (négative).

  • NCOV_100K_TRAIN.LALED.CSV est le même que ci-dessus, marqué

    Étant donné que l'ensemble de données d'origine ne peut pas être trouvé, seuls les fichiers traités sont actuellement

  • NCOV_10K_TEST.CSV Identique à ci-dessus

  • yqkx_data-5_21.csv 100 nouvelles épidémiques quotidiennes de personnes obtenues à l'aide de robots

  • Organisation sociale de Chine_épidémique Prévention et contrôle-5_21.CSV Organisation de la Chine Plateforme de service public Plateforme de prévention et zone de contrôle de la zone de contrôle épidémique

  • WeiboComments-5_21.csv 5.21 Weibo et commentaires des données sous le thème de "combattre l'épidémie"

• Notebook utilisé pour l'analyse

• MyScripts Python Scripts (robots, visualisations, traitement des données, etc.)

  • Spider-yqkx.py Crawler quotidien des gens
  • Organisation Spider-Social.Py Organisation sociale chinoise Plateforme de service public Crawler
  • Weibo_fight L'épidémie Crawler_spider.py Weibo "Fight the Epidemic" Crawler
  • pyecharts-zhexian-country.py utilise des pyecharts pour dessiner la courbe de données épidémique de n'importe quel pays
  • Hierachy.py Hierachy Cluster Analysis Code
  • jiebafenci.py jieba code de participe de mot et rendu de diagramme de cloud de mots
  • linecounry.py génère un graphique de courbe épidémique
  • Code d'analyse logistique Logistic.py
  • mapchina.py génère la carte épidémique de la Chine
  • mapworld.py génère une carte épidémique mondiale
  • Mergeweibo.py Weiboprocess.py Weibo Data Treat Tool Tool
  • Weiboanalyse.py Weibo Data Analysis Code
  • worddata.py WeibowordData.py Word Cloud Map Enregistre les données
  • TFIDF.py Visualisation de la valeur TFIDF
  • Sentiments.py Sentiments Analyse

• Modèles: Site Web HTML / CSS / JS et fichiers photo

• index.md: version de marque du site Web

• server.py: application FLASK

• Conception de l'algorithme de prédiction pour les données de synchronisation de la nouvelle pneumonie du coronavirus.docx

Pile de technologies liées aux pièces de travail

• Construction de la base de données et requête de déclaration SQL
• visualisation pyechart
• Analyse des données SQL Postgres
• Analyse des sentiments Snownlp
• jieba
• ballon

courir:

1. Exécuter server.py:

Utiliser Docker:

 docker build -t covidvisimage .
docker run -d --name covidvis -p 5000:5000 covidvisimage

OU:

 pip3 install -r requirements.txt
python3 server.py

2. Ouvrir http://127.0.0.1:5000/

Remarque: La version Pyecharts utilisée ici est 1.7.1 , qui peut être partiellement incompatible avec les versions ultérieures 1.8 ou supérieures. Vous pouvez l'installer via la commande suivante:

pip install pyecharts == 1.7.1