COVID 19 NLP vis

Prakiraan epidemi dan analisis opini publik

Tumpukan teknologi proyek ini cukup mendasar dan harus sangat cocok untuk analisis data pemula dan proyek visualisasi. Pada dasarnya, selama Anda memahami Python dan memiliki pengetahuan dasar tentang perayap, jaringan, HTML, dll., Anda dapat mencapainya.

Epidemi novel Coronavirus pneumonia (Covid-19, disebut sebagai "Coronavirus pneumonia baru") telah mengamuk banyak negara di seluruh dunia. Pada 11 Maret 2020, Organisasi Kesehatan Dunia (WHO) secara resmi mengumumkan bahwa mereka akan mencantumkan Coronavirus pneumonia baru sebagai pandemi global.

Dalam proses melawan epidemi coronavirus baru secara global, data epidemi skala besar yang belum pernah terjadi sebelumnya telah dihasilkan. Teknologi dan metode analisis data besar dapat membantu menemukan sumber infeksi virus, memantau pengembangan epidemi, dan mengalokasikan bahan penyelamatan, sehingga dapat melakukan pekerjaan pencegahan dan kontrol epidemi dengan lebih baik. Sebagai bagian penting dari analisis data besar, analisis data spasial secara organik menggabungkan pemrosesan data yang cerdas, tampilan intuitif dan analisis interaktif, sehingga kecerdasan mesin dan kecerdasan manusia sangat terintegrasi dan saling melengkapi dengan keunggulan dan pengendalian yang efektif, memberikan basis dan panduan yang efektif untuk analisis, perintah dan pengambilan keputusan dalam pencegahan dan kontrol epidemik.

Proyek ini berharap untuk menggunakan teknologi analisis data spasial interaktif dan menggunakan Flask + Pyecharts untuk membangun platform analisis interaktif sederhana untuk memvisualisasikan dan memvisualisasikan data epidemi pneumonia mahkota baru, merasakan dan memprediksi tren pembangunan dan node utama dari epidemi, menganalisis evolusi dinamis topik dan emosi media sosial, dan menyadari situasi sosial.

Laporan Analisis Proyek telah digunakan ke halaman web, Anda dapat mengklik http://covid.yunwei123.tech/ untuk melihatnya

Tangkapan layar Laporan Analisis Visual Interaktif:

Dokumen dan Struktur Direktori

• kumpulan data

  • China_provincedata.csv data epidemi dari provinsi, kotamadya, daerah otonom dan daerah administrasi khusus di Cina

  • Data Epidemi CountryData.CSV dari 214 negara dan daerah di seluruh dunia dan kapal pesiar Princess Diamond

  • ncov_900k_train.unlabled.csv

    Kumpulan data mengumpulkan data berdasarkan 230 kata kunci tema yang terkait dengan "Coronavirus pneumonia baru", dan menangkap total 1 juta data Weibo dari 1 Januari 2020 hingga 20 Februari 2020, dan secara manual menandai 100.000 di antaranya. Anotasi dibagi menjadi tiga kategori: 1 (positif), 0 (netral) dan -1 (negatif).

  • ncov_100k_train.labled.csv sama seperti di atas, ditandai

    Karena dataset asli tidak dapat ditemukan, hanya file yang diproses saat ini

  • ncov_10k_test.csv sama seperti di atas

  • yqkx_data-5_21.csv 100 orang epidemi harian diperoleh dengan menggunakan crawler

  • China Social Organization_epidemic Prevention and Control-5_21.csv China Social Organization Platform Layanan Publik Pencegahan Epidemi dan Berita Zona Kontrol

  • Weibocomments-5_21.csv 5.21 Weibo dan komentar berkomentar dengan tema "melawan epidemi"

• Notebook yang digunakan untuk analisis

• MyScripts skrip python (crawler, visualisasi, pemrosesan data, dll.)

  • Spider-yqkx.py People's Daily Crawler
  • Organisasi Laba-Laba-Sosial.py Organisasi Sosial Tiongkok Platform Layanan Publik Crawler
  • weibo_fight epidemi crawler_spider.py weibo "melawan epidemi" crawler
  • pyecharts-zhexian-country.py menggunakan pyecharts untuk menggambar kurva data epidemi dari negara mana pun
  • Hierachy.py Hierachy Cluster Analisis Kode
  • Jiebafenci.py Jieba Word Participle Code dan Word Cloud Diagram Rendering
  • linecountry.py menghasilkan bagan kurva epidemi
  • Logistic.py Code Analisis Logistik
  • mapchina.py menghasilkan peta epidemi cina
  • Mapworld.py menghasilkan peta epidemi dunia
  • mergeweibo.py weiboprocess.py alat pemrosesan data weibo
  • weiboanalyse.py kode analisis data weibo
  • worddata.py weiboworddata.py kata cloud peta menyimpan data
  • tfidf.py visualisasi nilai tfidf
  • analisis sentimen sentimen.py

• Templat: Situs web html/css/js dan file gambar

• Index.md: Versi penurunan harga situs web

• Server.py: Aplikasi Flask

• Desain algoritma prediksi untuk waktu data Coronavirus pneumonia.docx baru

Tumpukan Teknologi Terkait Bagian Kerja

• Konstruksi Database dan Pernyataan Pernyataan SQL
• Visualisasi Pyechart
• Analisis Data SQL Postgres
• Analisis Sentimen Snownlp
• Jieba
• labu

berlari:

1. Jalankan server.py:

Gunakan Docker:

 docker build -t covidvisimage .
docker run -d --name covidvis -p 5000:5000 covidvisimage

ATAU:

 pip3 install -r requirements.txt
python3 server.py

2. Buka http://127.0.0.1:5000/

Catatan: Versi Pyecharts yang digunakan di sini adalah 1.7.1 , yang mungkin sebagian tidak kompatibel dengan versi selanjutnya 1.8 atau lebih. Anda dapat menginstalnya melalui perintah berikut:

Pip Instal Pyecharts == 1.7.1