大蟒蛇python教程共享Python爬虫爬取疫情数据并可视化展示

目录
  • 知识点
  • 开发环境
  • 爬虫完整代码
    • 导入模块
    • 分析网站
    • 发送请求
    • 获取数据
    • 解析数据
    • 保存数据
  • 数据可视化
    • 导入模块
    • 读取数据
    • 死亡率与治愈率
    • 各地区确诊人数与死亡人数情况

知识点

  1. 爬虫基本流程
  2. json
  3. requests 爬虫当中 发送网络请求
  4. pandas 表格处理 / 保存数据
  5. pyecharts 可视化

开发环境

python 3.8 比较稳定版本 解释器发行版 anaconda jupyter notebook 里面写数据分析代码 专业性

pycharm 专业代码编辑器 按照年份与月份划分版本的

爬虫完整代码

导入模块

  import requests      # 发送网络请求模块  import json  import pprint        # 格式化输出模块  import pandas as pd  # 数据分析当中一个非常重要的模块

分析网站

先找到今天要爬取的目标数据

https://news.qq.com/zt2020/page/feiyan.htm#/

Python爬虫爬取疫情数据并可视化展示

找到数据所在url

Python爬虫爬取疫情数据并可视化展示

Python爬虫爬取疫情数据并可视化展示

发送请求

  url = 'https://view.inews.qq.com/g2/getonsinfo?name=disease_h5&_=1638361138568'  response = requests.get(url, verify=false)

获取数据

  json_data = response.json()['data']

解析数据

  json_data = json.loads(json_data)  china_data = json_data['areatree'][0]['children'] # 列表  data_set = []  for i in china_data:      data_dict = {}      # 地区名称      data_dict['province'] = i['name']      # 新增确认      data_dict['nowconfirm'] = i['total']['nowconfirm']      # 死亡人数      data_dict['dead'] = i['total']['dead']      # 治愈人数      data_dict['heal'] = i['total']['heal']      # 死亡率      data_dict['deadrate'] = i['total']['deadrate']      # 治愈率      data_dict['healrate'] = i['total']['healrate']      data_set.append(data_dict)

保存数据

  df = pd.dataframe(data_set)  df.to_csv('data.csv')

Python爬虫爬取疫情数据并可视化展示

数据可视化

导入模块

  from pyecharts import options as opts  from pyecharts.charts import bar,line,pie,map,grid

读取数据

  df2 = df.sort_values(by=['nowconfirm'],ascending=false)[:9]  df2

Python爬虫爬取疫情数据并可视化展示

死亡率与治愈率

  line = (      line()      .add_xaxis(list(df['province'].values))      .add_yaxis("治愈率", df['healrate'].values.tolist())      .add_yaxis("死亡率", df['deadrate'].values.tolist())      .set_global_opts(          title_opts=opts.titleopts(title="死亡率与治愈率"),        )  )  line.render_notebook()

 Python爬虫爬取疫情数据并可视化展示

各地区确诊人数与死亡人数情况

  bar = (      bar()      .add_xaxis(list(df['province'].values)[:6])      .add_yaxis("死亡", df['dead'].values.tolist()[:6])      .add_yaxis("治愈", df['heal'].values.tolist()[:6])      .set_global_opts(          title_opts=opts.titleopts(title="各地区确诊人数与死亡人数情况"),          datazoom_opts=[opts.datazoomopts()],          )  )  bar.render_notebook()

Python爬虫爬取疫情数据并可视化展示

以上就是python爬虫爬取疫情数据并可视化展示的详细内容,更多关于python爬取数据 可视化展示的资料请关注<计算机技术网(www.ctvol.com)!!>其它相关文章!

需要了解更多python教程分享Python爬虫爬取疫情数据并可视化展示,都可以关注python教程分享栏目—计算机技术网(www.ctvol.com)!

本文来自网络收集,不代表计算机技术网立场,如涉及侵权请联系管理员删除。

ctvol管理联系方式QQ:251552304

本文章地址:https://www.ctvol.com/pythontutorial/975442.html

(0)
上一篇 2021年12月20日
下一篇 2021年12月20日

精彩推荐