存放自己爬虫项目
目的:爬取某网站发布的新冠信息
covid_spider.py文件是实际爬取程序,spider里的两个文件夹内容是存储数据
首先访问指定的网站,然后爬取网页内容,对爬取到的网页内容进行一个数据筛查, 提取需要的数据,保存到指定的json格式文件。
from encodings.utf_8 import encode
from pip import main
import requests
from bs4 import BeautifulSoup
import re
import json
from tqdm import tqdm
# 发送请求,获取疫情首页
response = requests.get(url)
return response.content.decode()
corona_virus = []
for country in tqdm(last_day_covid,'采集近日以来各国的疫情数据'): # tqdm为进度条显示
# 发送请求,获取各国至今的json数据
statistics_data_url = country['statisticsData']
statistics_data_json_str = self.get_content_from_url(statistics_data_url)
#print(statistics_data_json_str)
# 把json数据转换为python类型的数据,添加列表中
def save_data(self,path,data):
# json格式保存
with open(path,'w',encoding='utf8') as fp:
json.dump(data,fp,ensure_ascii=False)