前程无忧爬虫
【程序运行前确保项目需要的库都已下载】
1、修改代码52行,根据需要修改页数,默认2页,数据分析需要海量数据时可修改成10000页
2、运行51job_view.py
3、输入职位关键词 如:大数据、C语言、软件开发
4、爬取到的数据将储存在51job.xls
程序中注释内容包含大量调试信息,以及网页修改前的正则(不可用) 爬取过程中因为单页内容较多,请耐心等候 如果程序未能爬取到信息,可能的原因是缺少包,或者该网页源码被修改,需要重新定义正则
1、运行51job_view2.py
2、代码默认对职位的清洗条件的非Python相关的职位,需要根据各位需要自行修改
3、清洗后的数据将储存在51job2.xlsx,(若清洗后的数据中还有错误数据,可修改清洗条件或手动将错误数据删除)
4、pyecharts动态图将生成 .html 文件,用浏览器打开即可
详细过程可见博客:https://blog.mehoon.com/?p=107