w-karl-marx / 51job_spiders

前程无忧爬虫

51job_spiders

前程无忧爬虫

【程序运行前确保项目需要的库都已下载】

数据爬取：

1、修改代码52行，根据需要修改页数，默认2页，数据分析需要海量数据时可修改成10000页
2、运行51job_view.py
3、输入职位关键词 如：大数据、C语言、软件开发
4、爬取到的数据将储存在51job.xls

程序中注释内容包含大量调试信息，以及网页修改前的正则（不可用） 爬取过程中因为单页内容较多，请耐心等候 如果程序未能爬取到信息，可能的原因是缺少包，或者该网页源码被修改，需要重新定义正则

数据清洗与数据可视化

1、运行51job_view2.py
2、代码默认对职位的清洗条件的非Python相关的职位，需要根据各位需要自行修改
3、清洗后的数据将储存在51job2.xlsx,(若清洗后的数据中还有错误数据，可修改清洗条件或手动将错误数据删除)
4、pyecharts动态图将生成 .html 文件，用浏览器打开即可

详细过程可见博客：https://blog.mehoon.com/?p=107