834640725 / articlespider

2018年5月 更新版【Python分布式爬虫打造搜索引擎代码+教程】(已上线) 【爬虫端】(知乎 & 拉勾 & 伯乐)

2018.5: ArticleSpider-mysql

2018.05月最新可用Scrapy爬取数据 + elasticSearch 存储并提供api + Django打造搜索引擎。

线上演示地址: http://search.mtianyan.cn

elasticSearch数据量大之后太吃内存，养不起了，所以搜索服务暂停。

本仓库为数据采集爬虫代码的mysql版本:实现了将知乎伯乐在线拉勾网存入mysql

• 搜索引擎Django网站代码请前往: https://github.com/mtianyan/mtianyanSearch
• 全量版本存放入elasticSearch的版本代码: 请前往本仓库的分支ArticleSpider-elasticsearch进行获取

Background:

原版视频课程地址:

原版视频已经出了有一段时间，知乎更换了登录的接口。拉勾也不再像以前那么友好不需要登录。讲师在视频里只处理了文章的搜索。下面教程仅作为学习笔记：希望能让后来者少趟一些坑。

简书持续更新文集地址: https://www.jianshu.com/nb/11202633

About me

简书 && mtianyan's blog

有趣的Python群：619417153

欢迎关注简书，star项目！谢谢！

你的关注支持是我继续分享前进的动力。

求打赏鼓励

很高兴我写的文章（或我的项目代码）对你有帮助，请我吃包辣条吧！

微信打赏:

支付宝打赏: