nsdown / several_crawlers

---

　　

这个项目是为写爬虫系列博客建立的，之前的爬虫项目太过混乱，写了博客整理并复习了一下，而且之前的是在windows7中运行的，现在改用ubuntu，移植的过程中出现了一些不一致的地方，改为在ubuntu上可以顺利运行的版本。

　　

博客地址在这里。

　　

所写爬虫主要作以下之用：

　

1. 爬取韩寒博客--保存为html文件

2. 爬取百度贴吧图片区图片--一次爬取一个图册

3. 爬取糗事百科段子--命令行交互式

4. 用scrapy爬取艺龙网机票信息--保存为json文件

5. 用scrapy爬取糗事百科段子--保存为json文件

6. 用scrapy爬取妹子图网站图片--保存为本地图片

7. 用scrapy爬取百度贴吧图片--一次爬取一个贴吧

8. 用scrapy爬取jav图书馆作品链接--保存为txt文件，老司机专用