利用cookie登录豆瓣,然后抓取豆瓣上所有小组,总共8个大类67个小类,9w左右个小组。
cookie_str2dict.py 用于将浏览器上的cookie字符串转化为字典键值对
使用scrapy框架,用CrawlSpider 进行爬取
使用mongodb 存储数据
charm-j / douban_group Goto Github PK
View Code? Open in Web Editor NEWThis project forked from onetratown/douban_group
利用cookie登录豆瓣,然后抓取豆瓣上所有小组,总共8个大类67个小类,9w左右个小组。
License: GNU General Public License v3.0