moregun / spider_world

🕷spider world with me

spider_world

自己实现的爬虫记录，现已实现的爬虫有

1. scrapy 电影天堂爬虫
2. scrapy 站酷爬虫
3. scrapy 通用爬虫
4. 抖音视频爬虫

其中，Aburame 文件夹下实现的是通用爬虫，如果是不需要登录的全站爬虫，用它实现可以说非常简单，只需要进行简单的配置即可。实现全站爬虫的逻辑主要在页面解析和分析，非常方便

有什么问题，小伙伴们欢迎在我issues提，一起进步

该爬虫模块长期有效，后续会增加更多有趣的爬虫，如果对小伙伴们有帮助的话，请给我star鼓励，先谢过了

如何使用抖音爬虫

python3下运行这个项目

$ git clone https://github.com/hacksman/spider_world.git
$ cd spider_world/www_douyin_com/
$ python video_download_run.py -upost 93515402600

已经支持命令对应的功能有：

-upost  该用户已发布的所有视频
-ulike  该用户喜欢过的所有视频
-m      是否同时下载该用户的视频和音频（注意，这里必须和-upost 或 -ulike 同时使用）
-one    下载单个视频 

命令演示：

# 下载用户id为(93515402600) 所有已发布的视频
$ python video_download_run.py -upost 93515402600

# 下载用户id为(93515402600) 所有已发布的视频和音频
$ python video_download_run.py -m -upost 93515402600

# 下载用户id为(93515402600) 所有喜欢过的视频
$ python video_download_run.py -ulike 93515402600

# 下载视频id为(6610679501925911815) 的视频
$ python video_download_run.py -one 6610679501925911815

你可以通过以下方式获取用户id

用户id就是图中最后一步链接user后的数字，比如此处url为https://www.douyin.com/share/user/93515402600，用户id就是93515402600

你可以通过以下方式获取视频id

视频id就是就是图中最后一步链接video后的数字，比如此处url为

https://www.iesdouyin.com/share/video/6610679501925911815/?u_code=hjdm8k44&region=CN&mid=6610679524466101005&schema_type=1&object_id=6610679501925911815&utm_campaign=client_scan_share&app=aweme&utm_medium=ios&tt_from=scan_share&iid=45561030398&utm_source=scan_share

视频id就是6610679501925911815

如果你正常运行命令python video_download_run.py -upost 93515402600的实例， 将会得到类似如下的log日志

2018-10-11 20:11:21,039 - douyin_crawl.py[line:147] INFO - download_favorite_video 正在下载视频 Gaiamount_93515402600_#8k #hdr 论现场灯光的重要性～ 
2018-10-11 20:11:27,817 - douyin_crawl.py[line:147] INFO - download_favorite_video 正在下载视频 Gaiamount_93515402600_#8k #hdr 片场那些好玩儿的事儿～比如轮椅直线加速⏩ 
2018-10-11 20:11:34,690 - douyin_crawl.py[line:147] INFO - download_favorite_video 正在下载视频 Gaiamount_93515402600_#8k #hdr 关于现场的那些事儿 
2018-10-11 20:11:40,793 - douyin_crawl.py[line:147] INFO - download_favorite_video 正在下载视频 Gaiamount_93515402600_#8k#HDR **首部8K HDR 影片！敬请期待～ 

TODO LIST

• 下载该用户所有视频

• 下载该用户所有视频和音频

• 下载单个视频

• 下载单个视频的音频

• 用户的评论信息