raindrop-hb / douyin_spider Goto Github PK

如果可以支持自定义需要每条视频爬取的评论数数量就最好了

RT，新建的日期文件夹是空的

我尝试运行main.py来进行抓包，可是失败了，请问main.py是最新的吗？

填完数量只有闪一下，创建文件夹没有视频下载

长连接目前不支持啊 都支持一下

如果能够增加批量就更好了

今天出现了，连接更新服务器失败了

你好，我运行脚本，输入主页链接和数量之后，会出现如下错误，但是有时候能正常下载不报错，是我的cookie有效期有问题吗？
Traceback (most recent call last):
File "E:\python\df_plat\douyin\douyin_spider-main\main.py", line 242, in
main()
File "E:\python\df_plat\douyin\douyin_spider-main\main.py", line 225, in main
a = head(a,headers=headers).headers['Location']
File "C:\ProgramData\Anaconda3\lib\site-packages\requests\structures.py", line 52, in getitem
return self._store[key.lower()][1]
KeyError: 'location'

支持爬取某个类别下的视频吗？比如“游戏”“娱乐”“二次元”……

建议增加一个 配置文档 自己可以去修改配置参数 例如命名格式

["author"]["nickname"] ["aweme_id"] 等标签参数 支持自己可修改模式 还有python的格式化时间 也支持一下 自己可修改

%y 两位数的年份表示（00-99）

%Y 四位数的年份表示（000-9999）

%m 月份（01-12）

%d 月内中的一天（0-31）

%H 24小时制小时数（0-23）

%I 12小时制小时数（01-12）

%M 分钟数（00=59）

%S 秒（00-59）

%a 本地简化星期名称

%A 本地完整星期名称

%b 本地简化的月份名称

%B 本地完整的月份名称

%c 本地相应的日期表示和时间表示

%j 年内的一天（001-366）

%p 本地A.M.或P.M.的等价符

%U 一年中的星期数（00-53）星期天为星期的开始

%w 星期（0-6），星期天为星期的开始

%W 一年中的星期数（00-53）星期一为星期的开始

%x 本地相应的日期表示

%X 本地相应的时间表示

%Z 当前时区的名称

%% %号本身

下面列出一些格式化字符串及其含义：
%Y-%m-%d：年-月-日
%H:%M:%S：时:分:秒
%Y-%m-%d %H:%M:%S：年-月-日 时:分:秒
%Y%m%d%H%M%S：年月日时分秒
%A, %B %d %Y：星期全称，月份全称 日 年
%Y-%m-%d %H:%M:%S.%f：年-月-日 时:分:秒.毫秒

('%Y-%m-%d %H:%M:%S') '2022-05-31 09:08:18'
('%Y-%m-%d %H:%M:%S.%f') '2022-05-31 09:08:18.428828'