raindrop-hb / douyin_spider Goto Github PK
View Code? Open in Web Editor NEW抖音爬虫
抖音爬虫
RT,新建的日期文件夹是空的
如果能够增加批量就更好了
今天出现了,连接更新服务器失败了
长连接目前不支持啊 都支持一下
填完数量只有闪一下,创建文件夹没有视频下载
你好,我运行脚本,输入主页链接和数量之后,会出现如下错误,但是有时候能正常下载不报错,是我的cookie有效期有问题吗?
Traceback (most recent call last):
File "E:\python\df_plat\douyin\douyin_spider-main\main.py", line 242, in
main()
File "E:\python\df_plat\douyin\douyin_spider-main\main.py", line 225, in main
a = head(a,headers=headers).headers['Location']
File "C:\ProgramData\Anaconda3\lib\site-packages\requests\structures.py", line 52, in getitem
return self._store[key.lower()][1]
KeyError: 'location'
建议增加一个 配置文档 自己可以去修改配置参数 例如命名格式
["author"]["nickname"] ["aweme_id"] 等标签参数 支持自己可修改模式 还有python的格式化时间 也支持一下 自己可修改
%y 两位数的年份表示(00-99)
%Y 四位数的年份表示(000-9999)
%m 月份(01-12)
%d 月内中的一天(0-31)
%H 24小时制小时数(0-23)
%I 12小时制小时数(01-12)
%M 分钟数(00=59)
%S 秒(00-59)
%a 本地简化星期名称
%A 本地完整星期名称
%b 本地简化的月份名称
%B 本地完整的月份名称
%c 本地相应的日期表示和时间表示
%j 年内的一天(001-366)
%p 本地A.M.或P.M.的等价符
%U 一年中的星期数(00-53)星期天为星期的开始
%w 星期(0-6),星期天为星期的开始
%W 一年中的星期数(00-53)星期一为星期的开始
%x 本地相应的日期表示
%X 本地相应的时间表示
%Z 当前时区的名称
%% %号本身
下面列出一些格式化字符串及其含义:
%Y-%m-%d:年-月-日
%H:%M:%S:时:分:秒
%Y-%m-%d %H:%M:%S:年-月-日 时:分:秒
%Y%m%d%H%M%S:年月日时分秒
%A, %B %d %Y:星期全称,月份全称 日 年
%Y-%m-%d %H:%M:%S.%f:年-月-日 时:分:秒.毫秒
('%Y-%m-%d %H:%M:%S') '2022-05-31 09:08:18'
('%Y-%m-%d %H:%M:%S.%f') '2022-05-31 09:08:18.428828'
如果可以支持自定义需要每条视频爬取的评论数数量就最好了
我尝试运行main.py来进行抓包,可是失败了,请问main.py是最新的吗?
A declarative, efficient, and flexible JavaScript library for building user interfaces.
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
An Open Source Machine Learning Framework for Everyone
The Web framework for perfectionists with deadlines.
A PHP framework for web artisans
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
Some thing interesting about web. New door for the world.
A server is a program made to process requests and deliver data to clients.
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Some thing interesting about visualization, use data art
Some thing interesting about game, make everyone happy.
We are working to build community through open source technology. NB: members must have two-factor auth.
Open source projects and samples from Microsoft.
Google ❤️ Open Source for everyone.
Alibaba Open Source for everyone
Data-Driven Documents codes.
China tencent open source team.