satrong / node-webcrawler

网页版nodejs爬虫工具

node-webcrawler

使用方法

npm install
npm start

按照控制台的提示进行操作即可

特性

• 添加配置进行界面化，不需要手动更改代码
• 类似jQuery的选择器易于书写

node-webcrawler's Issues

在windows下测试，不能下载图片！

1、首先在linux下测试，首页能显示。点爬取按钮后，没有任何反应。
之后修改了配置，把文件路径修改为linux下，也没有反应。

2、下载网盘文件，在windows下测试，点爬取按钮后，可以抓取到列表页面，并进行分析。
但是到下载图片的时候，显示“准备下载到本地中...”
之后没有反应。

请问应该是什么问题？

                                                     ^

TypeError: Cannot read property '0' of null
at E:\host\node-webcrawler\lib\crawler.js:246:58
at iterate (E:\host\node-webcrawler\node_modules\async\lib\async.js:149:13)
at Object.async.eachSeries (E:\host\node-webcrawler\node_modules\async\lib\a
sync.js:165:9)
at Crawler.dlImage (E:\host\node-webcrawler\lib\crawler.js:245:11)
at E:\host\node-webcrawler\lib\crawler.js:220:22
at Request._callback (E:\host\node-webcrawler\lib\crawler.js:303:9)
at Request.self.callback (E:\host\node-webcrawler\node_modules\request\reque
st.js:344:22)
at Request.emit (events.js:110:17)
at Request. (E:\host\node-webcrawler\node_modules\request\request
.js:1239:14)
at Request.emit (events.js:129:20)

zhe ge pa cong xian zai hai neng yong ma

jin tian shi le xia zhe ge pa cong zhong de li zi , qi zhong jing dong de li zi pao li hen chang shi jian ye mei fan ying , shi zhe ge jing dong de li zi bu neng yong le hai shi zhe ge pa cong yi jing bu neng yong le
--2018/10/29

webpack-dev-server做代理时动态配置代理地址

你好，我在你这个的博客使用这个方法代理没有生效。还是走的target配置的代理

抓取不到数据啊

一级页面的url 抓取不到数据啊，怎么配置