brianway / webporter Goto Github PK

我之前也做过一个爬虫的小项目，你说的该项目的特点挺好的，但是就我个人而言，不是非常在意。感觉最关心的内容如下：

• javascript 支持。很多网页，包括当当，苏宁等，有部分数据都是通过 javascript 渲染得到的，这个框架是否提供支持，可能这个是使用者应该做的，但是这种场景下，框架有和优势。

• 性能。对于一本的文本网页，其实性能都不是问题，主要和网速有关。但是在这种场景下：
  1. 租的vps， 当然越便宜越好，性能也越差。
  2. 起一个支持 javascript 的 core，耗内存非常严重(当然相对于租的 vps 而言)
  这样一来性能就很敏感了，比起线程，我更倾向于协程。

• 反扒。这个真的是非常让人头疼的问题，之前做的最让人头疼的就是爬亚马逊。基本无解，但是对于豆瓣这种，应该还是可以解决的，这个框架是否有相应的应对措施?

这是我选择一个爬虫框架考虑的点，省时、省钱、省事。不过作者这个框架确实是很与众不同的，支持！

17-05-08 17:36:43,075 WARN us.codecraft.webmagic.downloader.HttpClientDownloader(HttpClientDownloader.java:100) ## code error 403 https://www.zhihu.com/api/v4/members/li-bo-xun-19/followees?include=data%5B*%5D.url_token&offset=0&per_page=30&limit=30

文档里说，依次运行 webporter-collector-zhihu 模块的下面两个类的 main 方法，我倒入eclips后，提示缺少很多依赖包，请问有便捷的方式启动吗

请问您使用的fastjson版本是多少？在运行这个程序时遇到了"Exception in thread "main" com.alibaba.fastjson.JSONException: unclosed string : z"的问题

作者您好，我们也是一家专业做IP代理的服务商，极速HTTP，想跟您谈谈是否能够达成商业推广上的合作。如果您，有意愿的话，可以联系我，微信：13982004324 谢谢（如果没有意愿的话，抱歉，打扰了）

WARN us.codecraft.webmagic.downloader.HttpClientDownloader(HttpClientDownloader.java:198) ## Charset autodetect failed, use UTF-8 as charset. Please specify charset in Site.setCharset()

能不能记录爬取的最后一个用户到某个文件中，下次再运行的时候读取保留的信息，继续爬取。

由于爬取过程比较漫长，能够实现本次终止爬取后，下次能够继续爬取就很方便了。

爬虫api是不是已经失效了呀

https://www.zhihu.com/api/v4/members/hydro-ding/followees?include=data%5B*%5D.url_token&offset=0&per_page=30&limit=30

现在知乎已经加上反爬的功能了，如何破解，我每次爬一会就把账号给冻结了

如题，只找到了login字段，但是不对，用起来就401