hightman / pspider

纯 PHP 开发的并行抓取工具 (Parallel web crawler written in PHP)

PHP - spider 框架

这是最近使用纯 php 代码开发的并行抓取(爬虫)框架，基于 hightman\httpclient 组件。

您必须先装有 composer，然后在项目里先运行以下命令下载组件：

composer install

使用 pspider

这里头的 URL 表管理需要 MySQLi 扩展支持，表结构和自定义的内容参见自定义文件。

1. 复制 custom/skel.inc.php 为 custom/your.inc.php
2. 根据说明修改 custom/your.inc.php
3. 根据 custom/your.inc.php 里的注释创建 mysql 的 URL 表
4. 运行 spider.php -u http://... 即可开始循环抓取
5. UrlTable 的实现很简单仅作示例，具体可自行重做

pspider's Issues

好像没办法抓twitter

我想要实现以下抓twitter页面的功能，但是把twitter URL输进去后出来这个错误：
Unable to find the socket transport "ssl" - did you forget to enable it when you configured PHP?

请问为什么 HttpClient 使用了 socket 而不是 curl

我自己测试 curl multi 比 socket 有更好的并行无阻塞的特性，不知道 hightman 大神是出于什么原因选择了 socket 来做 HttpClient?

能否支持 SOCKS5 代理方式？

不然抓一些被屏蔽的网址内容，就用不上了。
CURL 扩展是可以支持的。

没有维护了吗？

PROCESSING: http://www.hao123.com/
PROCESSING: http://www.hao123.com/u;h.target='_top';document.body.appendChild(h);var
01-23 04:03:31 - Time cost: 0 secs, URLs total: 1, Add: 1, Update: 2, Filtered: 0
OK, finished!

并行抓取多条时不精确，串数据了。

当我把 const MAX_BURST 设置大于1时 去抓取 多个不同的地址时 会出现不准确和串数据的情况。
如我设置为10 去抓100个网站，他们每次会去抓取10个，但返回的结果不准确。
当单独抓这些不准确的地址时结果是准确的。

我以为是超时时间太短的原因，当我设置超时时间时，但他并没有起到作用。跪求解决哇