Reloadable 不可重复下载的判断条件不充分 about pholcus

[zerozh]

另一个办法是，Spider 有自己的 Unique 方法，取Request.Unique的时候，优先使用Spider.Unique 方法，如果未定义，则使用 md5.Sum([]byte(self.Spider + self.Rule + self.Url + self.Method))

[andeya]

我也赞同第二种方法。
给我点时间，我来加上Spider.Unique 方法。
或者你提交PR也可以。

[zerozh]

因为 Request 中只有 Spider 名，没有 *Spider ，所以为 Spider 增加 Unique 方法改动比较大，如果考虑到兼容性、易用性，最简单的做法是为 Request增加 SetUnique 方法

// 请求的唯一识别码，外部计算写入
func (self *Request) SetUnique(s string) bool {
	if self.unique == "" {
		self.unique = s
		return true
	}
	return false
}

应用场景

// 某些网站URL生成规则与上一页的内容（如最后一条内容的ID作为下一页的开始ID）有关
// 因为每次请求的最后一条ID不同，Reloadable无法准确判断，无法缓存
url := "http://www.example.com/?abcdef...&size=10&start=LAST_ITEMID_OF_LAST_PAGE"
// 计算URL Hash时使用自己定义的规则
hashUrl := "http://www.example.com/?page=1"
req := &request.Request{
	Method: "GET"
	Url:        url,
	Rule:       "Result",
	Reloadable: page == 1,
	Temp:       map[string]interface{}{"url": url, "id": id, "page": page},
}

// 以 Method 加 Url 计算唯一hash 为例
block := md5.Sum([]byte(req.Method+hashUrl))
unique := hex.EncodeToString(block[:])

req.SetUnique(unique)
ctx.AddQueue(req)

[fengdou902]

当我抓取某个url的列表，下次再抓的时候，目标网站的内容更新了，但是不会再抓