NuGet Package? about dotnetspider

[ZhaoXiangXML]

I found a DotnetSpider2.Core and a DotnetSpider2.Extension on NuGet, which looks like this project

[zlzforever]

NUGET上的DotnetSpider2.Core, DotnetSpider2.Extension就是这个项目的, 但是包比较老. 想用最新的可以配置我的私有源http://zlzforever.6655.la:40001/

[ZhaoXiangXML]

谢谢。

我用NuGet上的库暂时没有发现什么问题，除了有个Download拼错了。

另外我现在做的事情是下载网页上的图片，全部下载好之后和网页本身拼到一起。如果用现在的pipeline机制的话，怎样在图片全部下载完成后执行后面的事情呢？

[zlzforever]

HttpClientDownloader集成了下载图片的功能，不确定NUGET上版本有。你只需要在Processor的解析中，把所有IMAGE的链接解析出来，通过page.AddTargetRequests最终会添加到队列中，downloader发现是文件是会下载到相对的对应目录中。比如 www.a.com/b/1.png, 则会下载到 /b/1.png中

[ZhaoXiangXML]

那有办法在同一网页上的所有图片完成后得到通知吗？

[zlzforever]

没有。你这个需求不是一个常用的场景，不太好抽象。你可以自己实现一个Processor， 把图片的链接按URL归类, 在Pipeline中下载，就样可以保留到这一状态信息。

[ZhaoXiangXML]

我现在就是这么干的。。谢谢了