yaojialyu / crawler Goto Github PK

我现在正在改造你的crawler算法抓取豆瓣的数据。先表示感谢！
我想问的是，ThreadPool中的resultQueue的含义是什么？
我从代码中并没有读出来它的意义，可能是由于代码中的一个bug：
在ThreadPool.py中的第40行，func(*args, **kargs) 调用的是Crawler的_taskHandler函数，而此函数是没有返回值的，所以导致result的值永远为None。

发现了threadPool.py中的一个bug：
比如在
def increaseRunsNum(self): self.lock.acquire() #锁住该变量,保证操作的原子性 self.running += 1 #正在运行的线程数加1 self.lock.release()
中，self.lock.acquire()，如果self.lock无法获取，即现在正在被人占用，Lock.acquire()会返回False，所以这里应该改为if self.lock.acquire()，详见：http://docs.python.org/2/library/threading.html#lock-objects

Showing me this error: File "main.py", line 1

I am using windows command line and pytho 3.x