shancang / spider Goto Github PK

汽车之家登录题主研究过吗？

使用models = v[u"车型名称"]，会出现KeyError错误，要使用models = v.get(u"车型名称")才不会错误
在插入数据库的时候，由于某些字段没有进行相应的处理，某些字段包含‘’单引号，会导致插入失败

你好，我运行python setup.py start之后：Spider Started .... PID 66867，但是没有爬取数据，用python setup.py status查看状态发现程序很快就结束。请问还需要其他操作不？
另外是否需要自己准备pid文件，我没有这个文件/tmp/spider/spider.pid。
log里打：

2016-10-09 17:44:04,191 daemonize.py [line:242] WARNING Starting daemon.
2016-10-09 17:44:04,191 spider.py [line:203] INFO start spider.....
2016-10-09 17:44:16,391 daemonize.py [line:70] WARNING Stopping daemon.

是不是需要在setup.py文件中加入生成和写入pid的语句？

/home/node-spider/node_modules/highcharts/modules/exporting.js:9
(function(k){"object"===typeof module&&module.exports?module.exports=k:k(Highcharts)})(function(k){(function(f){var k=f.defaultOptions,p=f.doc,B=f.Chart,x=f.addEvent,I=f.removeEvent,F=f.fireEvent,r=f.createElement,C=f.discardElement,v=f.css,n=f.merge,D=f.pick,h=f.each,G=f.objectEach,t=f.extend,J=f.isTouchDevice,E=f.win,H=E.navigator.userAgent,K=f.Renderer.prototype.symbols;/Edge/|Trident/|MSIE /.test(H);/firefox/i.test(H);t(k.lang,{printChart:"Print chart",downloadPNG:"Download PNG image",downloadJPEG:"Download JPEG image",
^

TypeError: Cannot read property 'navigator' of undefined
at /home/node-spider/node_modules/highcharts/modules/exporting.js:9:325
at /home/node-spider/node_modules/highcharts/modules/exporting.js:27:356
at Object. (/home/node-spider/app.js:16:40)
at Module._compile (module.js:570:32)
at Object.Module._extensions..js (module.js:579:10)
at Module.load (module.js:487:32)
at tryModuleLoad (module.js:446:12)
at Function.Module._load (module.js:438:3)
at Module.runMain (module.js:604:10)
at run (bootstrap_node.js:383:7)