lobbyradar / scraper-lobbyliste

Scraper für die Lobbyliste des Deutschen Bundestages

Scraper Lobbyliste

Scraper für die Lobbyliste des Deutschen Bundestages. Die letzte Fassung wird heruntergeladen, nach JSON konvertiert und mit LZMA komprimiert.

Installation

Stellen Sie sicher, dass node.js oder io.js installiert sind.

git clone https://github.com/lobbyradar/scraper-lobbyliste.git
cd scraper-lobbyliste
npm install

Scraper ausführen

DEBUG=scraper node ./scraper.js <data-dir>

Lizenz

Diese Software wurde in die Gemeinfreiheit entlassen.

scraper-lobbyliste's Issues

PDF-Link broken & Dependency Error?

Leider scheint der Parser aufgrund einer geänderten URL auf Seiten des Bundestages nicht mehr zu funktionieren:

DEBUG=scraper node ./scraper.js dump
  scraper outdir is /home/user/Dokumente/scraper-lobbyliste/dump +0ms
(node:14036) [DEP0022] DeprecationWarning: os.tmpDir() is deprecated. Use os.tmpdir() instead.
Error: Unable to locate PDF link
    at /home/user/Dokumente/scraper-lobbyliste/scraper.js:224:80
    at /home/user/Dokumente/scraper-lobbyliste/node_modules/scrapyard/lib/scrapyard.js:110:22
    at Object.callback (/home/user/Dokumente/scraper-lobbyliste/node_modules/scrapyard/lib/scrapyard.js:123:4)
    at /home/user/Dokumente/scraper-lobbyliste/node_modules/async/dist/async.js:1311:26
    at /home/user/Dokumente/scraper-lobbyliste/node_modules/async/dist/async.js:321:20
    at /home/user/Dokumente/scraper-lobbyliste/node_modules/scrapyard/lib/scrapyard.js:55:4
    at /home/user/Dokumente/scraper-lobbyliste/node_modules/scrapyard/lib/scrapyard.js:160:4
    at Request._callback (/home/user/Dokumente/scraper-lobbyliste/node_modules/scrapyard/lib/scrapyard.js:193:7)
    at Request.self.callback (/home/user/Dokumente/scraper-lobbyliste/node_modules/request/request.js:185:22)

Wenn ich die BASEURL auf das aktuelle PDF ändere erhalte ich ebenfalls einen Error:

  scraper outdir is /home/user/Dokumente/scraper-lobbyliste/dump +0ms
(node:14735) [DEP0022] DeprecationWarning: os.tmpDir() is deprecated. Use os.tmpdir() instead.
/home/user/Dokumente/scraper-lobbyliste/node_modules/domutils/lib/querying.js:87
		if(test(elems[i])) result.push(elems[i]);
		   ^

RangeError: Maximum call stack size exceeded
    at findAll (/home/user/Dokumente/scraper-lobbyliste/node_modules/domutils/lib/querying.js:87:6)
    at findAll (/home/user/Dokumente/scraper-lobbyliste/node_modules/domutils/lib/querying.js:90:27)
    at findAll (/home/user/Dokumente/scraper-lobbyliste/node_modules/domutils/lib/querying.js:90:27)
    at findAll (/home/user/Dokumente/scraper-lobbyliste/node_modules/domutils/lib/querying.js:90:27)
    at findAll (/home/user/Dokumente/scraper-lobbyliste/node_modules/domutils/lib/querying.js:90:27)
    at findAll (/home/user/Dokumente/scraper-lobbyliste/node_modules/domutils/lib/querying.js:90:27)
    at findAll (/home/user/Dokumente/scraper-lobbyliste/node_modules/domutils/lib/querying.js:90:27)
    at findAll (/home/user/Dokumente/scraper-lobbyliste/node_modules/domutils/lib/querying.js:90:27)
    at findAll (/home/user/Dokumente/scraper-lobbyliste/node_modules/domutils/lib/querying.js:90:27)
    at findAll (/home/user/Dokumente/scraper-lobbyliste/node_modules/domutils/lib/querying.js:90:27)

Vielleicht liegt dies an #19? Leider habe ich keine JavaScript-Kenntnisse, könnte mir aber vorstellen, dass ein Problem bei den Dependencies vorliegt.