realdennis / ptt-parser

非同步 PTT 爬蟲，適用於各大看板，並保存於 JSON 格式，用於資料收集。

ptt-parser

Introduction

使用puppeteer(pptr)撰寫的爬蟲，核心方法是使用DOM操作(querySelector)，再把腳本傳進去pptr跑，讓前端人們輕而一舉的撰寫爬蟲，此repo作為教學/介紹用途，安裝方法請參考以下，或是自行clone下來install。

Dependency

Only one -- Puppeteer!

Demo

Async request/file save

Usage

$  npm install ptt-parser -g
$  ptt-parser gossiping 1000 false
    or
$  ptt-parser beauty //預設從最新一頁爬取

解釋: ptt-parser ${看板名} ${欲往前爬取的頁數} ${是否headless}

Result

ptt-parser's Issues

有關關閉 Browser 的問題

Dennis 大大 你好：

我在閱讀 puppeteer 時，他們的範例最後通常都有一個 browser.close() 的動作，而在大大的 codebase 中只有 page.close() 請問這是因為當時開發的版本 (v.1.7.0) 還沒有 browser.close() 這個 method ，還是大大在開發的當時就決定僅使用 page.close() 就足個了呢？