kanasimi / work_crawler Goto Github PK

Download comics novels 小说漫画下载工具小説漫画のダウンローダ小說漫畫下載:腾讯漫画大角虫漫画有妖气咪咕 SF漫画哦漫画看漫画漫画柜汗汗酷漫動漫伊甸園快看漫画微博动漫 733动漫网大古漫画网漫画DB 無限動漫動漫狂卡推漫画动漫之家动漫屋古风漫画网 36漫画网亲亲漫画网乙女漫画 webtoons 咚漫ニコニコ静画 ComicWalker ヤングエースUP モアイ pixivコミックサイコミ;アルファポリスカクヨムハーメルン小説家になろう起点中文网八一中文网顶点小说落霞小说网努努书坊笔趣阁→epub.

JavaScript 95.75% Batchfile 0.16% CSS 2.60% HTML 1.33% Shell 0.02% Dockerfile 0.14%

comic-downloader novel-downloader cejs downloader download-comic epub ebook comics webcomics manga-downloader

work_crawler's Introduction

CeJS online novels / comics downloader

[en] Tools to download novels (→ epub) and comics.
→ English document
[TW] 批量下載小說 (→ epub)、漫畫網站作品的工具。
→ 繁體中文說明
[CN] 批量下载小说 (→ epub)、漫画网站作品的网络爬虫。
→ 简体中文说明
[ja] ウェブ小説 (→ epub)、ウェブ漫画作品を一括ダウンロードツール。
→ 日本語の説明

Language support 多語言支援

Welcome to join the translating project! 一緒に翻訳しましょう！

Language 語言	Support 支援狀況	README.md
繁體中文	✔️	繁體中文說明
简体中文	✔️	简体中文说明
English	✔️	English document
Português brasileiro	🚧
日本語	🚧	日本語の説明
한국어	🚧

OS support 作業系統支援

Platform 作業系統平臺	Support 支援狀況
Windows	✔️
macOS	✔️
UNIX, Linux	✔️

Interface 支援介面

Interface 介面/界面インターフェース	Support 支援狀況
GUI 視窗/图形グラフィカル	✔️
CLI 命令列/命令行コマンドライン	✔️
API 應用程式介面	✔️

Features 特點

GUI supports different languages: 視窗型態介面支援不同語系：

Many download options: 有許多可調整的下載選項：

Optional dark theme: 可選用暗色系主題：

Search websites and download works with one click: 能一鍵搜尋各網站與下載作品：

work_crawler's People

Contributors

Stargazers

Watchers

Forkers

acdsign googril awesome-archive swdmw lifansama aml123 btsay mofrom xiamuguizhi sunhuang163 yanghuatjy crazyrocks boseny backtracker zhaoxianjin magicknight huoyingdk wooodhead asdlei99 imwindfly bugmakerlee ljllili23 randomwow qimingnan neoscavenger00 andy388 lqlstudio1 leeon1982 amatsuzero cuteribs-1 arocarlisle lyly51 starsoft35 a382695908 jackytrung mhecy tsw424 s170504 smwsk tineting fossabot interfacezion mingwangvt abcdxyzs smallblackbeans duydcoco venombat app911 wang9090980 11m09d aser1256055931 weiling103 hhy5277 okamisang freeide hlsh0102 tingzhou85 azallis sraps7 dontyy miaomiaomie cnoveler jnightlee layfly1297 kuustudio leyn1 githuba wgnfls shuliuzhenhua mitchell-dream kebing1011 majitaoo dashiliu markwu nwnightwind machiex qdouhuiqwailai brucechen5683 cjm1255068812 bencool y010204025 carrot-dog unclevicky ruanlianjun kevinkingdomviva zjh459 animfanis123 zhaojunhhu ispoto fishhawk coremaya cristinarccc blueanr edgarcai qfz9527 pengzhuo-yulin gsonovb xhowar liunianshang115 qqcong

work_crawler's Issues

manhuagui 漫画柜下载总是报错无法正常下载希望能修复一下

今天看到漫画柜整理的挺好的，但是使用这个工具无法正常下载，希望老哥能修复一下，特感激~~

Please provide an AppImage for download

work_crawler/package.json

Line 33 in 2990a8d

"AppImage",

Please provide an AppImage for download on the project's GitHub Releases page.

Providing an AppImage would have, among others, these advantages:

Applications packaged as an AppImage can run on many distributions (including Ubuntu, Fedora, openSUSE, CentOS, elementaryOS, Linux Mint, and others)
One app = one file = super simple for users: just download one AppImage file, make it executable, and run
No unpacking or installation necessary
No root needed
No system libraries changed
Works out of the box, no installation of runtimes needed
Optional desktop integration with appimaged
Optional binary delta updates, e.g., for continuous builds (only download the binary diff) using AppImageUpdate
Can optionally GPG2-sign your AppImages (inside the file)
Works on Live ISOs
Can use the same AppImages when dual-booting multiple distributions
Can be listed in the AppImageHub central directory of available AppImages
Can double as a self-extracting compressed archive with the --appimage-extract parameter

Here is an overview of projects that are already distributing upstream-provided, official AppImages.

If you have questions, AppImage developers are on #AppImage on irc.freenode.net.

可以請您幫我再增加 Rocaca 嗎

http://www.rocaca.com

你好，漫畫柜好像修改了規則，已經全部下載不了了

请教一下用法

按照说明的方法做了，除了不知道如何弄comic loader.js，就直接将comic loder.sample.js改名为comic loder.js了，下面是对应的命令及错误信息，请问一下为什么出错了？

D:\2017编程\Github\comic-master>node ikanman.js 空战魔导士候补生的教官
get_URL_cache_node.cache: Write cache data to [ikanman\main_3A454149B2D2500411BC
344B15DB58A4.js].
fs.js:641
  return binding.open(pathModule._makeLong(path), stringToFlags(flags), mode);
                 ^

Error: ENOENT: no such file or directory, open 'D:\2017编程\Github\comic-master\
ikanman\main_3A454149B2D2500411BC344B15DB58A4.js'
    at Error (native)
    at Object.fs.openSync (fs.js:641:18)
    at Object.fs.writeFileSync (fs.js:1347:33)
    at eval (eval at load_named (eval at <anonymous> (D:\2017编程\Github\comic-m
aster\node_modules\cejs\_for include\node.loader.js:78:10)), <anonymous>:1975:14
)
    at IncomingMessage.eval (eval at load_named (eval at <anonymous> (D:\2017编
程\Github\comic-master\node_modules\cejs\_for include\node.loader.js:78:10)), <a
nonymous>:1595:15)
    at emitNone (events.js:91:20)
    at IncomingMessage.emit (events.js:185:7)
    at endReadableNT (_stream_readable.js:974:12)
    at _combinedTickCallback (internal/process/next_tick.js:80:11)
    at process._tickCallback (internal/process/next_tick.js:104:9)

D:\2017编程\Github\comic-master>

增加網站: webtoons

請問可以增加這個網站嗎
https://comic.naver.com/webtoon/weekday.nhn

請求增加 9妹漫画网

請求增加http://www.9mdm.com/

請求增加 webtoon 的日英版本

請求增加webtoon 的日英版本
因為有些英文和日文作家的作品並未引進

日版https://xoy.webtoons.com/ja/dailySchedule
英版https://www.webtoons.com/en/dailySchedule

問題: 圖案亂了

謝謝您
可以請問一下

這個狀況有辦法解決嗎
圖案亂了
http://www.rocaca.com/manga/the_last_zombie/
有部份都會這樣

改成增加http://mangahasu.se

可以增加下面這個網站嗎
http://www.mangago.me/

請求增加咚漫

https://www.dongmanmanhua.cn/
希望可以增加此網站
您支援的網站WEBTOON
似乎與他有相似
但仍有許多無法在WEBTOON找到

增加网站请求：tonarinoyj.jp

站点地址：https://tonarinoyj.jp

有研究了一下这站点的阅读器，发现它也不是直接读取图片的。

应该不是很好爬……所以可能只能是自己的碎碎念

anyway,感谢m(~)m

请教怎么修改所要使用的 7z.exe 的位置

因为没有将 7-Zip 安装在这个位置C:\Program Files\7-Zip，但是将7z.exe所在的路径添加到了 PATH 中
以为应该是修改这一句的
https://github.com/kanasimi/work_crawler/blob/master/arrangement/classify_and_compress.js#L439
但是改过之后发现还是用的C:\Program Files\7-Zip\7z.exe

733mh 無法下載

下載733出現以下圖片

另外可否支持bandizip这个解压缩软件，

我在这个解压缩的软件目录发现有7z的文件，因为7z是开源的，所以理论上我安装了bandizip你是不是也可以调用呢。

汗汗酷漫下载错误

无法使用recheck指令？

在使用manhuadb.js进行下载时，设置了recheck命令 (目的是跳过之前已经存在的图片档案进行增量下载，不知这样是不是正确的方式？) 但程式反馈recheck未定义，于是就会从头开始下载……

node .\manhuadb.js "l=mhdb2.txt" recheck=true
recheck: undefined
由命令列 → true
manhuadb: 2018-08-12T06:40:11.604Z Starting l=mhdb2.txt, 儲存至 manhuadb\

關於ikanman的下載bug

如下面所示，所下載的圖片雖然在服務端上顯示爲png，但實際卻是jpg，然而圖片可以正常訪問的，但工具卻沒有下載的圖片。看了下error_files.txt，凡是類似下面的情形都會出現相同的情況。

20170408	ikanman\1676 科学超电磁炮\0003 第03卷\1676-3-064 bad.jpg	http://cf.hamreus.com:8080/ps1/K/KXdDCP/03/seemh-034-27ffb.png
20170408	ikanman\1676 科学超电磁炮\0003 第03卷\1676-3-070 bad.jpg	http://cf.hamreus.com:8080/ps1/K/KXdDCP/03/seemh-037-6c25b.png
20170408	ikanman\1676 科学超电磁炮\0003 第03卷\1676-3-085 bad.jpg	http://i.hamreus.com:8080/ps1/K/KXdDCP/03/seemh-045-d75b.png
20170408	ikanman\1676 科学超电磁炮\0005 第05卷\1676-5-008 bad.jpg	http://cf.hamreus.com:8080/ps1/k/KXdDCP/05/seemh-006-841fb.png
20170408	ikanman\1676 科学超电磁炮\0005 第05卷\1676-5-013 bad.jpg	http://cf.hamreus.com:8080/ps1/k/KXdDCP/05/seemh-009-d1c7.png
20170408	ikanman\1676 科学超电磁炮\0005 第05卷\1676-5-015 bad.jpg	http://i.hamreus.com:8080/ps1/k/KXdDCP/05/seemh-010-385d.png
20170408	ikanman\1676 科学超电磁炮\0005 第05卷\1676-5-017 bad.jpg	http://idx0.hamreus.com:8080/ps1/k/KXdDCP/05/seemh-011-ec93.png
20170408	ikanman\1676 科学超电磁炮\0005 第05卷\1676-5-018 bad.jpg	http://cf.hamreus.com:8080/ps1/k/KXdDCP/05/seemh-011-ec93b.png
20170408	ikanman\1676 科学超电磁炮\0005 第05卷\1676-5-020 bad.jpg	http://i.hamreus.com:8080/ps1/k/KXdDCP/05/seemh-012-d919b.png
20170408	ikanman\1676 科学超电磁炮\0005 第05卷\1676-5-024 bad.jpg	http://i.hamreus.com:8080/ps1/k/KXdDCP/05/seemh-014-e49eb.png
20170408	ikanman\1676 科学超电磁炮\0005 第05卷\1676-5-029 bad.jpg	http://i.hamreus.com:8080/ps1/k/KXdDCP/05/seemh-017-780c.png
20170408	ikanman\1676 科学超电磁炮\0005 第05卷\1676-5-030 bad.jpg	http://cf.hamreus.com:8080/ps1/k/KXdDCP/05/seemh-017-780cb.png
20170408	ikanman\1676 科学超电磁炮\0005 第05卷\1676-5-032 bad.jpg	http://i.hamreus.com:8080/ps1/k/KXdDCP/05/seemh-018-e747b.png
20170408	ikanman\1676 科学超电磁炮\0005 第05卷\1676-5-035 bad.jpg	http://ilt2.hamreus.com:8080/ps1/k/KXdDCP/05/seemh-020-0d2b.png
20170408	ikanman\1676 科学超电磁炮\0005 第05卷\1676-5-038 bad.jpg	http://cf.hamreus.com:8080/ps1/k/KXdDCP/05/seemh-022-954b.png
20170408	ikanman\1676 科学超电磁炮\0005 第05卷\1676-5-047 bad.jpg	http://idx0.hamreus.com:8080/ps1/k/KXdDCP/05/seemh-026-1fa3b.png
20170408	ikanman\1676 科学超电磁炮\0005 第05卷\1676-5-052 bad.jpg	http://cf.hamreus.com:8080/ps1/k/KXdDCP/05/seemh-029-bfcb.png
20170408	ikanman\1676 科学超电磁炮\0005 第05卷\1676-5-054 bad.jpg	http://i.hamreus.com:8080/ps1/k/KXdDCP/05/seemh-030-a462.png
20170408	ikanman\1676 科学超电磁炮\0005 第05卷\1676-5-059 bad.jpg	http://i.hamreus.com:8080/ps1/k/KXdDCP/05/seemh-032-5ca0b.png
20170408	ikanman\1676 科学超电磁炮\0005 第05卷\1676-5-079 bad.jpg	http://cf.hamreus.com:8080/ps1/k/KXdDCP/05/seemh-042-9448b.png
20170408	ikanman\1676 科学超电磁炮\0005 第05卷\1676-5-083 bad.jpg	http://cf.hamreus.com:8080/ps1/k/KXdDCP/05/seemh-044-3bb0b.png
20170408	ikanman\1676 科学超电磁炮\0005 第05卷\1676-5-086 bad.jpg	http://i.hamreus.com:8080/ps1/k/KXdDCP/05/seemh-046-16e4.png
20170408	ikanman\1676 科学超电磁炮\0005 第05卷\1676-5-096 bad.jpg	http://i.hamreus.com:8080/ps1/k/KXdDCP/05/seemh-051-4240b.png
20170408	ikanman\1676 科学超电磁炮\0005 第05卷\1676-5-104 bad.jpg	http://cf.hamreus.com:8080/ps1/k/KXdDCP/05/seemh-055-d08cb.png
20170408	ikanman\1750 蓝兰岛漂流记\0002 第02卷\1750-2-081 bad.jpg	http://cf.hamreus.com:8080/ps1/l/LLDPLJ/02/seemh-081-8ec0.png

順便提一下，如果自己不主動創建ikanman文件夾，所有調用ikanman.js的下載都會失敗。

求助：AppImage在Debian 9 VPS运行失败

Version: work_crawler-1.4.20180714-x86_64.AppImage
Interface: 终端（Debian 9 ）

root@Myvps:/manga# chmod a+x work_crawler-1.4.20180714-x86_64.AppImage
root@Myvps:/manga# ./work_crawler-1.4.20180714-x86_64.AppImage
desktop-file-install is missing. Skipping /tmp/.mount_work_cA0ubF0/AppRun. /tmp/.mount_work_cA0ubF0/work_crawler: error while loading shared libraries: libgtk-3.so.0: cannot open shared object file: No such file or directory

不知运行AppImage在VPS上，还有什么必要步骤和准备工作，谢谢指教

下載問題

我下載這個總是失敗https://tw.manhuagui.com/comic/20063/
還有http://www.manhuatai.com/xianganweijing/
請問可以幫我解決問題嗎
謝謝您

这工具实在牛逼，不过想请教一下移动端如何看下载下来的漫画图片比较好

图片自动打包成zip，我试着转化成epub格式，但是图片并没有自动拼接起来，找了一下网络并没有比较合适的看多图漫画的软件，求个推荐，谢谢！

大角虫、快看不能下载

使用命令行模式下载
快看具体漫画文件夹显示：no image get
大角虫改版，无法获取

您好，能否考虑增加几个漫画网站。

动漫之家，http://manhua.dmzj.com。
汗汗漫画，http://www.hhcool.com
57漫画，http://www.57mh.com

manhuatai 下載失敗

http://www.manhuatai.com/wxyxymdsyx/
下載失敗

增加 http://www.733mh.com 這個網站

请增加
http://www.733mh.com
这个网站

谢谢

Manga Mew 下載問題

可以解決嗎

小说下载后打包的epub无法读取问题

Version: 最新版本，安装包方法
Interface: 图形界面

下载源：起点小说
现象：完成后自动打包成了*.epub文件，可是该文件放入ibooks (ipad版本)提示无法打开。

PS: 再次感谢大大添加了manhuadb。另外，可否自行在图形界面中添加新的下载源，我看好像并未同步？谢谢

能否允许设置点击一次开始下载后下载的次数

开发者辛苦了，
有时候我只想下载单行本，也就是下载完几本后能暂停。能否添加一个这种功能呢？

請求增加 comic-walker

請求增加https://comic-walker.com/

請求增加乙女漫画大全

http://www.nokiacn.net/yinv/
請求增加

733mh 無法下載

下載下來的圖是"訪問受限提示"
"網站未授權"
"正確的網址只有 733.so 域名"

manhuatai.js無法下載某些作品

在下載某些作品時總是會全部失敗，具體情況爲爲：

要下載的所有圖片都無法下載，保存的圖片全部爲0字節，且全部有bad後綴，錯誤信息照常記錄。

稍微看了看那些作品，目前發現都是知音漫客的作品（存疑），然後打開對應網頁自己試了一下，發現一些問題（以《浪漫传说》第一回第一页爲例）：

這是manhuatai.js得出的下載鏈接：

http://mhpic.xiaoshuomanhua.com/comic/L%2F%E6%B5%AA%E6%BC%AB%E4%BC%A0%E8%AF%B4%2F01%E8%AF%9D%2F1.jpg

自己用瀏覽器打開鏈接，返回：

{
  "error": "Document not found"
}

這是打開對應頁面時找到的下載鏈接：

http://mhpic.zymk.cn/comic/L%2F%E6%B5%AA%E6%BC%AB%E4%BC%A0%E8%AF%B4%2F01%E8%AF%9D%2F1.jpg-mht.middle

此時得到正確的圖片。

用2中的mhpic.zymk.cn來替換1得到的鏈接：

http://mhpic.zymk.cn/comic/L%2F%E6%B5%AA%E6%BC%AB%E4%BC%A0%E8%AF%B4%2F01%E8%AF%9D%2F1.jpg

此時返回：

{
  "error": "download token not specified"
}

猜測這是因爲網站將某些作品的圖片放在特定的服務器上。
附目前有問題的作品：
《浪漫传说》、《星海镖师》、《天行轶事》、《白夜玲珑》、《偷星九月天》、《风起苍岚》、《善良的死神/善良的阿呆》

除此之外，還有一些非知音漫客的作品也有個別圖片是這種現象，例如：《豌豆笑传》。
【
然後還有一些作品的個別圖片是完整的，卻依然加了bad後綴（可能是因爲沒有EOI？），例如：《老夫子》。
再然後還有一些作品的個別圖片本來就是不完整的，這也會加bad後綴，；自如：《知音漫客》。
】
【】中的問題我覺得不是很大，可以不用去管。
最後就是其實ikanman和manhuatai之間是替代品，只要其中一個能用就行了……

manhuadb: 2018-08-11T09:01:00.040Z Starting 美女强盗团, 儲存至 manhuadb
manhuadb: Find cache: 美女强盗团→"1236"
1236 美女强盗团: Can not get chapter count!

源网站：manhuadb.com

Version: 最新，安装包
Interface: Linux命令行

Hi，

最近发现在下载途中会出现部分chapter出现没有打包成功或者是下载失败的问题，也许是在重试了4次之后跳过了转去下载下一个章节。

当发现了以后也只能用删除旧章节，手动的方式一个个的去补救。用：

node xxx.js "作品名" start_chapter=下载失败的章节 recheck

然后再ctrl+c手动中止，转去执行下一个下载失败的章节,如此这般周而复始……

所以请问有没有更智慧简便的方案可以用？

另外，有时会出现打包出错，请看：

root@VPS:/manga/work_crawler/comic.cmn-Hans-CN# node manhuadb.js "火凤燎原" start_chapter=25 recheck
start_chapter: 1
由命令列 → 25
recheck: undefined
由命令列 → true
manhuadb: 2018-08-15T02:30:52.019Z Starting 火凤燎原, 儲存至 manhuadb/
manhuadb: Find cache: 火凤燎原→"1070"
若之前已經下載到最新章節，則指定 start_chapter 時，必須同時設定 recheck！
1070 [陈某] 火凤燎原: 62 章. 连载中
25/62 [0025 25[火凤燎原][陈某][东立][a09070811]Vol_25] 192 images.
undefined:19025[火凤燎原][陈某][东立][a09070811]Vol_25.zip]...
+ library_namespace.storage.working_directory(), 1,
^

TypeError: library_namespace.storage.working_directory is not a function
at Archive_file.archive_file_execute [as execute] (eval at load_named (eval at (/manga/work_crawler/CeJS-master/_for include/node.loader.js:78:2)), :190:33)
at Archive_file.archive_file_operation (eval at load_named (eval at (/manga/work_crawler/CeJS-master/_for include/node.loader.js:78:2)), :406:17)
at Archive_file.eval [as update] (eval at load_named (eval at (/manga/work_crawler/CeJS-master/_for include/node.loader.js:78:2)), :435:35)
at check_if_done (eval at load_named (eval at (/manga/work_crawler/CeJS-master/_for include/node.loader.js:78:2)), :2790:21)
at get_next_image (eval at load_named (eval at (/manga/work_crawler/CeJS-master/_for include/node.loader.js:78:2)), :2459:7)
at Object.assign.max_listeners (eval at load_named (eval at (/manga/work_crawler/CeJS-master/_for include/node.loader.js:78:2)), :3069:40)
at IncomingMessage.eval (eval at load_named (eval at (/manga/work_crawler/CeJS-master/_for include/node.loader.js:78:2)), :1783:6)
at IncomingMessage.emit (events.js:185:15)
at endReadableNT (_stream_readable.js:1106:12)
at process._tickCallback (internal/process/next_tick.js:178:19)

Update:
如上述问题，原本可以正常使用的打包作业，完全无法正常使用了

错误信息 TypeError: library_namespace.storage.working_directory is not a function

請求增加網站: comico

https://www.manmanapp.com/
http://www.comico.com.tw/

ikanman.js在下載中遇到的兩個問題

如果下載的圖片文件比較小的話，還是會報錯，但文件實際是沒問題的，例如：

20170409	ikanman\7448 关于我被绑架到大小姐学校当「庶民样本」这件事\0001 第01回\7448-1-042 bad.jpg	http://cf.hamreus.com:8080/ps3/g/gywbbjddxj/act_01/041042.png

看了看源文件，這個應該不算問題，畢竟源文件已經指出了。

偶爾在下載時會遇到真正的png文件，此時能夠正常下載，但會出現錯誤記錄跟加了bad的後綴：

20170409	ikanman\4684 魔法老师\0011 第11卷\4684-11-023 bad.jpg	http://ilt2.hamreus.com:8080/ps2/m/mfxs/11/seemh-013-8451.png
20170409	ikanman\4684 魔法老师\0011 第11卷\4684-11-025 bad.jpg	http://idx0.hamreus.com:8080/ps2/m/mfxs/11/seemh-014-8f91.png
20170409	ikanman\4684 魔法老师\0011 第11卷\4684-11-027 bad.jpg	http://i.hamreus.com:8080/ps2/m/mfxs/11/seemh-015-f6f9.png
20170409	ikanman\4684 魔法老师\0011 第11卷\4684-11-029 bad.jpg	http://i.hamreus.com:8080/ps2/m/mfxs/11/seemh-016-93c4.png
20170409	ikanman\4684 魔法老师\0011 第11卷\4684-11-031 bad.jpg	http://idx0.hamreus.com:8080/ps2/m/mfxs/11/seemh-017-fbc6.png
20170409	ikanman\4684 魔法老师\0011 第11卷\4684-11-033 bad.jpg	http://cf.hamreus.com:8080/ps2/m/mfxs/11/seemh-018-3af5.png
20170409	ikanman\4684 魔法老师\0011 第11卷\4684-11-035 bad.jpg	http://cf.hamreus.com:8080/ps2/m/mfxs/11/seemh-019-2f9a.png
20170409	ikanman\4684 魔法老师\0011 第11卷\4684-11-037 bad.jpg	http://ilt2.hamreus.com:8080/ps2/m/mfxs/11/seemh-020-acfe.png

添加章节选择下载

软件非常的棒，我喜欢下载漫画到电脑上看，但是下载只能从头开始下载吗，我想从某个章节开始下载