GithubHelp home page GithubHelp logo

jerryfangr / crawler Goto Github PK

View Code? Open in Web Editor NEW

This project forked from phantom-sea-limited/crawler

0.0 0.0 0.0 83.28 MB

针对某亿些小说网站的爬虫

License: MIT License

JavaScript 37.05% Python 62.95%

crawler's Introduction

Crawler

快速目录

  1. sangtacviet
  2. nhimmeocf-刺猬猫分享
  3. 轻之国度
  4. (正版漫画)heros-web.com
  5. 同人小说通用
  6. imwcr
  7. 已失效内容

sangtacviet

相关文件

sangtacviet.user.js

sangtacviet.py

使用说明

请使用Tampermonkey安装此用户脚本

点击安装脚本

点击安装脚本(镜像)

安装后，在ciweimao/sfacg/等等(未列出的来源未提供优化)书籍页面会出现一个黑色的下载框，点击就会自动操作，如果点击后没有反应，可以打开控制台康康有没有报错

image

已支持云端服务,将每一次用户的结果上传至终端,可以节约所有人的时间,希望各位保留这个功能.同时,所有文件均公开,可以通过上图所示按钮访问

  1. 在sangtacviet.vip书籍详情页面，点击下载相关按钮

  2. 在执行完之后，会产生一个包含所有信息的json文件，由于目前没做js的epub打包，可以先用python版本的

  3. 执行python sangtacviet.py ****.json打包epub，过程中会下载一些网络图片，请静候

  4. 在.tmp目录下找到成品

中文显示

在搜索界面支持ciweimao/sfacg/linovel/wenku8的中文显示 传送门

TIPS:当然，你也可以使用控制台使用:STV.search_helper_handler()

以wenku8为例

image

高级说明

nhimmeo.cf 刺猬猫分享

相关文件

nhimmeo.user.js

nhimmeo.py

题外话

|∀` )被站长发现咯

请合理使用爬虫

如果可以的话，赞助一下这位站长

使用说明

请使用Tampermonkey安装此用户脚本

点击安装脚本

点击安装脚本(镜像)

安装后，在书籍页面会出现一个黑色的下载框，点击就会自动操作，如果点击后没有反应，可以打开控制台康康有没有报错

image

顺带可以来仓库发一个issue，记得带上URL地址，以及相关信息

  1. 在zh.nhimmeo.cf书籍详情页面，点击下载相关黑色系按钮，推荐使用稳定，高速有存储上限，可能无法正常运作

  2. 在执行完之后，会产生一个包含所有信息的json文件，由于目前没做js的epub打包，可以先用python版本的

  3. 执行python nhimmeo.py ****.json打包epub，过程中会下载一些网络图片，请静候

  4. 在.tmp目录下找到成品

高级说明

轻之国度

相关文件

lightnovel.us.user.js

lightnovel.us.py

题外话

请合理使用，禁止在任何平台传播本脚本

高级说明请参考nhimmeo.md

使用说明

请使用Tampermonkey安装此用户脚本

点击安装脚本

点击安装脚本(镜像)

image

  1. 在https://www.lightnovel.us/cn/series/312之类的合集详情页面，点击下载相关按钮，仅仅提供稳定相关服务

  2. 在执行完之后，会产生一个包含所有信息的json文件，由于目前没做js的epub打包，可以先用python版本的

  3. 执行python lightnovel.us.py ****.json打包epub，过程中会下载一些网络图片，请静候

  4. 在.tmp目录下找到成品

heros-web.com

相关文件

heros-web.com.user.js

使用说明

请使用Tampermonkey安装此用户脚本

点击安装脚本

点击安装脚本(镜像)

image

和以往不一样，功能入口在Tampermonkey中，如上图所示

image

温馨提示：请提前给与网页下载多项文件的权限

同人小说(通用)

大部分同人网站那源码都一样的东西，做了个模板，可以直接爬

相关文件

Template.py

使用说明

(main) $ python Template.py -h
usage: Book Downloader [-h] [-d DOMAIN] [-p PROTOCAL] [-i IP] [-s START] [-e END] [-m MODE] [-c CODE] [-x X]

用于下载一些模板一致的网站

options:
  -h, --help            show this help message and exit
  -d DOMAIN, --domain DOMAIN
                        网站域名
  -p PROTOCAL, --protocal PROTOCAL
                        网站支持协议
  -i IP, --ip IP        网站IP地址
  -s START, --start START
                        起始点
  -e END, --end END     终止点
  -m MODE, --mode MODE  模式
  -c CODE, --code CODE  网页编码
  -x X, --x X           高级设定

Phantom-sea © limited |∀` )

此处重点说明几个参数:

  • MODE：模式，有两个可选项："default"和"local"
    default默认模式，爬取即时数据，生成URL文件和Data内的一个数据文件
    local本地模式，读取Data中的数据文件生成一个URL文件
  • X：高级设定，其实就是下载txt页面的路径，有单独几个网站这个路径是他们更改过的
    比如：https://www.bixiange.top/
    它的下载页面比如 https://www.bixiange.top/download/15-18931-0.html
    相对应的高级设定是/download/15
    同时，也可以更改此设定达到下载不同分类的目的
    比如，这里的15是同人分类，其他的分类ID可以自行寻找

运行完成之后会生成一个txt/url.txt的文件

通过aria2c -c --input-file=url.txt执行下载，或者使用IDM等软件进行下载

可以使用的示例网站

imwcr

相关文件

imwcr.py

针对https://down.imwcr.com/1/main编写的爬虫

IP记录:43.154.113.63

失效记录 2023.3.21

根据这个IP记录，发现了新的域名，但是502，先记录 down.suucc.com

恢复正常 2023.6.1

实际上只是拥有者更换域名而已，功能还未测试，应该差不多改改就行

已失效内容

已失效内容

trxs(原版)[已失效]

相关文件

trxs.py

前不久看见个同人小说的网站，写了个爬虫爬着玩 这里是小说网站地址

编译完成之后的程序在这下载

zxcs[已失效]

相关文件

zxcs.py

针对http://zxcs.me/编写的爬虫

IP记录:92.242.62.123

失效记录 2023.6.7

具体情况可以通过如下链接查看

https://webcache.googleusercontent.com/search?q=cache:https://zxcs.wiki/

https://web.archive.org/web/20230602155316/https://zxcs.wiki/

crawler's People

Contributors

rcrwrate avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.