crawler-project-all Goto Github PK

1024crawer

基于python的1024爬虫，可爬下1024的文章和图片放到当前目录上。

cartoon-cat

漫画喵 一键下载漫画~

cnblogsspider

用scrapy采集cnblogs列表页爬虫

doubanspider

豆瓣读书的爬虫

e-hentaicrawler

examples-of-web-crawlers

一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners. )

girl-atlas-crawler

girlcrawler

A crawler for pictures on http://www.girl13.com

github-spider

Github 仓库及用户分析爬虫

github-trending

Tracking the most popular Github repos, update daily(Python version)

hsdata

用数据玩炉石！快速收集和分析炉石传说的卡牌及卡组数据

jd-autobuy

Python爬虫，京东自动登录，在线抢购商品

kechenggezi-spider

第一次写爬虫，爬课程格子的校花榜，比较简陋，没用多线程。

konachandl

K站爬虫

learn_python3_spider

python爬虫教程系列、从0到1学习python爬虫，包括浏览器抓包，手机APP抓包，如 fiddler、mitmproxy，各种爬虫涉及的模块的使用，如：requests、beautifulSoup、selenium、appium、scrapy等，以及IP代理，验证码识别，Mysql，MongoDB数据库的python使用，多线程多进程爬虫的使用，css 爬虫加密逆向破解，JS爬虫逆向，分布式爬虫，爬虫项目实战实例等

lianjia-beike-spider

链家网和贝壳网房价爬虫，采集北京上海广州深圳等21个**主要城市的房价数据（小区，二手房，出租房，新房），稳定可靠快速！支持csv,MySQL, MongoDB,Excel, json存储，支持Python2和3，图表展示数据，注释丰富 🚁，点星支持

lianjia-scrawler

链家二手房租房在线数据，存量房交易服务平台数据，详细数据分析教程

lianjiaspider

链家爬虫

mafengwo

一个基于scrapy框架编写的马蜂窝旅游网用户旅游路线爬虫，核心代码不到50行！

mm131

MM131网站图片爬取 :rotating_light:

mmjpg

👩 美女写真套图爬虫（一）

mycar_python

自动发车爬虫

nbsprc-spider

国家统计用区划代码和城乡划分代码---爬虫及数据

python-crawler-tutorial-starts-from-zero

python爬虫教程，带你从零到一，包含js逆向，selenium, tesseract OCR识别,mongodb的使用，以及scrapy框架

python-maoyan-spider

:rainbow: 攻陷猫眼网数据反爬（一次爬与反爬的斗智斗勇）

python-web-scraping

python爬虫，包含大小项目

qq-groups-spider

QQ Groups Spider（QQ 群爬虫）

qqspider

QQ空间爬虫（日志、说说、个人信息）

scrapstagram

An Instagram Scrapper

speech_spiders

:zap: 一只超级污的司机蜘蛛