fork-th-org / spider_crawler

爬虫简单案例包括(🍕🍟模拟登陆,信息抓取以及清洗分析❤🎆)

Spider_Crawler

Compiling Environment

System	win10 1803 / 1903
Python Version	python3.6.2
Python IDE	VS Code / Pycharm
Code size

Test

• chick here to test

Install Python Package

windows or linux :pip install -r .\requirment.txt

Spider-Catalog

• picture_spider

• IP_crawler

• Douban_crawler

• Translate

• Zol_spider

• Express

• Image_Upload

Picture_spider

Picture_spider(图片抓取)

chick here to read README-Picture

• 1.这是一个支持壁纸抓取的软件,运行后将在本文件路径创建文件夹以及图片

• 2.更多详情请了解README-Picture

IP_crawler

IP_crawler(IP抓取)

chick here to read README-Html_parse

• 1 这是运用基本原生的框架进行初步网页提取,方法包括但不仅限于下面的方法

• beautifulsoup4,pyquery,正则表达式,xpath

• 2 主要是对简单的网页进行抓取,仅限于对反爬措施不强的网站(update 4-2)

Douban_crawler

Douban_crawler(豆瓣)

chick here to read README-DOUBAN

• 1.这是一个关于豆瓣抓取的简单爬虫

• 2.默认以csv文件生成在文件夹中,顺序为ID, title ,rate ,url

• 3.如果想修改抓取抓取页数,请参照84行文档修改案例

Translate

Translate(翻译)

chick here to read README

• 1.关于爬取翻译API以及获取翻译结果

• 2.可以支持目前大多数语种的翻译

• 3.更多功能详见 README

Selenium_login

Selenium_login(模拟登陆)

• fifedu口语模拟登陆

• 模拟fifedu口语登陆,方便抓取音频以及其他信息

Zol_spider

Zol_spider(电脑信息)

chick here to read README

1.对电脑信息进行收集处理

2.详情见README

Express

Express(快递)

chick here to read README

1.对快递单号进行查询

2.详情见README

Img_Upload

Img_upload(图床源)

chick here to read README

1.进行图床解析

2.详情见README