xigua0106 Goto Github PK

-python-

analyzenpc

利用Python分析全国人民代表大会工作报告

arxiv-spider

arxiv.org 爬虫，基于单机scarpy。

autowh

自动填表工具，供小伙伴们工作使用

baiduspider

可以爬取百度搜索前n页的搜索标题，在改进后可以爬取内容。模板用于爬虫学习

cmspider

一个针对cms结构网站的分布式通用爬虫框架

crawlarticle

基于文字密度的新闻正文提取模块，兼容python2和python3，传入新闻网址或者网页源码即可返回标题，发布时间和正文内容。

distributed-spider

通用新闻类网站分布式爬虫

excel_analysis

Excel虽然可以非常方便地处理数据，但数据量大时速度就变慢了，本项目把Excel数据分析的常用功能：筛选、多表合并、多表汇总、多表分组，通过Python+Pandas重新实现，因为Pandas处理数据更快且能处理大的数据，此工具还可根据业务需求灵活修改少量代码实现通用。

excel_merge_and_analysis

多个excel报表数据合并，并从合并的excel报表中读取数据，生成不同的报表并写入不同的sheet中

generalnewsextractor

新闻网页正文通用抽取器 Beta 版.

learn_python3_spider

python爬虫教程系列、从0到1学习python爬虫，包括浏览器抓包，手机APP抓包，如 fiddler、mitmproxy，各种爬虫涉及的模块的使用，如：requests、beautifulSoup、selenium、appium、scrapy等，以及IP代理，验证码识别，Mysql，MongoDB数据库的python使用，多线程多进程爬虫的使用，css 爬虫加密逆向破解，JS爬虫逆向，分布式爬虫，爬虫项目实战实例等

mzitu

一个多进程，多线程的mzitu下载脚本

neteasenews

网易新闻爬虫，抓取新闻内容

news_hotspot_crawler

基于scrapy的**国内各大新闻网站内容爬虫

newsspider

该项目是基于Scrapy框架的Python新闻爬虫，能够爬取网易，搜狐，凤凰和澎湃网站上的新闻，将标题，内容，评论，时间等内容整理并保存到本地

office_automation_dev

Python自动化代码模板、开发文档

pdfmaster

最近复习大神的pdf，发现有些重点的页面需要单独保存，在网上找了半天pdf拆分合并的工具，并没有好用的，所以自己用Python的PyPDF2和tkinter写了一个小工具，里面是代码以及打包好的exe可执行文件。

porn_movie

😍使用Python的web框架django开发的一个能在线搜索和观看色情小电影的Web程序，以后再也不用买片了！

pspider

pspyder新闻爬虫，是一个新闻采集类应用，能够自动模拟登录并采集网站上的新闻内容，将新闻加工后，同步到生产库。

py-elasticsearch-django

基于python语言开发的千万级别搜索引擎

pyfileop

Python 对文件的操作

pygadgets

Gadgets to simplify works | 自用简化工作小工具

pyjpegtbx

一个针对JPEG格式图像提取原始数据，方便图像数据操作的python库

python

Python脚本。模拟登录知乎， 爬虫，操作excel，微信公众号，远程开机

python-

菜鸟写的自己用的python办公框架

python--1

用python实现办公自动化的有关操作

python-1

一些小的python脚本

python-2

Python3编写的各种大小程序，包含从零学Python系列、12306抢票、省市区地址库以及系列网站爬虫等学习源码

python-3

python常用小脚本(如：网页小爬虫、目录分析器、杀毒软件、系统垃圾清理器等)