hhy5277 Goto Github PK

followers: 37.0 following: 156.0 repos: 23.6K gists: 0.0

Name: haiyang

Type: User

haiyang's Projects

distribute_crawler

使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现,爬虫状态显示使用graphite实现

1. 主要分为三个模块，一个爬虫抓取模块，一个是数据处理模块，一个是用户模块。 2. 爬虫抓取模块主要是从直播吧、新浪体育、网易体育上爬取有关足球的新闻和用户关于足球的评论，利用集群HADOOP抓取网页，分析得出URL集，提取特征URL 3. 网页linux脚本过滤得到原始网页，然后二次过滤得到文本，并使用分布式储存。 4. 处理模块主要是根据训练集规则一和规则二，得到分词器，然后对文本进行操作，得出训练结果。 5. 通过特征脚本得到训练结果的特征词分类，然后提取出球队模糊集和球星模糊集。 6. 过滤得到球队精确集和球星精确集，并存入MYSQL数据库。 7. 从数据库中提取球星和球队的信息进行图表分析，并动态显示WIKI信息，调入显示模块中和用户进行交换

distributedcrawler

分布式爬虫，redis缓存，mysql持久化，rpc实现分布式。可用docker部署

distributedcrawling

This is what I do with Pthon distributed crawler

distribution

Short, simple, direct scripts for creating ASCII graphical histograms in the terminal.

distribution-1

The Docker toolset to pack, ship, store, and deliver content

distributions

NodeSource Node.js Binary Distributions

distroless

🥑 Language focused docker images, minus the operating system.

distsys-class

Class materials for a distributed systems lecture series

ditto

Lightweight Markdown Documentation System

ditto-1

:elephant: Ditto is a scripting language implemented in C

dive

A tool for exploring each layer in a docker image

dive-into-dl-pytorch

本项目将《动手学深度学习》原书中的MXNet代码实现改为PyTorch实现。

dive-into-dl-tensorflow2.0

本项目将《动手学深度学习》(Dive into Deep Learning)原书中的MXNet实现改为TensorFlow 2.0实现，项目已得到李沐老师的同意

dive-into-machine-learning

Dive into Machine Learning with Python Jupyter notebook and scikit-learn

dive-into-webpack

全面的Webpack教程《深入浅出Webpack》电子书

dive-to-gosync-workshop

深入Go并发编程研讨课

diveintohtml5

A copy of Mark Pilgrim’s “Dive Into HTML5” book, hosted by HTML5 Doctors. To help improve submit a pull request or add an issue. More info at http://html5doctor.com/dive-into-html5-doctor/