witnesslq Goto Github PK

distributed_spider_pku_java

1. 主要分为三个模块，一个爬虫抓取模块，一个是数据处理模块，一个是用户模块。 2. 爬虫抓取模块主要是从直播吧、新浪体育、网易体育上爬取有关足球的新闻和用户关于足球的评论，利用集群HADOOP抓取网页，分析得出URL集，提取特征URL 3. 网页linux脚本过滤得到原始网页，然后二次过滤得到文本，并使用分布式储存。 4. 处理模块主要是根据训练集规则一和规则二，得到分词器，然后对文本进行操作，得出训练结果。 5. 通过特征脚本得到训练结果的特征词分类，然后提取出球队模糊集和球星模糊集。 6. 过滤得到球队精确集和球星精确集，并存入MYSQL数据库。 7. 从数据库中提取球星和球队的信息进行图表分析，并动态显示WIKI信息，调入显示模块中和用户进行交换

districache

模仿spark源码实现的分布式缓存

dlc-web

分布式日志收集系统Web前端

dlog

分布式日志系统

dm

毕业设计《基于Web的图书推荐系统展示平台》

dmes

数据挖掘实验系统

dms-webapp

物流配送管理系统

docs

Docs

document-classfication

文本分类器

douban-recommender

基于Spark ML实现的豆瓣电影推荐系统

dp

数据处理

dragon-fe

数据中台,https://xiaoping1988.github.io/index.html#/

dsp

基于hbase+spark的精准广告平台

dubbo-zipkin-spring-starter

Zipkin是一款开源的分布式实时数据追踪系统,dubbo-zipkin-spring-starter是为服务治理框架dubbo 编写的instrument library,支持dubbo全链路实时调用数据统计。使用者可以直接引入此boot starter，扩展默认自动激活(AutoConfiguration)。

dubbo_edu_demo

基于dubbo框架搭建的一套框架,使用spring+springmvc+mybatis 并使用jqueryUI实现后台页面搭建

duplication-of-work

因为需求而做的一些重复的工作

dvb

解析广电大数据

dw-commons-filereader

文件内容读取工具包

dw-flume

flume 自定义类

dw_etl

dw etl 工具 mysql 增量、全量抽取 to hive. 合并 hive 数据表, 等数据平台清洗工具

dw_general_loader

hive sql 组件

dw_hive_udf

hive udf , udf ,udaf ,udtf

dw_scheduler_agent

调度服务

dw_sql

dw_webservice

数据对外 api 接口, 包含用户画像数据, 等对外接口

dzb

电子办的地图项目

e-businessdataanalysis

E-BusinessDataAnalysis/电商数据分析

eagleeye

An app built on Cloudera Enterprise for tracking metrics of jobs that run in YARN framework

earthquakemonitor

一个多维度的地震信息监测报警系统

easy-elastic4j

easy-elastic4j是基于elasticsearch java client封装的elasticsearch操作库,使用更简单方便