xuhande / docs

Jason Docs

数据部文档

* Core 导读

1、数据仓库框架

• DW Service
• PPT 团队分享
• [数据部 - 推荐系统](files/分享/数据部 - 推荐系统.pptx)
• [数据部 hadoop 实践](files/分享/数据部 hadoop 实践)
• [数据部 - DW现状](files/分享/数据部状况/数据部 - DW现状.pptx)
• 数据部现状以及bi3.0规划
• 智能配盘配盘3.0

2、dw 数据仓库设计

• 数据仓库设计
• dw_db 固化层
• da_db 应用层

3、设计图

• 安个家 Log 收集体系
• 安个家 应用服务分布
• 安个家 Flume 日志高可用收集
• 安个家推荐系统
• CBCF
• UBCF
• IBCF
• 安个家 数据部规划
• 安个家 DB 数据抽取
• 安个家 db 数据抽取
• 安个家 抽取流程控制
• 数据平台
• Yarn 工作原理图解
• HDFS 工作原理图解
• Hadoop 1.x Mapreduce 原理图解
• Mapreduce Shuffle 原理图解
• Mapreduce 优化思维导图

一、DW 服务相关文档

1、dw 数据仓库

• dw 数据仓库
• 生产数据库设计

3、dw 流程

• dw 新人 todo list
• DW 工作流程
• dw 执勤蓝皮书

二、DW 项目工程文档

• angejia_logs (安个家 项目文档)
• uba-docs (uba 项目文档)
• extract_run (抽取脚本 项目文档)
• baidu-sem (baidu-sem 项目文档)
• dw-monitor 报表系统
• dw-explore 查询系统
• dw_hive_server Hive Server Master 服务
• dw_scheduler_agent 调度服务
• node_socket_server nodeJS socket_server 服务, 提供查询调度运行日志的服务
• dw_general_loader 项目开发组件
• dw-hive-udf
• dw_webservice (数据接口文档)
• api (数据接口文档)
• recommend (推荐系统 项目文档)
• user (推荐系统 user 主题)
• inventory (推荐系统 inventory 主题)
• bi-portal (bi-portal)
• bi-portal 首页
• action-log 体系
• report_design (成交地图项目)
• business 成交数据
• finebi finebi 报表工具

三、DW 技术文档

• hadoop-docs (大数据数据平台生态文档)
  • hadoop (hadoop)
  • hbase (hbase)
  • hive (hive)
  • hue (hue)
  • spark (spark)
  • sqoop (sqoop)
  • zookeeper (zookeeper)
  • kafka (kafka)
  • flume (flume)
• Java-docs (java 文档)
  • jvm (jvm 文档)
• Scala-docs (scala 文档)
  • sbt (sbt 文档)
• python-docs (python 文档)
• shell-docs (shell 文档)
• git-docs (git使用文档)
• Server (Linux 服务器文档)
• Database (各类数据库文档)
• algorithm (各算法文档)

四、DW 工具

• etl-tool shell hive elt 脚本工具

其他

• imgs (存放所有文档用到的图片)
• files (存放所有文档用到的文件)