thum123 / go_package_example

Gopher常用包: grpc discipline and some common go packages

go_package_example(Go常用包)

第零章 rpc实现选项

• 1 手动实现rpc
  • 客户端
  • 服务端
• 2 手动实现stub中间人
  • 客户端
  • 客户端中间人stub
  • 业务方法
  • 服务端
  • 服务端中间人stub
• 3 json_rpc
  • 客户端
  • 服务端
• 4 http_rpc
  • 服务端

第一章 服务注册中心consul

• consul架构

• 分布式锁-->consul实现)

• 1 http服务注册发现加健康检查

• 2 grpc服务注册发现加健康检查

第二章 日志库

• 1 zerolog
• 2 zap使用及源码分析
  • 2.1 两种打印风格
  • 2.2 定义多种输出位置: 控制台输出及文件输出
  • 2.3 并发安全logger
  • 2.4 zap(配合lumberjack库或go-file-rotatelogs库)实现定制化log日志归档
  • 2.5 简单的基于Entry实现的hook函数-->无法接收到Fields的相关参数

第三章 消息队列

• 1 rabbitmq
  • 1.1 消费者：推拉模式
  • 1.1 生产者
• 2 kafka
  • 2.1 客户端sarama
  • 2.2 客户端confluent-kafka-go源码分析
    • 2.2.1 生产者
    • 2.2.2 消费者
• 3 rocketmq
  • 3.1 消费者：简单消费,延迟消费
  • 3.2 生产者：简单消息，延迟消息，事务消息
• 4 Asynq分布式延迟队列
  • 4.1 生产者
  • 4.2 消费者

第四章 服务注册及配置文件中心Nacos

• 1 获取配置及监听文件变化
• 2 服务注册，监听，获取
  • V1版本
  • V2版本

第五章 关系型数据库

• go-mysql-driver插件源码分析
• 1 GORM
  • 1.1 GORM原理及实现
  • 1.2 连接池使用
• 2 XORM
  • 2.1 主从连接
  • 2.2 调用mysql函数
  • 2.3 事务处理
  • 2.4 crud
    • 插入Insert
    • 原生sql
    • 获取retrieve
    • 更新update

第六章 获取对外可用IP和端口

• 通过google, 国内移动、电信和联通通用的DNS获取对外Ip和端口

第七章 Gin前端form验证器

• 1 验证器校验错误英转中
• 2 前端数据校验

第八章 GRPC编程

• MakeFile介绍
  • makefile在protobuf中应用
• grpc前置知识：http知识介绍
• protobuf及工具介绍
  • 引入其他proto文件,支持编译多个proto文件
  • 编码原理
  • protoc,protoc-gen-go,protoc-gen-go-grpc,protoc-gen-gofast等工具
• 1 HelloWorld入门
  • 1.1 客户端Grpc源码
  • 1.2 服务端Grpc源码
• 2 context中的元数据metadata
• 3 流式GRPC
• 4 protobuf的jsonpb包序列化和反序列化
• 5 负载均衡
  • 5.1 客户端负载均衡(Resolver接口和Builder接口)
    • 第三方consul实现Resolver接口和Builder接口
    • 自定义实现Resolver接口和Builder接口
    • 自定义实现nacos服务注册与发现
  • 5.2 服务端
• 6 retry机制
• 7 grpc错误抛出与捕获
• 8 auth自定义认证
• 9 Grpc插件-proto字段验证器
• 10 Grpc插件-grpc网关直接对外http服务-->etcd中应用
• 11 Grpc插件-gogo/protobuf
• 12 GRPC生态中间件(拦截器扩展)
  • 实现基于 CA 的 TLS 证书认证
  • go-grpc-middleware实现多个中间间：异常保护，日志
• 13 channelz调试
• 14 multiplex多路复用
• 15 自定义grpc插件

第九章 Nosql非关系型数据库

• 1 MongoDB
  • mongo和mysql对比：储存引擎及内存结构
  • 1.1 增删改查
• 2 Redis(协议，原理，数据结构分析)
  • redis底层数据结构对象源码分析
  • 2.1 redigo使用
  • 2.2 go-redis使用
    • 2.2.1 连接池分析
    • 2.2.2 连接初始化及命令执行流程
    • 2.2.3 protocol协议封装
    • 2.2.4 批处理pipeline分析

第十章 链路追踪(Distributed Tracing)

• 1 Jaeger
  • 1.1 结合XORM
  • 1.2 结合redis
• 2 OpenTelemetry
  • 跨服务组合tracer代码展示:需开启svc1和svc2两个http服务(url可以是zipkin或则jaeger)

第十一章 依赖注入容器(Dependency Injection Container)

• 1 dig依赖注入及http服务分层->不推荐
• 2 wire依赖注入->推荐
  • 2.1 不使用wire现状
  • 使用wire优化
  • wire使用-带err返回
  • wire使用-带参数初始化

第十二章 测试框架testify(gin使用)

• 1 assert断言
• 2 mock测试替身
• 3 suite测试套件

第十三章 序列化反序列化-包含标准库源码分析

• 1 Jsoniter(完全兼容标准库json，性能较好)
  • 1.1 序列化
    • 结构体成员为基本类型,嵌套结构体，及tag标签使用
    • 结构体成员为interface{}
  • 1.2 反序列化
    • 基本使用
    • json字符串数组
    • json.RawMessage二次反序列化
• 2 mapstructure使用（性能低但是方便）
  • 2.1 无tag标签
  • 2.2 带tag标签mapstructure
  • 2.3 embeded内嵌标签squash
  • 2.4 未映射字段保留标签remain
  • 2.5 省略字段标签omitempty
  • 2.6 元数据展示源数据未映射字段
  • 2.7 错误
  • 2.8 弱解析
  • 2.9 自定义解析器

第十四章 系统监控

• 1 systemstat包(适合linux系统，已断更)
• 2 gopsutil
  • 进程信息获取
    • 物理机和虚拟机
    • 容器环境
  • cpu,mem,disk

第十五章 分布式事务

• Note: 使用DTM的代码作为案例
• 1 两阶段提交2pc/XA
• 2 saga事务
• 3 TCC事务
• 4 etcd的STM

第十六章 数据复制

• 1 copier(不同类型数据复制)

第十七章 数据加解密

• 1 phpserialize

第十八章 日志收集项目 log_collect

• 1 动态选择文件
• 2 文件内容读取发送

第十九章 熔断,限流及降级

• 0 熔断，降级，限流(官方包x/time/rate)
• 1 Sentinel
  • 1.1 基于流量QPS控制
    • 流量控制器的Token计算策略:direct
    • 流量控制器的Token计算策略:warmUp
  • 1.2 熔断
    • ErrorCount
    • ErrorRatio
    • SlowRequestRatio
• 2 Hystrix
  • 2.1 客户端
  • 2.2 服务端

第二十章 命令行框架Cobra

• 1 介绍及功能使用
• 2 在k8s中的应用

第二十一章 配置文件获取工具viper(依赖mapstructure,fsnotify,yaml)

• 1 viper获取本地文件内容
• 2 监听文件变化(fsnotify)原理分析
• 3 远程读取nacos配置(源码分析)
• 4 yaml.v3

第二十二章 ETCD

• 服务端server--读和写流程分析
• 服务端server--鉴权分析
• 服务端server--mvcc并发控制
• 服务端server--watch机制
• 1 基本操作CRUD及watch监听
• 2 boltdb基本操作及在etcd中的源码分析
• 3 bbolt改善boldb

第二十三章 Go-Micro框架 (不推荐使用)

• 1 Config配置加载包

第二十四章 搜索引擎es

• es索引及索引生命周期管理
• 1 官方包
  • 1.1 批量写入Bulk
  • 1.2 es日志
  • 1.3 并发批量BulkIndexer
• 2 第三方包oliver
  • 2.1 V6版本
  • 2.2 V7版本

第二十五章 监控sentry

• 1 结合gin基本shiyong
• 2 自定义zap core模块收集error级别日志上报sentry

第二十六章 图数据库Neo4j

• cypher语句
• 1 CRUD在web服务中

第二十七章 Mysql的binlog

• binlog,gtid介绍
• canal使用及源码分析

第二十八章 OLAP(Online Analytical Processing联机分析处理)

• 1 列数据库ClickHouse
  • 1.1 标准库sql操作clickHouse
  • 1.2 扩展包sqlx操作clickHouse
  • go-clickHouse源码分析

第二十九章 分布式锁及源码分析

• 1 redsync(RedLock 算法官方实现)
• 2 etcd实现分布式锁

第三十章 Zookeeper

第三十一章 分布式Id

• 雪花算法
  • bwmarrin/snowflake库
  • SonyFlake(解决时间回拨问题)

第三十二章 多副本常用的技术方案及Raft协议

• raft在consul实现
• raft在etcd实现原理分析
• 1 使用hashicorp/raft调试应用

第三十三章 多副本常用的技术方案及Paxos协议

第三十四章 本地缓存

• 1 go-cache源码分析及性能分析
• 2 free-cache源码分析及性能分析

第三十五章 sonar静态代码质量分析-涉及与golangci-lint对比使用

第三十六章 Proto管理工具Buf

第三十七章 CI持续集成

• 1 runner 源码分析