hotdetect's Introduction

自动探测热点

一个自动探测热点的SDK【本地探测】
接口埋点统计，埋点对象可以是数字、string等，一般是被访问对象id
通过滑动窗口+频率计数+优先队列计算Top-K，K由业务方参数决定
通过业务回调定时回传上一次窗口热点ID TOP-K，窗口时间由业务方参数决定

可以用于解决高并发下的热点问题。

项目简介

基于SDK自动探测出热点ID
将热点ID上报，或者将对应数据缓存到本地
接口优先从本地缓存读取数据，miss才从下游存储中获取
这样热点数据大部分会在缓存中被命中，也就解决了热点问题

基础理论模型、实践样例、衍生问题等可参考下面【资料】。

代码示例

创建一个热点探测实例：

import "hotDetect"

func callback((list []hotDetect.TopItem)) {
    // hotDetect会将top-k的热点通过该回调定时传回来
    // 在该回调中处理热点ID，业务可以将热点数据缓存到本地内存，或自行上报
}

detectSomeThing := hotDetect.NewDetect(hotDetect.NewConfig(windowSize int, // 窗口数量
                                                        slidingTime int, // 窗口保持时间
                                                        limitItem int64, // 窗口探测数量上限，预防极端情况
                                                        id string,   // 自定义标识, 日志/埋点上报用
	                                                    sampling int, // 采样率
	                                                    callback, // 回调
                                                        topNum int) // top-k  k的设置

//也可以用默认配置 hotDetect.NewDetect(hotDetect.DefualtConf("someID", callback))

埋点统计：