bilibili / overlord

Overlord是哔哩哔哩基于Go语言编写的memcache和redis&cluster的代理及集群管理功能，致力于提供自动化高可用的缓存服务解决方案。

Overlord

Overlord是哔哩哔哩基于Go语言编写的memcache和redis&cluster的代理及集群管理功能，致力于提供自动化高可用的缓存服务解决方案。主要包括以下组件:

• proxy：轻量高可用的缓存代理模块，支持memcache和redis的代理，相当于twemproxy，不同在于支持redis-cluster及能将自己伪装为cluster模式。
• platform：包含apiserver、mesos framework&executor、集群节点任务管理job等。
• GUI：web管理界面，通过dashboard可视化方便用于集群管理，包括创建删除、扩缩容、加减节点等。
• anzi：redis-cluster的数据同步工具，可服务化与apiserver进行配合工作。
• enri：redis-cluster的集群管理工具，可灵活的创建集群、迁移slot等。

Overlord已被哔哩哔哩用于生产环境。

Document

简体中文

GUI

Architecture

Cache-Platform

基于mesos&etcd提供了自动化的缓存节点管理平台

---

Please report bugs, concerns, suggestions by issues, or join QQ-group 716486124 to discuss problems around source code.

overlord's Issues

多级缓存

motivation

用于缓存容灾，我们需要支持二级缓存。二级缓存可能是一些低速的缓存类型，比如带持久化的redis，比如kv存储等。其中级目的是为了防止缓存被击穿带来的DB雪崩。

资源注入问题

此处的host和port来源与http请求，被直接用于网络访问的地址，可构成资源注入入侵内网系统。

overlord/platform/api/server/command.go

Lines 13 to 18 in c3074bf

	ip := c.Param("ip")
	port := c.Param("port")
	cmd := c.PostForm("command")
	args := strings.Split(cmd, " ")
	rcmd, err := svc.Execute(fmt.Sprintf("%s:%s", ip, port), args[0], args[1:]...)

也许是内部使用的系统不用考虑这些？如果是请忽略。

[ERROR] Redis Cluster all seed nodes fail to fetch

启动的时候报错，如下
[ERROR] Redis Cluster fail to fetch error:fetcher CLUSTER NODES bad reply type
请问这个我需要怎么调整？

多写功能

motivation

为了支持 memcache 平滑迁移和暖机。我们应该能让overlord能有能力将写请求自动转发到新的节点上。
但是这种多写功能其实是有巨大的限制的：

请求重排列带来的数据混乱可能会造成脏数据，而且可能性还很高。

要如何解决上述问题，需要我们的思考。

There is a vulnerability in gin v1.3.0 ,upgrade recommended

overlord/go.mod

Line 18 in b524449

github.com/gin-gonic/gin v1.3.0

CVE-2020-28483

Recommended upgrade version：v1.7.1

合并 memecache text/binary 协议

memcache 协议现在各种客户端的实现参差不齐，binary和text都有在用。现在采取的办法是用两个不同的端口分别指定为不同的协议。但是其实这个协议可以通过parser detect的方式进行兼容。
需要修改的地方：

• 修改 parser ，让 parser 能同时实例化两种请求
• 修改 NodeConn ，让 read/write 的操作同时支持
• 修改 pipeline 模式，让 setq 等更加简单
• 加入单元测试，测试 text 和 binary 协议随机出现的结果

更改 ping/version/quit 等特殊命令的执行过程，不往 forwarder 里面发

slowlog日志增加目标执行实例信息

overlord proxy 有java调用示例吗

overlord proxy 有java调用示例吗

[Bug Report] miss makezero in slice init

I was running github actions to run linter makezero for top github golang repos.

see issues alingse/go-linter-runner#1

and the github actions output https://github.com/alingse/go-linter-runner/actions/runs/9243212242/job/25427060632

====================================================================================================
append to slice `ofid` with non-zero initialized length at https://github.com/bilibili/overlord/blob/master/platform/mesos/scheduler.go#L243:10
====================================================================================================

the ofid := make([]ms.OfferID, len(offers)) should be ofid := make([]ms.OfferID, 0, len(offers))

请问 anzi 不是开源的吗？

lettuce调用overlord出现异常

java 1.8
lettuce 2.0.4

测试代码

`public static void main(String[] args) {
String nodes = "192.168.17.25:27020";
DefaultClientResources clientResources = DefaultClientResources.builder()
.ioThreadPoolSize(10)
.computationThreadPoolSize(10)
.build();

    ClusterClientOptions clusterClient = ClusterClientOptions.builder()
            .autoReconnect(true)
            .pingBeforeActivateConnection(true)
            .build();

    RedisClusterClient client = RedisClusterClient.create(clientResources, RedisURI.create("redis://" + nodes));
    client.setOptions(clusterClient);

    StatefulRedisClusterConnection<String, String> connect = client.connect();
    RedisAdvancedClusterCommands<String, String> sync = connect.sync();

    String set = sync.set("a", "b");
}`

出现的异常

16:17:14.263 [main] DEBUG io.lettuce.core.protocol.DefaultEndpoint - [channel=0xe829f2e8, /192.168.17.1:54639 -> /192.168.17.25:27020, epid=0x2] close() Exception in thread "main" io.lettuce.core.RedisException: Cannot retrieve initial cluster partitions from initial URIs [RedisURI [host='192.168.17.25', port=27020]] at io.lettuce.core.cluster.RedisClusterClient.loadPartitions(RedisClusterClient.java:790) at io.lettuce.core.cluster.RedisClusterClient.initializePartitions(RedisClusterClient.java:761) at io.lettuce.core.cluster.RedisClusterClient.connectClusterImpl(RedisClusterClient.java:500) at io.lettuce.core.cluster.RedisClusterClient.connect(RedisClusterClient.java:339) at io.lettuce.core.cluster.RedisClusterClient.connect(RedisClusterClient.java:316) at com.example.importpsr.OverLordTest.main(OverLordTest.java:34)

overlord 在后面为 redis 和 redis-cluster 的时候，是否支持 pipeline

overlord 在后面为 redis 和 redis-cluster 的时候，是否支持 pipeline

我想问一下多中心redis集群。数据实时同步那种方式

热key及key状态分析

motivation

我们现在需要在代理侧统计指标，同时记录热key等数据，并且依靠其他中间件分析热key，慢key等分布。

There is a vulnerability in lodash 4.17.20 ,upgrade recommended

overlord/web/yarn.lock

Lines 5135 to 5137 in b524449

	lodash@^4.0.0, lodash@^4.17.10, lodash@^4.17.11, lodash@^4.17.15, lodash@^4.17.19, lodash@^4.17.3, lodash@^4.17.4, lodash@^4.17.5, lodash@^4.3.0, lodash@~4.17.10:
	version "4.17.20"
	resolved "https://registry.yarnpkg.com/lodash/-/lodash-4.17.20.tgz#b44a9b6297bcb698f1c51a3545a2b3b368d59c52"

CVE-2021-23337 CVE-2020-28500

Recommended upgrade version：4.17.21

There is a vulnerability in lodash-4.17.19,upgrade recommended

overlord/web/yarn.lock

Lines 5158 to 5160 in 470ea6f

	version "4.17.19"
	resolved "https://registry.yarnpkg.com/lodash/-/lodash-4.17.19.tgz#e48ddedbe30b3321783c5b4301fbd353bc1e4a4b"
	integrity sha512-JNvd8XER9GQX0v2qJgsaN/mzFCNA5BRe/j8JN9d+tWyGLSodKQHKFicdwNYzWwI3wjRnaKPsGj1XkBjx/F96DQ==

CVE-2020-8203
Recommended upgrade version：4.17.20

性能调优：内存

内存最近表现的比较浪费，需要调优啊

2.0 还发布吗

enri迁移slot时报错：BUSYKEY Target key name already exists.

[feat] Support SetupCacheService with mesos containerizer, or simple docker container

Hi, is there any plan for docker support?

So we can gain the flexibility of supporting more versions and more platforms.

Or maybe I'll work on this.

overlordproxy怎么解决单点问题？

APP_ID 参数需要从环境变量中（或者配置文件里）获取并打到监控&slowlog系统里

统计 APP_ID 信息。

修改 noreply 的返回过程，采用更普遍的方法重构此处

Support for mesos hostname

Hostnames are written into nodes.conf if mesos is not running with ip address as hostname, which may cause redis reporting itself with hostname in cluster nodes command result.
exp:

10.0.1.2:21000> cluster nodes
0000000000000000000000000000000000000537 test-node2:21000@31000 myself,master - 0 1587906151000 437 connected 0-8192
0000000000000000000000000000000000000540 10.0.1.3:21001@31001 slave 0000000000000000000000000000000000000537 0 1587906150010 437 connected
0000000000000000000000000000000000000539 10.0.1.3:21000@31000 master - 0 1587906152000 436 connected 8193-16383
0000000000000000000000000000000000000538 10.0.1.2:21001@31001 slave 0000000000000000000000000000000000000539 0 1587906153021 436 connected

This could lead to an infinite failure in consistence check.

你好，有没有bilibili开源的官网可以去学习一下

你好，有没有bilibili开源的官网可以去学习一下？

overlord 重启集群节点异常/删除集群无效问题

问题描述：
1.通过 web 重启创建的集群节点异常
2019/07/22 10:43:46 events_generated.go:30: [INFO] Task localhost:31004-redis_c_b-8 is in state TASK_ERROR with message 'Total resources cpus(allocated: sh001):0.25; mem(allocated: sh001):40; ports(allocated: sh001):[31004-31004] required by task and its executor is more than available cpus(allocated: sh001):2.25; mem(allocated: sh001):6848; disk(allocated: sh001):233952; ports(allocated: sh001):[31007-32000]'
2.通过 web 删除集群，只删除集群记录及关闭mesos任务，实际缓存进程仍在操作系统

想法：
问题1:看异常是请求的资源与提供的资源不符合，但是重启端口号应该相同。mesos 接口参数有支持避免端口冲突还是需要自己先 kill 再启动？
问题2:是否需要自己在 executor 实现关掉进程的逻辑？

未使用的变量

此处的times变量完全没有作用，是否是少写了for循环？

overlord/enri/manage.go

Lines 288 to 292 in c3074bf

	var times = 5
	if !c.consistent() && times > 0 {
	time.Sleep(time.Second)
	times--
	}