frost373 / kitdb

KitDB是一个内嵌式持久型的 高速NoSQL存储 lib

KitDB

更多内容参见：http://thinkin.top/

Overview

KitDB是一个内嵌式持久型的 高速NoSQL存储 lib，以jar 包方式嵌入到应用中。
KitDB 提供了类似Redis 的数据结构。如KV、List、Map、ZSET等。也提供了TTL（生存时间）、备份、ACID事物，多节点强一致性等功能。
KitDB完全基于磁盘存储，并提供最高百万级别的查询性能和十万的写入性能。

GIT IT

 <dependency>
        <groupId>top.thinkin.kitdb</groupId>
        <artifactId>store</artifactId>
        <version>VERSION</version>
  </dependency>

VERSION是Maven Central的最新版本号。您可以点击此图像找到当前版本：

Features

• 完全基于磁盘，不受内存限制
• KV、List、Map、Zet、ZSET等丰富的数据结构
• 最高百万级别的查询性能和十万级的写入性能
• 原子性写入，读写无冲突
• TTL（生存时间）
• 备份与恢复
• ACID事物
• 多节点一致性支持（官方插件使用Raft协议支持强一致性，也可自行使用其他协议或方式）

KitDB和Redis的性能对比

注意：KitDB的测试为本地操作，和Redis对比无意义，只为说明KitDB的性能级别

Requirements

编译要求：JDK 8+和Maven 3.2.5+

单元测试默认数据存储路径为/data/kitdb 如需调整，可用-Dkitdb_path 指定，例如：

test -Dkitdb_path=D:\\temp\\db -f pom.xml

Documents

http://kitdb.top/

Explain

store模块为KitDB本体，raft模块为官方Raft协议插件

操作系统兼容问题

对常用进行开发和运行环境的操作系统进行测试，操作系统使用官方镜像重新安装，排除干扰。开发环境IDE使用IntelliJ IDEA Community。

操作系统	系统位数	环境	Java虚拟机	Java虚拟机版本	结果
Windows 10	64	开发	OpenJDK 64-Bit Server VM	13.0.2+8	通过
Windows 7	64	开发	OpenJDK 64-Bit Server VM	11.0.5+10-b520.388	通过
Windows Server 2008 R2	64	运行	OpenJDK 64-Bit Server VM	13.0.2+8	通过
Ubuntu 18.04	64	运行	OpenJDK 64-Bit Server VM	11.0.6+10-post-Ubuntu-1ubuntu118.04.1	通过
Ubuntu 16.04	64	运行	OpenJDK 64-Bit Server VM	9-internal+0-2016-04-14-195246.buildd.src	通过
CentOS 8.0	64	运行	OpenJDK 64-Bit Server VM	11.0.5+10-LTS	通过

有少量朋友反应在开发环境无法使用KitDB，这可能是由于所用Windows缺少某些运行包引起的。
可以尝试安装如下环境 去微软官网下载13.9 MB

kitdb's Issues

在Win下无法启动

好像在Win下，路径会有错误，我的DB路径是：C:\my\cat\kitdb

Caused by: top.thinkin.lightd.exception.KitDBException: STROE_ERROR
	at top.thinkin.lightd.db.DB.buildTransactionDB(DB.java:330) ~[store-0.1.2.jar:na]
	at top.thinkin.delayhunter.DelayhunterApplication.db(DelayhunterApplication.java:58) [classes/:na]
	at top.thinkin.delayhunter.DelayhunterApplication$$EnhancerBySpringCGLIB$$d3b2e4f8.CGLIB$db$0(<generated>) ~[classes/:na]
	at top.thinkin.delayhunter.DelayhunterApplication$$EnhancerBySpringCGLIB$$d3b2e4f8$$FastClassBySpringCGLIB$$8f5b371.invoke(<generated>) ~[classes/:na]
	at org.springframework.cglib.proxy.MethodProxy.invokeSuper(MethodProxy.java:244) ~[spring-core-5.2.2.RELEASE.jar:5.2.2.RELEASE]
	at org.springframework.context.annotation.ConfigurationClassEnhancer$BeanMethodInterceptor.intercept(ConfigurationClassEnhancer.java:363) ~[spring-context-5.2.2.RELEASE.jar:5.2.2.RELEASE]
	at top.thinkin.delayhunter.DelayhunterApplication$$EnhancerBySpringCGLIB$$d3b2e4f8.db(<generated>) ~[classes/:na]
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[na:1.8.0_161]
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[na:1.8.0_161]
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[na:1.8.0_161]
	at java.lang.reflect.Method.invoke(Method.java:498) ~[na:1.8.0_161]
	at org.springframework.beans.factory.support.SimpleInstantiationStrategy.instantiate(SimpleInstantiationStrategy.java:154) ~[spring-beans-5.2.2.RELEASE.jar:5.2.2.RELEASE]
	... 38 common frames omitted
aftdb2: ÎļþÃû¡¢Ŀ¼Ãû»ò¾í±êÓ�
	at org.rocksdb.TransactionDB.open(Native Method) ~[rocksdbjni-5.18.3.jar:na]
	at org.rocksdb.TransactionDB.open(TransactionDB.java:90) ~[rocksdbjni-5.18.3.jar:na]
	at top.thinkin.lightd.db.DB.buildTransactionDB(DB.java:324) ~[store-0.1.2.jar:na]
	... 49 common frames omitted

Sequence的建议

Sequence 的incr 里面建议换成BigDecimal 这样可以支持几乎无限位自增

public class Sequence {
public final static String HEAD = KeyEnum.SEQ.getKey();
private final static byte[] HEAD_B = HEAD.getBytes();
private final byte[] key_b;
private DB db;
private BigDecimal version;

public synchronized String incr(String increments) throws RocksDBException {
    BigDecimal increment = new BigDecimal(increments);

    if (version == null) {
        byte[] value = db.rocksDB().get(key_b);
        if (value == null) {
            version = BigDecimal.ZERO;
        } else {
            version = new BigDecimal(ArrayKits.bytesToString(value));
        }
    }
    version = version.add(increment);
    db.rocksDB().put(key_b, ArrayKits.convertStringToBytes(version.toPlainString()));

    return version.toPlainString();
}

public String get() {
    return version.toPlainString();
}

public Sequence(DB db, byte[] key) {
    this.db = db;
    this.key_b = ArrayKits.addAll(HEAD_B, key);
}
}

操作系统兼容性较差

能加微信交流下嘛？
zhugezifang001

为何在这里检查 entry的value值 重复呢；key并没有重复,而是key指向的value重复，抛出异常，不是很理解

[RMap.Entry(key=totalshare, value=[54, 52, 46, 49, 51]), RMap.Entry(key=ashare, value=[54, 52, 46, 49, 51]), RMap.Entry(key=totalassets, value=[48, 46, 48, 48]), RMap.Entry(key=startdate, value=[48])]

top.thinkin.lightd.exception.KitDBException: REPEATED_KEY Repeated keys

private void putMayTTL(String key, int ttl, Entry... entries) throws KitDBException {
checkTxStart();
try (CloseLock ignored = checkClose()) {
byte[] key_b = getKey(key);
DAssert.notEmpty(entries, ErrorType.EMPTY, "entries is empty");
byte[][] bytess = new byte[entries.length][];
for (int i = 0; i < entries.length; i++) {
bytess[i] = entries[i].value;
}
DAssert.isTrue(ArrayKits.noRepeate(bytess), ErrorType.REPEATED_KEY, "Repeated keys");
LockEntity lockEntity = lock(key);

方便提供架构设计图吗

类似地

• 分布式算法
• 容错机制
• HA
• 索引
• 文件存储数据结构

万分感谢！

建议修改的api

1：size方法需要修改下，如果key不存在，会抛null,最好返回0；
不然每次都得判断isExist().谢谢！
或者新增方法： sizeWithoutCheck()
2：zset增加range通过offset index获取，参考redis zset range. （默认的是score升序）
方便通过offset index，在不知道score范围时，获取range.
（现在只能自定义index设置到score,像list使用了。）

有测试过操作系统兼容性么？

对你们的项目表示赞赏。
不知道你们是否做过操作系统的普适性测试，目前我在一台 win7 和winserver 2016 上测试都无法使用

这个封装和直接使用rocksdb的提升在哪里？