didi / es-fastloader Goto Github PK

ExecutorLostFailure (executor 13 exited caused by one of the running tasks) Reason: Container killed by YARN for exceeding memory limits. 20.0 GB of 20 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead.

安装es插件后，调用rest uri会提示
"action [indices:append-lucene] is unauthorized for user [elastic]"

这里给出ES7.X的代码：
int routingNumShards=MetaDataCreateIndexService.calculateNumRoutingShards(numShards, Version.CURRENT);
int routingFactor = routingNumShards / numShards;

int shardId = Math.floorMod(hash, routingNumShards) / routingFactor;

希望能有所帮助

if use reflect to get InternalEngine and IndexWriter, we need not modify elasticsearch source code

mr模块里面的elasticsearch-6.6.1是不是缺失了lib文件夹，这样es可以运行起来么

什么时候可以开源es集群管理平台和es收集query查询分析的网关呀

请问处理各个shard的数据搬迁FastIndexLoadDataCollector类是怎么执行的，以及ZeusUtils中怎么执行的loadData.sh脚本，用的什么技术？

有几个问题想请教一下，谢谢。

1、ES插件打包问题
“wiki/使用文档” 中提到 “修改好ES代码之后，只需要将mr目录拷贝到ES源码的modules目录中，然后执行ES的编译打包命令，就可以获得安装了appendLucene插件的ES安装包了。“
我一开始把ES-Fastloader\mr目录放进去打包，没看到生成jar包；后来感觉不对，就把 ES-Fastloader\plugin 复制到ES源码的modules目录下，编译打包就能看到jar包了： modules\plugin\build\distributions\plugin-6.6.1-SNAPSHOT.jar。
想确认一下是不是使用ES-Fastloader\plugin。

2、ES部署问题
部署ES，得部署修改过源码的ES版本，还是说可以部署没改过源码的ES。

3、关于运行场景
mr任务运行执行hadoop时入参有esTemplate和time，看代码索引名是由这两个部分组成比如最终是 mytable_20200715。
如果我已有的索引名不是这么组成的，比如索引名就叫mytable，是不是就用不了，得重建索引吗？

另外，首页的微信二维码过期了，方便更新一下吗？

CVE-2020-9488

Recommended upgrade version：2.13.2

master: mvn clean package -Dmaven.test.skip=true -Ppro

[ERROR] Failed to execute goal on project mr2es: Could not resolve dependencies for project com.didi.bigdata:mr2es:jar:1.0.0: Could not find artifact org.apache.hadoop:hadoop-client:jar:2.7.2-2312 in central (https://repo.maven.apache.org/maven2) -> [Help 1]

譬如存在Odin相关配置

• https://github.com/didi/ES-Fastloader/blob/master/src/main/java/com/didi/bigdata/mr2es/alarm/AlarmUtil.java#L39
• https://github.com/didi/ES-Fastloader/blob/master/src/main/java/com/didi/bigdata/mr2es/utils/Constants.java#L34

另外似乎还包含了公司内部一些服务地址和端口，如 :

• https://github.com/didi/ES-Fastloader/blob/master/src/main/java/com/didi/bigdata/mr2es/utils/Constants.java#L27

CVE-2020-7018 CVE-2019-7614 CVE-2020-7019 CVE-2020-7020

Recommended upgrade version：6.8.13

您好，我们的业务场景和滴滴的稍有不同，感觉会简单些
暂时我们不会有更新索引的场景，而是每天都新建一份索引，全量刷写数据
我想问下，hadoop fs -get已经把文件按照shard对应关系拉取到es集群本地的节点了
后面如何把lucene的各个文件加载到es集群呢，相当于把这个部分数据加载到一个空索引里面，我理解就是让文件和索引在es端对应起来，不知道这个步骤直接把文件放进索引的存储目录行不行~
还是说要调取lucene的indexWriter这种操作呢，多谢