bebee4java / ides

智能数据探索服务(Intelligent Data Exploration Service)，一站式Data + AI数据解决方案！

Hey, bebee4java here! 👋

• 👨‍💻 I’m currently working in Alibaba.
• 🔭 I’m currently working on Spark / Flink / Kubernetes / Golang / Java / Python etc.
• 🛸 Blog on java永不为奴 : https://blogtech.top
• 📝 Note on YUQUE 语雀 : https://www.yuque.com/songgongru
• 🚀 Open source works on Datalinked : https://datalinked.cn

🎉 Highlight products: Datalinked

  The open source product( Datalinked ) to solve the unified bigdata + AI development process. In order to simplify the process of data processing, data analysis, data mining, machine learning, etc., please pay attention!

ides's Issues

ides repl shell定义scala udf执行Executor报序列化异常

ides repl shell支持scala和ides dsl一起运行，所以我用scala定义了一个字符串长度函数，然后注册成udf，但是数据在Executor执行时，报了序列化异常：

执行代码如下：

val strLen:String=>Int = (s:String) => if (s == null) 0 else s.length();
spark.udf.register("strLen", strLen);
select strLen('123') as t;
t.show()

Repl 终端不支持终止功能

repl 需要支持 ctrl+c 取消任务/中断running job

[repl] 通过ides repl shell 使用--jars加入的依赖不生效

我在启动repl shell时，使用--jars加入mysql connector依赖，在真实运行时还是报了错误：java.lang.ClassNotFoundException: com.mysql.jdbc.Driver。
运行命令如下：

./bin/ides-shell --jars /Users/sgr/.ivy2/jars/mysql_mysql-connector-java-5.1.36.jar

执行报错如下：

[server] ides restful 服务请求日志时间显示不正常

我启用了ides rest server并开启了request-log配置，在请求的日志文件里发现api请求时间显示不正常：

我请求时间是：2022-08-12 14:54:44 结果在log文件中显示是02:54:44，这会和凌晨时间无法区分，请求修正！
配置参数主要如下：

• ides.spark.service=true
• ides.server.request-log.enable=true

Repl 终端不支持多行代码块粘贴执行

Repl 终端需要支持多行代码粘贴执行：
参考spark-shell或者scala repl 判断代码块是否结束

CSV文件字段存在换行符，如何正常读写存储到hive表？

csv文件某些文本字段里存在换行符，如：

id,name,desc
1,spark,"spark是一个分布式计算框架"
2,ides,"ides是一个分布式计算框架，解决了统一大数据+AI开发流程，
简化了数据处理、数据分析、数据挖掘、机器学习等过程"

总共2行数据，第二行存在换行

问题是：

1. 如何正确读取字段存在换行的csv数据？
2. 如何将csv数据保存到hive表中，并能正确解析读写？

脚本支持多语言（python、sql）模式开发

ides自定义了一整套dsl，如（load/save/set/connect...)等语法，具体参考。
我们希望从语法层原生支持sql、python等语言的执行，这样可以丰富脚本开发，因为很有可能某些同学习惯使用sql或python进行数据处理（算法同学同样需要python加持）。

ides repl支持原生python语言执行能力

python 作为数据科学家必备的技能，常常用来进行数据挖掘、机器学习等工作。ides为了兼顾集成python为数据挖掘的核心工具，打算在repl模式扩展执行原生python语言的能力。
有两种方案考虑：

1. 开发 pyides 客户端，独立支持ides dsl和原始的python语言的运行
2. 在原先ides-shell 客户端里实现通过 %python命令进入python语言环境，% 命令退出python坏境，像这样：

Repl终端注释存在问题

The repl terminal contains comments when inputting multiple lines of code, and there is a problem of parsing errors, as shown in the following figure: