didi / aoe

AoE (AI on Edge，终端智能，边缘计算) 是一个终端侧AI集成运行时环境 (IRE)，帮助开发者提升效率。

文档 | 发布记录 | 路线图 | English

一、简介

AoE (AI on Edge) 是一个开源的 终端侧 AI 集成运行时环境 ( IRE )。帮助开发者将不同框架的深度学习算法轻松部署到终端高效执行。

二、使用文档&示例&资源

• Android用户指南
• iOS用户指南
• Android Demo
• iOS Demo
• 官方模型：
  • SeesawNet_pytorch 人脸比对模型, https://arxiv.org/abs/1908.09124

三、适配信息

AoE 版本	推理框架	依赖信息	推理框架版本
1.1.4 （2020/03/17）	TensorFlow Lite	[ Android ] com.didi.aoe.runtime-tensorflow-lite:1.1.4 [ iOS ] pod 'AoERuntime/TensorFlowLite','~> 1.1.3',	2.1.0
	PyTorch	[ Android ] com.didi.aoe.runtime-pytorch:1.1.4	1.4.0
	MNN	[ Android ] com.didi.aoe.runtime-mnn:1.1.4 [ iOS ] pod 'AoERuntime/MNN','~> 1.1.3',	0.2.1.7
	NCNN	[ Android ] com.didi.aoe.runtime-ncnn:1.1.4 [ iOS ] pod 'AoERuntime/NCNN','~> 1.1.3',	20200106
	Tengine	[ Android ] com.didi.aoe.runtime-tengine:1.1.4	1.12.0

更多版本适配信息

四、Q&A

• 加微信入群：普惠出行产品技术（备注 AoE）

  

五、项目成员

核心成员

kuloud、 dingc 、 coleman.zou 、 yangke1120 、 cvtower

六、友情链接

• Dokit，一款功能齐全的客户端（ iOS 、Android ）研发助手，你值得拥有 :)

• 普惠出行产品技术公众号，欢迎关注。

  

aoe's Issues

这个还在维护吗？

描述问题（Describe the bug）
A clear and concise description of what the bug is.

重现步骤（To Reproduce）
Steps to reproduce the behavior:

1. Go to '...'
2. Click on '....'
3. Scroll down to '....'
4. See error

预期结果（Expected behavior）
A clear and concise description of what you expected to happen.

截屏（Screenshots）
If applicable, add screenshots to help explain your problem.

桌面环境信息（Desktop (please complete the following information)）:

• OS: [e.g. iOS]
• Browser [e.g. chrome, safari]
• Version [e.g. 22]

设备信息（Smartphone (please complete the following information)）:

• Device: [e.g. iPhone6]
• OS: [e.g. iOS8.1]
• Browser [e.g. stock browser, safari]
• Version [e.g. 22]

其他信息（Additional context）
Add any other context about the problem here.

[招聘贴] 资深/专家算法工程师招募中！

职位描述
1 工作内容包括不局限于：目标检测/分类/跟踪/理解，视频动作/行为/关系理解，人脸/行人识别、图像增强等。

2 负责已有算法的改进和应用。

任职要求
1 计算机科学/信号与信息处理/模式识别/机器学习等相关专业，本科及其以上学历；

2 有两年或以上相关工作经验；

3 有图像识别或视频算法研究背景经验；

4 熟练使用c++/python/shell，熟悉常用算法、数据结构和设计模式；

5 熟悉OpenCV/Caffe/TensorFlow者优先；

6 在计算机视觉领域发表过高质量论文的优先考虑。

有意者请通过邮箱：[email protected] 找到我们！

Opencv Dnn 支持

在X86处理器上，OpenCV DNN 速度最快，希望能支持。

Linux SDK V1.0

• 提供 Linux 版本 AoE 框架实现
• 提供编译指导文档

Android的DEMO工程并没有呀

Android的DEMO打开是404呀

MNN组件

• 提供MNN集成组件和静态库接口包装

publish packages automated

auto publish packages to github & bintray when release new branch. @kuloud

图像处理支持库

• YUV -> RGBA
• Image scale / rotate

号外！号外！！ 长期激励活动来了！！！

社区的朋友们：

为了鼓励更多的开发者参与到 AoE 开源项目的共建中来，我们发起了一个长期有效的激励活动：

只要给我们提交 PR ，并被我们采纳的话，就有机会获得相应的奖品。

活动规则：
每自然月为一次获奖周期，我们会统一评审当月所有被我们采纳的 PR ，赠送我们精心准备的小礼品：
1 每个月有效PR前 5 名的贡献者将会获得热门电影票一张，加入到我们首页的外部贡献者名单中。
2 提供完整模块实现 PR ，并被采纳的贡献者，我们将特别提供 AoE 文化衫一件表示感谢。

活动时间：
2019-09-01 00:00 ~ 2019-12-31 24:00。

备注
欢迎扫码加入我们微信交流群讨论互动

首页英文文稿

• 首页Readme提供英文介绍文档

添加推理执行性能数据

请描述你的问题（Is your feature request related to a problem? Please describe.）
添加推理执行性能数据（耗时、CPU占比、内存占用、应用内存大小）

请描述你的解决方案（Describe the solution you'd like）
添加Dokit性能统计类，当指定统计指标时，开启统计服务，供给性能结果

其他信息（Additional context）
N/A

版本命名规则梳理

Is your feature request related to a problem? Please describe.
N/A

Describe the solution you'd like
AoE 对第三方推理框架的依赖，会进行统一版本管理，依赖信息提供文档介绍。

Describe alternatives you've considered
N/A

Additional context
N/A

Add TensorFlow extensions module

请描述你的问题（Is your feature request related to a problem? Please describe.）
N/A

请描述你的解决方案（Describe the solution you'd like）
1 Add gpu support for TensorFlow Lite
2 Add simplify API for create AoeClient by tensorflow
3 Automatically convert image input to model input format

其他信息（Additional context）
N/A

文件加/解密组件

组件功能描述：

• 组件功能可选
• 提供加密的能力
• 对加密文件进行解密，不产生源文件临时文件
• 加解密算法可定制

好久没看到更新了，这个是不是没人维护了？

请描述你的问题（Is your feature request related to a problem? Please describe.）
A clear and concise description of what the problem is. Ex. I'm always frustrated when [...]

请描述你的解决方案（Describe the solution you'd like）
A clear and concise description of what you want to happen.

其他信息（Additional context）
Add any other context or screenshots about the feature request here.

补充新手文档

• Android 新手文档
• iOS 新手文档

子文档

• Demo 工程运行新手文档
• TensorFlow Lite 组件新手文档
• NCNN 组件新手文档
• MNN 组件新手文档

changelog workflow

add workflow to generator changelog @kuloud

osX 编译android demo异常

Android studio assembleRelease编译examples-demo异常，如下异常log

FAILURE: Build failed with an exception.

• What went wrong:
  Execution failed for task ':runtime-mnn:externalNativeBuildRelease'.

Build command failed.
Error while executing process /Users/Gain/Library/Android/sdk/cmake/3.6.4111459/bin/cmake with arguments {--build /Users/Gain/job/code/github/AoE/Android/third_party/mnn/.externalNativeBuild/cmake/release/arm64-v8a --target mnncore}
[1/3] Building CXX object CMakeFiles/mnncore.dir/src/main/jni/mnnnetnative.cpp.o
[2/3] Building CXX object CMakeFiles/mnncore.dir/src/main/jni/mnnportraitnative.cpp.o
[3/3] Linking CXX shared library ../../../../build/intermediates/cmake/release/obj/arm64-v8a/libmnncore.so
FAILED: : && /Users/Gain/Library/Android/sdk/ndk-bundle/toolchains/llvm/prebuilt/darwin-x86_64/bin/clang++ -target aarch64-none-linux-android -gcc-toolchain /Users/Gain/Library/Android/sdk/ndk-bundle/toolchains/aarch64-linux-android-4.9/prebuilt/darwin-x86_64 --sysroot=/Users/Gain/Library/Android/sdk/ndk-bundle/platforms/android-21/arch-arm64 -fPIC -g -DANDROID -ffunction-sections -funwind-tables -fstack-protector-strong -no-canonical-prefixes -Wa,--noexecstack -Wformat -Werror=format-security -fno-exceptions -fno-rtti -std=c++11 -g -DANDROID -ffunction-sections -funwind-tables -fstack-protector-strong -no-canonical-prefixes -Wa,--noexecstack -Wformat -Werror=format-security -fno-exceptions -fno-rtti -std=c++11 -fopenmp -std=c++11 -fvisibility=hidden -fvisibility-inlines-hidden -fomit-frame-pointer -fstrict-aliasing -ffunction-sections -fdata-sections -ffast-math -fno-rtti -fno-exceptions -flax-vector-conversions -O2 -DNDEBUG -O2 -DNDEBUG -Wl,--build-id -Wl,--warn-shared-textrel -Wl,--fatal-warnings -Wl,--no-undefined -Wl,-z,noexecstack -Qunused-arguments -Wl,-z,relro -Wl,-z,now -Wl,--build-id -Wl,--warn-shared-textrel -Wl,--fatal-warnings -Wl,--no-undefined -Wl,-z,noexecstack -Qunused-arguments -Wl,-z,relro -Wl,-z,now -shared -Wl,-soname,libmnncore.so -o ../../../../build/intermediates/cmake/release/obj/arm64-v8a/libmnncore.so CMakeFiles/mnncore.dir/src/main/jni/mnnnetnative.cpp.o CMakeFiles/mnncore.dir/src/main/jni/mnnportraitnative.cpp.o ../../../../libs/arm64-v8a/libMNN.so -llog -ljnigraphics -lm "/Users/Gain/Library/Android/sdk/ndk-bundle/sources/cxx-stl/llvm-libc++/libs/arm64-v8a/libc++_shared.so" && :
/Users/Gain/Library/Android/sdk/ndk-bundle/toolchains/aarch64-linux-android-4.9/prebuilt/darwin-x86_64/lib/gcc/aarch64-linux-android/4.9.x/../../../../aarch64-linux-android/bin/ld: cannot find -lrt
clang++: error: linker command failed with exit code 1 (use -v to see invocation)
ninja: build stopped: subcommand failed.

• Try:
  Run with --stacktrace option to get the stack trace. Run with --info or --debug option to get more log output. Run with --scan to get full insights.

• Get more help at https://help.gradle.org

Deprecated Gradle features were used in this build, making it incompatible with Gradle 6.0.
Use '--warning-mode all' to show the individual deprecation warnings.
See https://docs.gradle.org/5.1.1/userguide/command_line_interface.html#sec:command_line_warnings

BUILD FAILED in 1m 17s

关于binder IPC性能数据的疑问

"这里，有两个因素造成了耗时损失，一是传输耗时，二是序列化/反序列化耗时。相比较使用Binder机制的传输耗时，序列化/反序列化占了整个通信耗时的90%。"

这里序列化耗时占用90%的数据是否严谨，可否给下数据来源、测试case

大家对 AoE 有哪些疑问或建议？欢迎大家盖楼。

AoE 希望能提供一套有效的 AI 赋能工具支撑体系，帮助简化 AI 落地应用的各个环节，提供对主流终端推理框架支持和各种便利的工具。
对此大家对本项目有任何疑问、建议，希望能提出来，帮助项目更好发展，让更多开发者受益。:)

Memory Leak

Memory is allocated

AoE/iOS/AoE/library/Crypto/Classes/decrypt/aoecrypt.c

Line 84 in 02d9c42

char *response = (char *)malloc(headLength);

but at the end of function，never free it

AoE/iOS/AoE/library/Crypto/Classes/decrypt/aoecrypt.c

Line 98 in 02d9c42

return -1;

tengine支持

我实测了一下，tengine性能比ncnn好不少，你们会不会考虑支持？😊
OAID/Tengine

更新首页文档

Is your feature request related to a problem? Please describe.
N/A

Describe the solution you'd like
更新首页信息
1 增加版本说明
2 简化说明文案

Describe alternatives you've considered
N/A

Additional context
N/A

Resource Leak

Stream is opened

AoE/linux/src/plugin/AOECrypto.c

Line 18 in ae1cb2f

FILE *inputFile = fopen(srcFile, "r");

Opened file never closed

AoE/linux/src/plugin/AOECrypto.c

Line 46 in ae1cb2f

return -1;

函数形参个数不一样导致编译失败

函数形参个数不一样导致编译失败

函数名Java_com_didi_aoe_extensions_vision_AoeVision_NV21ToARGB
所在位置

AoE/Android/aoe/extensions/vision/src/main/cpp/aoe_vision/include/aoe_vision.h

Line 20 in 4b8328f

Java_com_didi_aoe_extensions_vision_AoeVision_NV21ToARGB(JNIEnv *env, jclass clazz,

does AoE support sklearn pipline or xgboost model?

many machine learning model are developted by sklearn or other boost framework like xgboost, catboost etc.

I suggest if AoE can support those framework?

继续更新呀 不要停

继续更新呀 不要停

NCNN 组件

• 包装NCNN静态库接口，提供集成组件库

linux 版本编译不了

请描述你的问题（Is your feature request related to a problem? Please describe.）
A clear and concise description of what the problem is. Ex. I'm always frustrated when [...]

请描述你的解决方案（Describe the solution you'd like）
A clear and concise description of what you want to happen.

其他信息（Additional context）
Add any other context or screenshots about the feature request here.

PyTorch backend support

Is your feature request related to a problem? Please describe.
N/A

Describe the solution you'd like
Add support for PyTorch

Describe alternatives you've considered
N/A

Additional context
https://pytorch.org/mobile/home/
PyTorch supports an end-to-end workflow from Python to deployment on iOS and Android.