agentmaker / patta

A test times augmentation toolkit based on paddle2.0.

Hi, We're AgentMaker, Welcome!

Email : [email protected]

QQ群 : 1005109853

patta's Issues

Binary string

显示无法从txt读取图片路径是为什么？对txt格式有什么要求吗？
ValueError: (InvalidArgument) Failed to parse program_desc from binary string.
[Hint: Expected desc_.ParseFromString(binary_str) == true, but received desc_.ParseFromString(binary_str):0 != true:1.] (at /paddle/paddle/fluid/framework/program_desc.cc:143)

【PaddlePaddle Hackathon】98 搜索测试图像增强最佳方案探索

（此 ISSUE 为 PaddlePaddle Hackathon 活动的任务 ISSUE，更多详见PaddlePaddle Hackathon）

PaTTA 就是一个致力于让模型表现更加稳定的飞桨模型测试增强工具箱，其原理为在测试时对要推理的数据进行增强，通过投票形式选出更稳健的推理结果。

【任务说明】

• 任务标题：搜索测试图像增强最佳方案探索

• 技术标签：Python、PaddlePaddle

• 任务难度：简单

• 详细描述：在一般的深度学习赛事中，模型融合、TTA 等策略虽然能有效提升选手成绩，但这些方案在性能上往往难以应用于真实场景。虽然 PaTTA 提供了 TTA 工具，但我们也可以思考是否可以通过统计等方式，在用户预测单张图像时尽可能推荐出一个推理性能均衡点，在较低的速度影响下依旧可以提升模型效果。在这个项目中，需要你在同样环境下，在 Cifar100 数据集上进行推理，做到速度影响在 5% 以内，精度仍可具备至少 0.1% 的提升。

【提交内容】

• 项目 PR 到 PaTTA

• 技术说明文档

【技术要求】

• 可跑通 PaddlePaddle 核心框架下任一图像分类任务

ValueError: (InvalidArgument) The size of Op(Conv) inputs should not be 0. [Hint: Expected in_dims[i] != 0, but received in_dims[i]:0 == 0:0.] (at /paddle/paddle/phi/infermeta/binary.cc:465) [operator < conv2d > error] [operator < run_program > error]

用了自己的模型和数据，有没有人遇到这个问题:(

【PaddlePaddle Hackathon】96 图像分类模型解释性可视化探究

（此 ISSUE 为 PaddlePaddle Hackathon 活动的任务 ISSUE，更多详见PaddlePaddle Hackathon）

PaTTA 是一个致力于让模型表现更加稳定的飞桨模型测试增强工具箱。

【任务说明】

• 任务标题：图像分类模型解释性可视化探究

• 技术标签：PaTTA、Python、PaddlePaddle

• 任务难度：简单

详细描述：深度学习模型在结构上很难具备“可解释”能力，然而这并不影响我们通过梯度、噪音等方式去解释模型到底在关注什么，也就意味着我们在一些比赛中也可以从通过该方式来了解模型的“关注点”从而提升比赛成绩。

在这个任务中，你需要从产品设计出发，也可以考虑如何优化可解释型算法，目的是将解释性工具箱 InterpretDL 或者自己实现的可解释性模块加入 PaTTA 工具箱中，为模型分析提供更多可能，使得用户在使用 PaTTA 工具箱进行推理结果增强时，可以通过简单的方式调用可视化解释性功能，向使用者提供解释性分析情况。

PaTTA 主页：https://github.com/AgentMaker/PaTTA

InterpretDL 主页：https://github.com/PaddlePaddle/InterpretDL

【提交内容】

• 项目 PR 到 PaTTA
• 技术说明文档

【技术要求】

• 具有基础的 Python 开发能力

• 有使用 Matplotlib 或 OpenCV 等任一 Python 图像库的使用经历

【PaddlePaddle Hackathon】97 新增图像数据增强算法

（此 ISSUE 为 PaddlePaddle Hackathon 活动的任务 ISSUE，更多详见PaddlePaddle Hackathon）

PaTTA 是一个致力于让模型表现更加稳定的飞桨模型测试增强工具箱，其原理为在测试时对要推理的数据进行增强，通过投票形式选出更稳健的推理结果。

【任务说明】

• 任务标题：新增图像数据增强算法

• 技术标签：Python

• 任务难度：简单

• 详细描述：数据增强是一种比较有效的模型能力提升方式，更多的组合可使得模型在训练时更加关注目标特征，从而进一步提升模型成绩。目前 PaTTA 中仅具备高频的图像数据增强算法。本这个项目，需要你新增不低于5个图像方向的数据增强算法，并且这些算法能够略微、显著提升推理成绩，以提升 PaTTA 可用性。

【提交内容】

• 项目 PR 到 PaTTA

• 技术说明文档

【项目技术要求】

• 具有基础的 Python 开发能力

• 有过在深度学习中使用图像增强的经历

请问曹佬,patta更新了吗

ValueError : axes=（2，3） out of range for array of ndim=3

preprocess issue

issue 1

当我将crop_size调至(1024,512), 报错

Traceback (most recent call last):
File "PaTTA/tools/seg.py", line 41, in
main(args.batch_size, imgs_list, args.crop_size)
File "PaTTA/tools/seg.py", line 26, in main
tensor_img = tta_model(tensor_img)
File "/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddle/fluid/dygraph/layers.py", line 902, in call
outputs = self.forward(*inputs, **kwargs)
File "/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/patta/wrappers.py", line 39, in forward
augmented_output = self.model(augmented_image, *args)[0]
File "/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddle/fluid/dygraph/layers.py", line 902, in call
outputs = self.forward(*inputs, **kwargs)
File "/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddle/fluid/dygraph/io.py", line 1170, in i_m_p_l
return _run_dygraph(self, input, program_holder)
File "/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddle/fluid/dygraph/io.py", line 733, in _run_dygraph
'is_test': instance._is_test
File "/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddle/fluid/dygraph/tracer.py", line 45, in trace_op
not stop_gradient)
ValueError: (InvalidArgument) Broadcast dimension mismatch. Operands could not be broadcast together with the shape of X = [16, 48, 128, 256] and the shape of Y = [16, 48, 384, 384]. Received [128] in X is not equal to [384] in Y at i:2.
[Hint: Expected x_dims_array[i] == y_dims_array[i] || x_dims_array[i] <= 1 || y_dims_array[i] <= 1 == true, but received x_dims_array[i] == y_dims_array[i] || x_dims_array[i] <= 1 || y_dims_array[i] <= 1:0 != true:1.] (at /paddle/paddle/fluid/operators/elementwise/elementwise_op_function.h:160)
[operator < elementwise_add > error] [operator < run_program > error]

事实上修改任意crop_size都报错，但是改为1536,1536即数据集的图片尺寸，上述错误解决，但是issue2出现

issue 2

Traceback (most recent call last):
File "PaTTA/tools/seg.py", line 41, in
main(args.batch_size, imgs_list, args.crop_size)
File "PaTTA/tools/seg.py", line 26, in main
tensor_img = tta_model(tensor_img)
File "/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddle/fluid/dygraph/layers.py", line 902, in call
outputs = self.forward(*inputs, **kwargs)
File "/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/patta/wrappers.py", line 39, in forward
augmented_output = self.model(augmented_image, *args)[0]
File "/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddle/fluid/dygraph/layers.py", line 902, in call
outputs = self.forward(*inputs, **kwargs)
File "/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddle/fluid/dygraph/io.py", line 1170, in i_m_p_l
return _run_dygraph(self, input, program_holder)
File "/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddle/fluid/dygraph/io.py", line 733, in _run_dygraph
'is_test': instance._is_test
File "/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddle/fluid/dygraph/tracer.py", line 45, in trace_op
not stop_gradient)
ValueError: (InvalidArgument) The 'shape' in ReshapeOp is invalid. The input tensor X'size must be equal to the capacity of 'shape'. But received X's shape = [16, 512, 384, 384], X's size = 1207959552, 'shape' is [1, 512, 147456], the capacity of 'shape' is 75497472.
[Hint: Expected capacity == in_size, but received capacity:75497472 != in_size:1207959552.] (at /paddle/paddle/fluid/operators/reshape_op.cc:222)
[operator < reshape2 > error] [operator < run_program > error]

【PaddlePaddle Hackathon】AgentMaker 任务合集

Hi，大家好，非常高兴的告诉大家，首届 PaddlePaddle Hackathon 开始啦。PaddlePaddle Hackathon 是面向全球开发者的深度学习领域编程活动，鼓励开发者了解与参与 PaddlePaddle。本次共有四大方向（PaddlePaddle、Paddle Family、Paddle Friends、Paddle Anything）四大方向，共计100个任务共大家完成。详细信息可以参考 PaddlePaddle Hackathon 说明。大家是否已经迫不及待了呢~

本 ISSUE 是 Paddle Friends 专区 AgentMaker 方向任务合集。具体任务列表如下：

序号	难度	任务 ISSUE
96	⭐️	【PaddlePaddle Hackathon】96 图像分类模型解释性可视化探究
97	⭐️	【PaddlePaddle Hackathon】97 新增图像数据增强算法
98	⭐️	【PaddlePaddle Hackathon】98 搜索测试图像增强最佳方案探索
99	⭐️	【PaddlePaddle Hackathon】99 为 AgentOCR 工具适配 JavaScript 环境
100	⭐️ ⭐️	【PaddlePaddle Hackathon】100 制作 Rubick 深度学习相关小插件

若想要认领本次活动任务，请至 PaddlePaddle Hackathon Pinned ISSUE 完成活动报名以及任务认领。

活动官网：PaddlePaddle Hackathon