georgedu / vision-based-robotic-grasping Goto Github PK

杜博士您好，我是一名研一的新生，对机器人的二维平面抓取这个方向很感兴趣。在读您的这篇论文时，对其中的一些专业名词不太了解，比如 antipodal robotic grasping的antipodal，grasp affordances和robotic affordances的affordances。这两个单词应该如何翻译，又该如何理解呢？谢谢。

杜博好，目前做已知物体3D模型的抓取时，需要做6d pose estimation获得Rt变换矩阵。
如果采用深度学习的方法去做，需要大量标注好的训练数据，训练数据一般包括，3D mesh，RGB，depth，pose，mask等等，目前也有不少开源的数据，有linemod、ycb-video等等这些，也有一个BOP: Benchmark for 6D Object Pose Estimation的网站总结罗列并统一数据集的格式。但是这些开源数据集跑跑别人论文的demo是可以的。
假如我们想自己搜集一些待抓取物体，这些物体可以通过EinScan-SP桌面扫描仪获得物体的3D模型，那该如何制作一个和linemod或者ycb-video相似的数据集用来训练呢？有推荐比较好用的制作数据或者标注pose数据的工具吗？
我找到了LabelFusion、ObjectDatasetTools这两个工具，但ObjectDatasetTools这个觉得标注的精度不高，LabelFusion的过程复杂。
也尝试过NVIDIA的DOPE算法使用的NDDS+UE4工具，这个更复杂一些。
杜博训练6d pose estimation算法抓取自己的物体时，是怎么制作或者标注训练集的呢？
期待杜博的回复和指导，感谢感谢

您好，
非常感谢您共享的资料，我看到资料中有许多基于模型的位姿估计方法，但以我的理解是得到物体位姿后还需要根据位姿去选择抓取点，我想咨询下您从得到目标位姿到估计抓取点这一步我应该怎么做或者这属于什么问题？期望得到您的回答，谢谢！

杜博士，您好：
请问为什么6D pose estimation要叫做estimation，而不是检测之类的？
谢谢

杜博士，您好。跟踪了您的综述文章及相关报告，自己此外阅读了一些CVPR2022等会议的新文章，我发现目前大多数的模型都是进行实例级别的位姿估计，需要对 CAD 模型和点云数据进行处理，对于计算资源的开销比较大。想向您请教一下，在计算资源有限有限的条件下，关于目标物体的 6DoF抓取 有没有什么好的建议，比如 Jetson Nano 的开发套件。

目前我的想法是基于 RGBD 数据采用 3D 目标检测的网络生成物体的 bounding box，再恢复到相机坐标系下，而不是直接计算 $[R|t]$矩阵。
此外对于一些形状纹理比较规则的物体，如水杯（圆柱体），直接根据深度图匹配形状，同时搭配 2d 的目标检测获取类别信息；之后再进行变换到相机坐标系进行抓取。

请问您在处理这种目标物体比较简单的 6DoF 抓取任务时，有什么计算开销比较小的方式呢？谢谢。

杜博士，您好：
跟踪阅读了你的两个github上的一些文章，想请教一下6D位姿估计和3D目标检测之间的主要区别是什么？
1、instance-level还比较好理解，因为有已知的3D模型，但对于category-level的位姿估计，感觉是和3D目标检测很相近，都可以得到3D包围盒，它俩的差别主要在哪里呢？
2、还有一个是评价指标ADD_S，看计算公式，要求已知物体的3D点云才能计算，对于category-level的位姿估计，因为3D模型是未知的，你如何利用ADD_S进行计算呢？
辛苦杜博能给予指点，谢谢