如何制作自己的6d pose estimation训练数据集呢？ about vision-based-robotic-grasping

[GeorgeDu]

@hlcool 惊涛你好，制作自己的训练集确实是痛点，之前用LabelFusion采集过数据集做过一些尝试，确实采集过程复杂一些，不过感觉没有太好的办法；训练集应该是需要虚拟数据集和真实数据集，因为只使用采集的真实数据集工作量太大；虚拟部分：需要重建带纹理逼真的3D模型，并且进行真实感的渲染，可以使用引擎；真实部分：可以借助LabelFusion采集一些，或者借助Aruco工具；个人觉得如果物体能够采集到深度数据，就可以不用单目6D位姿估计，可以使用基于点云的物体6D位姿估计或者配准算法；如果物体不能够采集到深度数据，那么才必须用单目6D位姿估计的方法；

[hlcool]

是的，谢谢杜博，制作数据集这个过程我确实走了不少弯路，试了很多种方法。
正如杜博所说，假如有深度数据，我们靠单视角的深度图恢复点云后跟3D模型进行ICP匹配也可以获得物体的位姿，LabelFusion就是用的这种思路，并且这个位姿是可以作为训练数据的真值的。
可是这种方法耗时太长，算法效率不高，假如我们想做动态的抓取、视觉伺服或者AR，这种方法就行不通。
针对有纹理的物体，目前我试过最好的方法就是simtrack和MOPED，不过他们是靠特征点匹配来做的。
杜博目前觉得使用深度学习方法（depth+rgb）做位姿估计精度比较高、实时性好的有哪些？ PVN3D咋样？

[GeorgeDu]

@hlcool 如果对速度有要求，确实需要用RGB来做；PVN3D很好，不过要求物体能够采集到深度图，而且2D分割效果较好；精度和速度都好比较难，不过可以参考下Google的MediaPipe Objectron，可以在移动端实时，但精度应该不能用于机器人抓取；感觉如果要落地，还是需要针对具体落地场景，优化算法以及端侧加速；

[hlcool]

谢谢杜博，我把这个issues先关闭，我昨天周末在家没事翻到你在智东西的公开课。ppt最后有你的微信二维码，希望能加你好友，以后有问题可以向你请教，3Q