Realtime demo about clean-pvnet

[pengsida]

我们用detector先检测图片中的物体，然后将物体crop，输入pvnet，检测pose。

[jinglan0829]

kpt_2d = output['kpt_2d'][0].detach().cpu().numpy()
img_id = int(batch['img_id'][0])
anno = self.coco.loadAnns(self.coco.getAnnIds(imgIds=img_id))[0]
kpt_3d = np.concatenate([anno['fps_3d'], [anno['center_3d']]], axis=0)
K = np.array(anno['K'])
pose_gt = np.array(anno['pose'])
pose_pred = pvnet_pose_utils.pnp(kpt_3d, kpt_2d, K)
但计算物体位姿部分, kpt_3d我发现是用数据集里的物体mask，pose来计算（anno)，可是实时检测到的物体并不是数据集里的，这个部分该怎么处理呢

[pengsida]

我们实时demo的物体是数据集里的。如果模型不已知，就没有6d pose的概念。

[jinglan0829]

实时demo的物体是数据集里的，但是实时demo得到的物体的图片是随机的，而anno这个部分是是根据数据集里的顺序排序的

[pengsida]

kpt_3d是固定的

[jinglan0829]

好的，谢谢！

[kevin860213]

那請問你在real times 時會得到物品的crop 這包含了mask嗎?謝謝

[pengsida]

不包括，mask是pvnet预测的。