相机初始位置 about cube_slam_wu

[wuxiaolang]

这里给的是相机位姿，在 cube slam 论文中是与 ORB-SLAM2 结合的，ORB-SLAM2 的初始化得到相机位姿，提供 cube slam 恢复 3D 物体信息。但是作者只开源了 3D 物体信息检测部分，没有开源怎么与 ORB-SLAM2 结合的，所以为了能让 cube SLAM 跑起来，作者给出了第一帧的相机位姿（来源于数据集的 groundtruth）相当于初始化，在代码的 detect_3d_cuboid 例程用于单视图检测物体信息，给定了这一帧图像的位姿。
相机位姿的作用：

1. 物体信息作为路标，计算里程计及后续的相机位姿；
2. 计算相机坐标系的平面；
3. 提供 roll 和 pitch 角确定物体的偏航角以计算三个消失点；
4. 从 2D 提案中生成 3D 提案也会用到。

[caoxudong0513]

是的，我的意思是你给你的数据集提供的初始位姿是什么呀？我用源码里的得到的结果比你的差，能不能方便我试一下？右图是你的结果

对于kitti数据集的话我给了groundtruth真值，结果啥都检测不出来，反而还是使用源码中的数值可以检测出三个歪斜框，请问你试过吗？kiiti07序列第一张图

[wuxiaolang]

我的那个图用的是作者提供的 tum 数据集中的一个位姿，其实对于相机位姿我也很疑惑，感觉检测出的物体都存在倾斜，受到相机位姿的影响特别大。最近正好把 cube slam 加到 ORB-SLAM2 中，也经常是恢复不了物体 3D 信息，就算检测出来了也不准确，给作者发了封邮件，要是有什么进展的话再告诉你，欢迎交流讨论。

[caoxudong0513]

好的，谢谢了，我也有和你一样的问题，确实相机位置影响很大，有问题在流交

[wuxiaolang]

由于 cube slam 物体的消失点是根据相机内参和物体偏航角来计算的，物体偏航角又是根据相机位姿来采样的，所以要保证消失点准确就需要保证相机位姿是相对于世界坐标系的（而不是相对于ORB-SLAM2 初始化出的第一帧），我尝试读取 tum 数据集的 groundtruth，发现比较合理，所以应该注意初始化位姿的确定。

[caoxudong0513]

由于kitti的相机是正向前方摆放的，按理对于cube的第一帧就是应该设为欧拉角（0,0,0），但是却没有结果出来，是不是因为它安装的有角度伢？我试了下（-90,0,-90）检测稍微正常了点

方便发一份tum数据的yolo2D框结果吗？我发你[email protected]了

[wuxiaolang]

好的我待会保存一下结果发你邮箱

[caoxudong0513]

好的，谢谢