Wu_MMSys_17: 即vr-dataset; https://dl.acm.org/doi/10.1145/3083187.3083210
Nasrabadi_MMSys_19: https://dl.acm.org/doi/abs/10.1145/3304109.3325812
David_MMSys_18: https://dl.acm.org/doi/abs/10.1145/3204949.3208139
NOTE:
- A-large-dataset 的6个数据集中, 有4个数据集未在论文中明确 "视点位置坐标系" 与 "ERP格式的视频画面" 在位置上的对应关系, 因而无法进行对齐. 这里选择剩余两个 ([4] (Wu_MMSys_17) 和 [6] (Nasrabadi_MMSys_19) )进行处理.
- David_MMSys_18数据集没有包含在A-large-dataset中, 是我之前做视点预测一直在用的主数据集, 因为它体积小, 训练测试块, 而且视点运动幅度大, HT+VC的VP模型更容易取得比较好的性能.
DVMS
├── Wu_MMSys_17
│ ├── dataset
│ ├── sampled_dataset_thetaphi
│ │ ├── video1
│ │ │ ├── user1
│ │ │ ├── user2
│ │ │ └── ...
│ │ ├── video2
│ │ └── ...
│ └── saliency_src
│ ├── video1.npy
│ ├── video2.npy
│ └── ...
├── Nasrabadi_MMSys_19
└── David_MMSys_18
dataset
: 原始数据集sampled_dataset_thetaphi
: 师兄最终需要的视点数据;- 共有3列: ['playback_time(s)', 'theta', 'phi' ], 其中: theta ranges from 0 to 2*pi, and phi ranges from 0 to pi, origin of equirectangular in the top-left corner;
- 采样率: 5Hz; 即0.2s采样一次;
- 每个数据文件的读取方式为:
data = pd.read_csv(path, header=None)
;
saliency_src
:- shape = (采样点数量, 224, 448); 即原始的saliency map的形状为224x448;
- 可通过运行项目根目录下的
resize_salmaps.py
脚本将saliency_src
resize 成任意尺寸;
cd path/to/DVMS
conda activate gbq_pytorch
python Wu_MMSys_17/Read_Dataset.py --creat_orig_dat # dataset --> original_dataset_xyz (统一目录结构, 以及视点位置的表示格式 (x,y,z) )
python Wu_MMSys_17/Read_Dataset.py --creat_samp_dat # original_dataset_xyz --> sampled_dataset (统一采样率为5Hz, 即0.2s一个数据点)
python Wu_MMSys_17/Read_Dataset.py --creat_thph_dat # sampled_dataset --> sampled_dataset_thetaphi (将视点位置表示格式从(x,y,z)转成(theta, phi) ; theta ranges from 0 to 2*pi, and phi ranges from 0 to pi, origin of equirectangular in the top-left corner)
trivial: 压缩以方便传输:
cd Wu_MMSys_17
zip -r dataset.zip ./dataset/
zip -r sampled.zip ./sampled_dataset_thetaphi/
https://github.com/bzsgbq/PAVER-main
- 首先打开项目根目录下的
resize_salmaps.py
, 配置dataset_name和SALMAP_SHAPE; - 然后直接在项目根目录下运行脚本:
python resize_salmaps.py