v3 模型和之前模型的区别 about practical-rife

[hzwer]

其实主要心得就是，psnr 不靠谱，换成 lpips 以后，随便调一下视觉效果突飞猛进

[hzwer]

1. 我加了 ATD12K 进训练集
2. 我设计的新的训练策略（很抱歉目前无法透露相关信息
3. 我微调了模型和 loss 见 hzwer/ECCV2022-RIFE#172 (comment)

如 Practical-RIFE 所说，我们的方法目前既没有专利也没有论文发表，所以 v3 之后的模型复现问题我无法回答

For v3 model, "Since we are in the research stage of engineering tricks, and our work and paper have not been authorized for patents nor published, we are sorry that we cannot provide users with training scripts."

[KevenLee]

明白，就是能不能分享一下调整后的差异或者心得，哈哈

[KevenLee]

有个不是很明白的地方，IFBlock 里面，mask 是什么意思啊，出于什么原因考虑增加mask呢
def forward(self, x, flow, scale=1):
x = F.interpolate(x, scale_factor= 1. / scale, mode="bilinear", align_corners=False, recompute_scale_factor=False)
flow = F.interpolate(flow, scale_factor= 1. / scale, mode="bilinear", align_corners=False, recompute_scale_factor=False) * 1. / scale
feat = self.conv0(torch.cat((x, flow), 1))
feat = self.convblock0(feat) + feat
feat = self.convblock1(feat) + feat
feat = self.convblock2(feat) + feat
feat = self.convblock3(feat) + feat
flow = self.conv1(feat)
mask = self.conv2(feat)
flow = F.interpolate(flow, scale_factor=scale, mode="bilinear", align_corners=False, recompute_scale_factor=False) * scale
mask = F.interpolate(mask, scale_factor=scale, mode="bilinear", align_corners=False, recompute_scale_factor=False)
return flow, mask

[hzwer]

@KevenLee 前后两帧向中间 warp 的时候，会出两个结果，需要相互融合
融合权重就是 mask

[DwenGu]

其实主要心得就是，psnr 不靠谱，换成 lpips 以后，随便调一下视觉效果突飞猛进

您好，想问一下。这句话的意思是说通过lpips的指标替换psnr指标来衡量最终的插帧效果还是其他的意思呢？

[hzwer]

@DunguTmp 对，最终指标看 lpips，和视觉效果还是比较一致的

[Gilgamesh666666]

您好，恭喜rife中eccv2022。我目前想在自己数据集上复现一下任意timestep的rife，请问您之后会考虑公开训练细节吗，比如4版本的rife用的什么蒸馏方法，还有跟论文上说的比，用了什么新的训练策略？因为看到4版本的rife网络结构跟论文的也不同，所以想问一下，非常感谢！

[hzwer]

@Gilgamesh666666 Hi，关于针对视觉效果的模型，参见 hzwer/ECCV2022-RIFE#172 (comment)
论文结构和方法没有什么本质差别，主要是多加了一个尺度，以应对一些实际用到的高分辨率视频处理

[Gilgamesh666666]

@Gilgamesh666666 Hi，关于针对视觉效果的模型，参见 megvii-research/ECCV2022-RIFE#172 (comment) 论文结构和方法没有什么本质差别，主要是多加了一个尺度，以应对一些实际用到的高分辨率视频处理

您好非常感谢您的回复！看到您说3.5版本之后用了新的蒸馏方法，请问这个方便公开吗，如果不可以的话，请问用原文代码中的蒸馏方法和训练策略训练v4模型可以得到差不多的效果吗？

[hzwer]

@Gilgamesh666666 Hi，关于针对视觉效果的模型，参见 megvii-research/ECCV2022-RIFE#172 (comment) 论文结构和方法没有什么本质差别，主要是多加了一个尺度，以应对一些实际用到的高分辨率视频处理

您好非常感谢您的回复！看到您说3.5版本之后用了新的蒸馏方法，请问这个方便公开吗，如果不可以的话，请问用原文代码中的蒸馏方法和训练策略训练v4模型可以得到差不多的效果吗？

原理上的改动已经都合并进现在的代码和发表论文里
修改记录：2021.11.17 arXiv: Support arbitrary-time frame interpolation, aka RIFEm and add more experiments.