Comments (4)
因为offsets可以在包含原本区域的特征x的同时,通过形变引入窗口边缘其他区域的信息flow_warp(x, offsets)。这里的光流你可以理解是类似于基于运动向量作用的一个形变,flow_warp()本质上可以看作是根据一组位移量使用grid_sample函数对原特征实现形变。具体的说,vgrid = grid + flow,grid是原始的坐标,而flow在光流法里是相邻帧对齐的二维运动向量,在我们的方法里是offsets,它们的内涵是一样的,只不过在光流法里是对两帧之间像素的位置变化进行计算,而在我们的方法中使用predictor进行预测。
作者你好,感谢你的回复,我大概明白了你使用offsets作为“光流”的动机,但是我对使用predictor预测光流的有效性仍是不解,一般的光流预测是基于有监督学习的,它们的数据集里有真实的光流信息作为样本进行学习,但是本文里好像没有单独针对offsets的loss,怎么确保训练得到的offsets就包含了我们要的“光流”信息呢?顺便提一嘴,论文里图7 offsets的可视化做的真好看,请问是怎么实现的呢?期待你的解答!
from camixersr.
是的,所以在实际的训练过程中,这个offsets的就很tricky,所以我们没有直接用flow_warp(x, offsets)作为特征,而是用x+flow_warp(x, offsets)和一些参数的预设,比如缩放因子,来保证其对基线有提升。但如果是对于360SR这种任务,这个offsets的可解释性会更强,从而学习的更合理,你可以参考OSRT。当然,如果可以有监督的学习这个offsets那肯定效果会更好,但标注这样的数据集确实不太有性价比,所以我们采取和目前的可形变卷积或注意力类似的训练,就是让它自己去学习寻找对性能有提示的区域。可视图可以参考这个链接。
感谢的你解答和分享!!!
from camixersr.
因为offsets可以在包含原本区域的特征x的同时,通过形变引入窗口边缘其他区域的信息flow_warp(x, offsets)。这里的光流你可以理解是类似于基于运动向量作用的一个形变,flow_warp()本质上可以看作是根据一组位移量使用grid_sample函数对原特征实现形变。具体的说,vgrid = grid + flow,grid是原始的坐标,而flow在光流法里是相邻帧对齐的二维运动向量,在我们的方法里是offsets,它们的内涵是一样的,只不过在光流法里是对两帧之间像素的位置变化进行计算,而在我们的方法中使用predictor进行预测。
from camixersr.
是的,所以在实际的训练过程中,这个offsets的就很tricky,所以我们没有直接用flow_warp(x, offsets)作为特征,而是用x+flow_warp(x, offsets)和一些参数的预设,比如缩放因子,来保证其对基线有提升。但如果是对于360SR这种任务,这个offsets的可解释性会更强,从而学习的更合理,你可以参考OSRT。当然,如果可以有监督的学习这个offsets那肯定效果会更好,但标注这样的数据集确实不太有性价比,所以我们采取和目前的可形变卷积或注意力类似的训练,就是让它自己去学习寻找对性能有提示的区域。可视图可以参考这个链接。
from camixersr.
Related Issues (20)
- How can I use pretrained models? HOT 4
- train_example.yml中的meta_info_file是什么? HOT 1
- the result of net is something wrong HOT 15
- Flops HOT 1
- 核心work的模块是啥 HOT 13
- AssertionError:bird_HR_x4.png is not in lq_paths HOT 2
- AssertionError: 41033_HR_x4.png is not in lq_paths. HOT 1
- 请问作者有尝试过在这个算法中用GAN吗 HOT 3
- Mask Visualization HOT 1
- The mask of CAMixer, Visualization. HOT 6
- 关于在训练时使用gumble softmax的细节 HOT 2
- 找不到basicsr.utils HOT 2
- How to infer on real-world images? HOT 2
- Figure 4 Predicted Mask m Visualization HOT 11
- "No object named 'CAMixerSR_basicsr' found in 'arch' registry!" HOT 1
- Question About Training Details HOT 1
- onnx export
- About the Missing CAMixer-CAMixerSR
- Question about the Gumbel Softmax code. HOT 1
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from camixersr.