CHM训练 about ridcp_dehazing

[RC-Qiao]

我有点些疑问，CHM.PTH怎么得来的

[RQ-Wu]

您好，感谢您的关注！因为最近在参与其他的project，暂时没有时间整理剩下的代码，我们会尽快整理并开源的。您也可以自己复现一下，主要是以下几个步骤。

1. Flickr等高清数据集上取200张左右图像，输入到预训练到VQGAN上，统计codebook里每个code的激活频率p1。
2. 如RTTS等真实雾图像数据集上取200张左右图像，输入到训练好的去雾网络中，统计codebook里每个code的激活频率p2。
3. p1-p2的差的绝对值就是CHM的weight。
4. 可以通过将调整后的激活频率与p1的KL散度进行最小化得到推荐的调整系数。
   得到的结果可能会因为取的图像不同和文章给出的weight有偏差，不过在**和实现效果上都是接近的。

另外有问题可以联系我，我的联系方式在RIDCP的project page里，欢迎交流讨论！

[RC-Qiao]

好，感谢解答。同时期待您的补充

[RC-Qiao]

第一步训练VQgan的时候没有训练到这个multiscale_decoder这部分吧，如果使用你的HQPs.pth做改进这个解码器部分是不是可以更改

[RQ-Wu]

没有太理解你的意思，我就先按照我的理解进行回答了。
如果解码器变动的话，可能会造成第二阶段的训练结果的不同，从而导致第三阶段会生成不同的HQPs.pth。如果解码器变动，使用同样的HQPs.pth的方法是不妥的，不过你也可以试试，也许也能取得不错的效果。
另外近几天我们会尽快开源CHM的代码的，争取这个周末可以整理完毕。

[RC-Qiao]

因为我看你的代码发现vagan训练是用的解码器（decodergroup）和你第二步训练是解码器（multiscale_decoder）是不同的（如果解码器变动，使用同样的HQPs.pth的方法是不妥的）。也就是归一化特征对齐是不是没有进行训练。