关于“regularizer=L2Decay”的torch实现方法 about miemiedetection

[miemie2013]

咩咩老师，我看了一下PP-YOLOE的head部分的代码，那里似乎好像没有对L2Decay做单独的设置呀～

def add_param_group(self, param_groups, base_lr, base_wd, need_clip, clip_norm) 方法设置了每个参数的weight_decay了

咩咩老师，你好，我们又看了一下PP-YOLOE的代码，我们看到：在主干网络中，是只有卷积层的weight参数使用了权重衰减；但是，在head部分，似乎是全部的参数（包括weight和bias项）都使用权重衰减，就是在这里，https://github.com/PaddlePaddle/PaddleDetection/blob/99920ab168642615f8b8e31462599fd662282546/ppdet/modeling/heads/ppyoloe_head.py#L105-L111 所以是不是：只有主干网络才是您在上面说的这个策略——“仅卷积层的weight使用系数为0.0005的权重衰减”呀？ 而Head部分是对所有参数项都使用WeightDecay呢？

是的，在骨干网络确实是像我所说的那样。总之，权重衰减是和原版完全一致的。这个你不必担心。

[songyuc]

请参考咩咩老师在知乎中的回复；

[songyuc]

咩咩老师，我看了一下PP-YOLOE的head部分的代码，那里似乎好像没有对L2Decay做单独的设置呀～

[miemie2013]

咩咩老师，我看了一下PP-YOLOE的head部分的代码，那里似乎好像没有对L2Decay做单独的设置呀～

def add_param_group(self, param_groups, base_lr, base_wd, need_clip, clip_norm) 方法设置了每个参数的weight_decay了

[songyuc]

咩咩老师，我看了一下PP-YOLOE的head部分的代码，那里似乎好像没有对L2Decay做单独的设置呀～

def add_param_group(self, param_groups, base_lr, base_wd, need_clip, clip_norm) 方法设置了每个参数的weight_decay了

谢谢您的回复，我再去看看哈～

[songyuc]

咩咩老师，我看了一下PP-YOLOE的head部分的代码，那里似乎好像没有对L2Decay做单独的设置呀～

def add_param_group(self, param_groups, base_lr, base_wd, need_clip, clip_norm) 方法设置了每个参数的weight_decay了

咩咩老师，你好，我们又看了一下PP-YOLOE的代码，我们看到：在主干网络中，是只有卷积层的weight参数使用了权重衰减；但是，在head部分，似乎是全部的参数（包括weight和bias项）都使用权重衰减，就是在这里，https://github.com/PaddlePaddle/PaddleDetection/blob/99920ab168642615f8b8e31462599fd662282546/ppdet/modeling/heads/ppyoloe_head.py#L105-L111
所以是不是：只有主干网络才是您在上面说的这个策略——“仅卷积层的weight使用系数为0.0005的权重衰减”呀？
而Head部分是对所有参数项都使用WeightDecay呢？

[songyuc]

咩咩老师，我看了一下PP-YOLOE的head部分的代码，那里似乎好像没有对L2Decay做单独的设置呀～

def add_param_group(self, param_groups, base_lr, base_wd, need_clip, clip_norm) 方法设置了每个参数的weight_decay了

咩咩老师，你好，我们又看了一下PP-YOLOE的代码，我们看到：在主干网络中，是只有卷积层的weight参数使用了权重衰减；但是，在head部分，似乎是全部的参数（包括weight和bias项）都使用权重衰减，就是在这里，https://github.com/PaddlePaddle/PaddleDetection/blob/99920ab168642615f8b8e31462599fd662282546/ppdet/modeling/heads/ppyoloe_head.py#L105-L111 所以是不是：只有主干网络才是您在上面说的这个策略——“仅卷积层的weight使用系数为0.0005的权重衰减”呀？ 而Head部分是对所有参数项都使用WeightDecay呢？

是的，在骨干网络确实是像我所说的那样。总之，权重衰减是和原版完全一致的。这个你不必担心。

好的，谢谢老师🙏