Comments (9)
resnet-50 中的bottleneck 里的 3个 conv 都换成ghost module吗
from efficient-ai-backbones.
是的,除了第一个conv,其他所有conv都换。
from efficient-ai-backbones.
是的,除了第一个conv,其他所有conv都换。
You mean, use Ghost_module instead of all the conv in the bottleneck ,include conv in downsample and except the first conv in Resnet? So I replace all of the conv except the first conv in Resnet, but The GPU cost increasely almost 10897M( My decive: 1 piece 1080ti GPU, before modify, GPU cost is 7645M ,batchsize= 8 * 4 ),it remind me that GPU is run out of memory, until I modify the batchsize = 1*4, the program can run!
from efficient-ai-backbones.
是的,除了第一个conv,其他所有conv都换。
@iamhankai @huangpan2507
您好,请问一下。对于后面两层layer3、4的conv2中有padding=2,dilation=2的情况,需要把padding=2,dilation=2传入到GhostModule中吗?如果是的话,GhostModule中primary_conv和cheap_operation都要接收这两个参数吗?
谢谢!
from efficient-ai-backbones.
是的,除了第一个conv,其他所有conv都换。
@iamhankai @huangpan2507
您好,请问一下。对于后面两层layer3、4的conv2中有padding=2,dilation=2的情况,需要把padding=2,dilation=2传入到GhostModule中吗?如果是的话,GhostModule中primary_conv和cheap_operation都要接收这两个参数吗?
谢谢!
您好,要传进去的。primary_conv接收这2个参数,cheap_operation不接收。
from efficient-ai-backbones.
是的,除了第一个conv,其他所有conv都换。
@iamhankai @huangpan2507
您好,请问一下。对于后面两层layer3、4的conv2中有padding=2,dilation=2的情况,需要把padding=2,dilation=2传入到GhostModule中吗?如果是的话,GhostModule中primary_conv和cheap_operation都要接收这两个参数吗?
谢谢!您好,要传进去的。primary_conv接收这2个参数,cheap_operation不接收。
不好意思,我按照您的意思进行更改。发现GhostModule应用在stride=2的conv上会出现,和原始conv得到的特征图维度不一致的情况。如:输入6336的特征图,stride=2的conv得到3131的输出特征图,而ghostmodule得到的是32*32输出特征图。这样会影响网络的输出与训练标签不一致,请问一下,您们是怎么解决的啊?谢谢
from efficient-ai-backbones.
是的,除了第一个conv,其他所有conv都换。
@iamhankai @huangpan2507
您好,请问一下。对于后面两层layer3、4的conv2中有padding=2,dilation=2的情况,需要把padding=2,dilation=2传入到GhostModule中吗?如果是的话,GhostModule中primary_conv和cheap_operation都要接收这两个参数吗?
谢谢!您好,要传进去的。primary_conv接收这2个参数,cheap_operation不接收。
不好意思,我按照您的意思进行更改。发现GhostModule应用在stride=2的conv上会出现,和原始conv得到的特征图维度不一致的情况。如:输入63_36的特征图,stride=2的conv得到31_31的输出特征图,而ghostmodule得到的是32*32输出特征图。这样会影响网络的输出与训练标签不一致,请问一下,您们是怎么解决的啊?谢谢
你需要改变conv或cheap_op的padding值,以让他们的输出尺寸能匹配上。
from efficient-ai-backbones.
是的,除了第一个conv,其他所有conv都换。
@iamhankai @huangpan2507
您好,请问一下。对于后面两层layer3、4的conv2中有padding=2,dilation=2的情况,需要把padding=2,dilation=2传入到GhostModule中吗?如果是的话,GhostModule中primary_conv和cheap_operation都要接收这两个参数吗?
谢谢!您好,要传进去的。primary_conv接收这2个参数,cheap_operation不接收。
不好意思,我按照您的意思进行更改。发现GhostModule应用在stride=2的conv上会出现,和原始conv得到的特征图维度不一致的情况。如:输入63_36的特征图,stride=2的conv得到31_31的输出特征图,而ghostmodule得到的是32*32输出特征图。这样会影响网络的输出与训练标签不一致,请问一下,您们是怎么解决的啊?谢谢
你需要改变conv或cheap_op的padding值,以让他们的输出尺寸能匹配上。
感谢作者的耐心回复!在您的指点下,成功替换了resnet50中的conv(除了第一个conv和一个stride=2的conv)。但当我将替换后的backobone进行训练时,会报错:
CUDA is run out of memory (使用的是两块12GB 2080Ti的卡)
请问一下,按理来说替换后的网络参数量更少了,怎么会内存不够呢?
麻烦作者了,谢谢!
from efficient-ai-backbones.
是的,除了第一个conv,其他所有conv都换。
@iamhankai @huangpan2507
您好,请问一下。对于后面两层layer3、4的conv2中有padding=2,dilation=2的情况,需要把padding=2,dilation=2传入到GhostModule中吗?如果是的话,GhostModule中primary_conv和cheap_operation都要接收这两个参数吗?
谢谢!您好,要传进去的。primary_conv接收这2个参数,cheap_operation不接收。
不好意思,我按照您的意思进行更改。发现GhostModule应用在stride=2的conv上会出现,和原始conv得到的特征图维度不一致的情况。如:输入63_36的特征图,stride=2的conv得到31_31的输出特征图,而ghostmodule得到的是32*32输出特征图。这样会影响网络的输出与训练标签不一致,请问一下,您们是怎么解决的啊?谢谢
你需要改变conv或cheap_op的padding值,以让他们的输出尺寸能匹配上。
感谢作者的耐心回复!在您的指点下,成功替换了resnet50中的conv(除了第一个conv和一个stride=2的conv)。但当我将替换后的backobone进行训练时,会报错:
CUDA is run out of memory (使用的是两块12GB 2080Ti的卡)
请问一下,按理来说替换后的网络参数量更少了,怎么会内存不够呢?
麻烦作者了,谢谢!
推测是因为中间过程的feature maps更多了。减小batch size吧。
from efficient-ai-backbones.
Related Issues (20)
- 官方模型权重怎样在非imagenet数据集上继续运行? HOT 4
- about FLOPs calculation HOT 2
- 改成自己的数据集后target变量尺寸不对 HOT 1
- 关于使用预训练参数调节自己的数据集
- 关于用Ghostnetv2 替换resnet HOT 3
- about ParameterNet implement of transformer/mlp HOT 2
- vig训练自己的数据集 HOT 3
- SystemError: <built-in method run_backward of torch._C._EngineBase object at 0x7f66768528b0> returned NULL without setting an error
- PViG用于目标检测 HOT 2
- The train.py file does not support training the ViG model. How exactly should I initialize the ViG model? HOT 1
- [GhostNetV3] Question about Figure 3 HOT 1
- 'SNNMLP' object has no attribute 'module'
- I can‘t find the dataset.py in snn_mlp project
- GhostnetV3实现插值size不匹配 HOT 1
- 训练的loss不收敛 HOT 1
- Batch size in ViG-Ti HOT 1
- ghostnetv3中的rbr_conv和infer_mode找不到 HOT 1
- 关于预训练模型 pvig_s_82.1.pth.tar,是仅保存了权重吗? HOT 1
- ghostnetv3 重参数化
- ghostnet prune HOT 1
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from efficient-ai-backbones.