训练时间多长？ about elip

[rookiiiiiie]

我用了更小的数据集尝试在2张GPU上复现ALBEF源码和ALBEF-ELIP，发现两者预训练Epoch的时长区别不大。

[guoyang9]

Hi，
用CC3M pre-train的话，我们采用的是40*4的batch size，每个epoch的时间对比是 ELIP : ALBEF <-> 406 : 441 minutes。
由于ELIP比较省显存，所以我们可以加到58*4的batch size，这样每个epoch时间就降到了 369 mins，并且downstream的performance还比original的ALBEF高 -> 这个才是我们的最终目标，在实现memory-efficient (not time efficient)的基础上，通过加大batch，达到超过原base model的performance。