train albert on my own data, convergence speed is slow about albert_zh

[brightmart]

can you paste your configuration here to have a look?
你可以把你的相关的训练相关的参数配置信息贴出来，看看吗。如训练什么型号的、参数配置、batch_size，数据量什么的。

[yyht]

albert-12, embedding_size=128, hidden_size=768, intermediate_size=1024, number_of_layers=12
batch_size=24(32张卡，相当于 batch_size=768). 只做mlm，不做 sop 等

[brightmart]

好的。看到了。
1、intermediate_size应该是4*hidden_size，
2、之前的run_pretraining.py里没有把段落连续性的损失加到总loss里。现在已经更新上去了

你可以先改一下，再试一试；如果loss还很大的话，稍等一两天，还会有更新。

[yyht]

我觉得 和 intermediate_size 的size 大小 应该 相关度不高，稍微小一些 应该 也能 收敛，现在 看 曲线 感觉 mlm loss stuck 在 局部 极致点附近了，下降很慢（或者 进入 饱和区 之类的）
另外，40G 的文本 可以 分享一下嘛

[yyht]

我知道原因了，主要是 embedding matrix、projection matrix 需要 连续的矩阵乘法，这样，会导致 他们的 元素 比 之前小很多，对 projection 后的tensor 乘以2 可以 保持 值域类似，收敛效果会好很多

[brightmart]

怎么理解，有根据吗。有没有更好的解释

[yyht]

我离线做 embedding 和projection矩阵直接matmul，得到的值域 比 单纯 embedfing要小一倍左右，过小的参数范围 导致 优化 容易 在 0附近徘徊？明天 手动推导一下，乘以2后 收敛效果好了很多（图里面是 三层的结果）发自我的华为手机-------- 原始邮件 --------发件人： brightmart <[email protected]>日期： 2019年9月29日周日 21:07收件人： brightmart/albert_zh <[email protected]>抄送： yyht <[email protected]>, State change <[email protected]>主 题： Re: [brightmart/albert_zh] train albert on my own data, convergence speed is slow (#8)怎么理解，有根据吗。有没有更好的解释 —You are receiving this because you modified the open/close state.Reply to this email directly, view it on GitHub, or mute the thread.

[lonePatient]

看样子应该是数据量比较小吧，如果用12层的话，学习率是调整的。