HiFiSVC训练问题 about fish-diffusion

[Stardust-minus]

我这边还在测试, 在调整结构, 不推荐你现在跑.

OK，啥时候能跑了告诉我一声（）
我目前VITS跑完了，打算跑个1024网络+Crepe的diff娱乐一下（A800是真的快）

[Yurzi]

用得utils里的get_dataset_from_sub_folder。
原来_base_/dataset/hifi_svc.py里的那个segment.size是这个意思啊😱。不过已经回去练diffsvc了，等炸炉了再试试

[Stardust-minus]

我摆了，先搁置吧（）
冷佬快点把Autovocoder端上来吧（）

[leng-yue]

我更倾向于是数据预处理的问题.. 你最好还是压缩上传下数据, 我来 debug...

[Stardust-minus]

我更倾向于是数据预处理的问题.. 你最好还是压缩上传下数据, 我来 debug...

https://openi.pcl.ac.cn/attachments/4d7342ae-be05-4ceb-aa95-37ef57192209?type=0
训练数据

[leng-yue]

在下载了

[leng-yue]

等我跑完手上的模型应该要 40h 左右, 急的话我给你单独开个炉...

[Stardust-minus]

等我跑完手上的模型应该要 40h 左右, 急的话我给你单独开个炉...

不急

[leng-yue]

训练已开始, 九尾保佑不要炸炉 (https://api.wandb.ai/links/fish-audio/aem9meb5)

[leng-yue]

我没遇到你的问题, 但是 loss 已经爆炸3锅了, 可能需要一些调整.

[Stardust-minus]

我没遇到你的问题, 但是 loss 已经爆炸3锅了, 可能需要一些调整.

悲(

[Stardust-minus]

Autovocoder ready for training?

[leng-yue]

我这边还在测试, 在调整结构, 不推荐你现在跑.

[Yurzi]

能问下用hifisvc训练很吃显存吗？batch_size = 20的情况下 都把32G显存瞬间吃满了？

[leng-yue]

你数据集带了 segment size 么, 我 20 bs 大概是 10G

[leng-yue]

NaN 问题应该基本解决了, 等我跑两天没问题推上来

[leng-yue]

修好了, 不会 NaN 了, 佬你试试

[Stardust-minus]

修好了, 不会 NaN 了, 佬你试试

确实是不Nan了，loss飞到无限了……
https://wandb.ai/stardust-minus/HiFiSVC/runs/7gvt4fxc?workspace=user-

[leng-yue]

主打一个自由, 其实飞无限的 bug 也解决了, 在 fix-infinity-loss 分支 (.
绷, 200k NaN 了

[Stardust-minus]

绷不住
等我跑完手头1024x50的Diffusion看看另一个branch

[Stardust-minus]

Diff的1024跑完了，500M参数大概能吃满80G显存。相比768还是有提升的，但是和算力开销不成正比了已经。
然后，fix-infinity-loss 分支也inf了 悲（https://wandb.ai/stardust-minus/HiFiSVC/runs/2hnxiciq?workspace=user-）

[leng-yue]

悲 ( 不过 1024 也太刺激了