关于我们

强劲算力,源源动力

深度真人lora模型训练建议
发布时间:2023-05-16 14:33:05    来源:吴锡洪

1、训练总数:建议50张图片数据集深度训练15000次左右,更大数据集可以用Dadaptation优化器测试最佳总步数。

2、训练轮次:建议10-15次预设,每个图片建议单轮训练20-30次。

3、训练分辨率:建议是768x1024,可以根据电脑显存来进行调整。

4、训练源模型:建议chilloutmix_Niprundefp32fix,1.5模型。

5、Text Encoder learning rate (文本编码器学习率):主要影响了鲁棒性,乏化性和拟合度,过低不利于更换特征。

6、Unet learning rate(Unet学习率):主要是影响了模型像与不像,影响了lost率和拟合度,不拟合加大,过拟合减小。

7、文本编码器学习率和Unet学习率的关系:没有必然的1/5~~1/10倍率关系、庞大数据集下Unet甚至可以低过text。

8、Network Rank(dimension)(网络大小):强化训练细节,建议128-192,128以上增加提升相对不明显。

9、Network Alpha(网络alpha):建议96以上,弱化训练细节,有正则化效果,可以与dim同步增加。

10、让AI训练AI:首发训练采用Dadaption,所有学习率均设为1.

11、手动训练方法:建议用AadmW优化器,可以通过调整学习率获得很像与易用性的平衡。

12、lost率控制:不是越低越好,越低模型越拟合,但是模型也越难更换特征,甚至会影响动作和表情。

13、lion优化器:不建议用在深度训练中,太快拟合虽然能很像,但是造成图片泛用性差。

14、本地深度训练方法:可以用远程操作软件监控,训练过程中发现学习率不合适可以远程操作修改。