链接:https://www.cnblogs.com/zhhfan/p/10476761.html
过拟合解决方案:
在多标签分类模型中就采用了这种方法。但是前提是你的模型时正常训练的-(我的模型就是不正常的,所以这里是一个坑,坑了我几天),否则,在实际运行的时候就出现突然一下跳出个F:99%,这还是不可取的。所以在此之前要将模型调的正常才行。当然这是一种防止过拟合的方式:针对那种验证集损失先下降,然后又上升的的情况。
大多数的情况:调整L1,L2 ,调节dropout。。。(规律:正则前面的系数越大,损失就会越大,例如你刚开始系数是0.0001,loss是5.0最大,当系数是0.01时候,loss可能变成了32最大,并且loss在18左右就不在变化。用训练集(train)同时去测试的时候,准确率慢慢升高最终只停留在70%左右,没有系数是0.0001时的98%这么高。防止了过拟合也整个模型最终的准确率在train数据集上下降。还可能引起欠拟合)-(在L2系数:0.01不并的情况下,学习率(Ir),当ir:0.01时一下子掉落在loss18左右,一直在18左右振荡,没有准确率,Ir:0.001快数下降到loss18,随后在18左右振荡。ir:0.0001,loss稳定下降至18,在18左右振荡,振荡幅度较小,有验证集上的的F1缓慢上升,上升至68%左右不再上升。训练集上也正常上升,但是上升到53%,ir:0.00001,loss非常缓慢的下降逐渐下降,需要500epoch才能下降至loss18左右,)
出现过拟合的原因: