卯卯 | 炼就一手绝世刀法!

日出东海落西山,愁也一天,喜也一天。遇事不钻牛角尖,人也舒坦,心也舒坦!

过拟合和欠拟合的原因及解决方案

链接:https://www.cnblogs.com/zhhfan/p/10476761.html

过拟合解决方案:

在多标签分类模型中就采用了这种方法。但是前提是你的模型时正常训练的-(我的模型就是不正常的,所以这里是一个坑,坑了我几天),否则,在实际运行的时候就出现突然一下跳出个F:99%,这还是不可取的。所以在此之前要将模型调的正常才行。当然这是一种防止过拟合的方式:针对那种验证集损失先下降,然后又上升的的情况。


image.png


大多数的情况:调整L1,L2 ,调节dropout。。。(规律:正则前面的系数越大,损失就会越大,例如你刚开始系数是0.0001,loss是5.0最大,当系数是0.01时候,loss可能变成了32最大,并且loss在18左右就不在变化。用训练集(train)同时去测试的时候,准确率慢慢升高最终只停留在70%左右,没有系数是0.0001时的98%这么高。防止了过拟合也整个模型最终的准确率在train数据集上下降。还可能引起欠拟合)-(在L2系数:0.01不并的情况下,学习率(Ir),当ir:0.01时一下子掉落在loss18左右,一直在18左右振荡,没有准确率,Ir:0.001快数下降到loss18,随后在18左右振荡。ir:0.0001,loss稳定下降至18,在18左右振荡,振荡幅度较小,有验证集上的的F1缓慢上升,上升至68%左右不再上升。训练集上也正常上升,但是上升到53%,ir:0.00001,loss非常缓慢的下降逐渐下降,需要500epoch才能下降至loss18左右,)

出现过拟合的原因: 

image.png


image.png

image.png



发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

«   2025年4月   »
123456
78910111213
14151617181920
21222324252627
282930
控制面板
您好,欢迎到访网站!
  查看权限
网站分类
搜索
最新留言
文章归档
网站收藏
友情链接
  • RainbowSoft Studio Z-Blog
  • 订阅本站的 RSS 2.0 新闻聚合

Powered By Z-BlogPHP 1.5.2 Zero

转载请注明文章出处!!!!!