卯卯 | 炼就一手绝世刀法！
日出东海落西山，愁也一天，喜也一天。遇事不钻牛角尖，人也舒坦，心也舒坦！
2018-08-05 11:48:30
W权重的初始化以及实际操作中如何避免过拟合（1，加大正则化惩罚。2，随机减少带一些神经元玩，drop-out操作）。
作者:yangli | 分类:算法 | 浏览:1044 | 评论:0
2018-08-05 11:36:51
神经网络过拟合—— 解决方案——，增加数据集，正则化惩罚项和drop-out，drop-out,是让train数据集也计算准确率，如果和测试数据集差不多，表示没有过拟合。如果相差很大就过过拟合了。
过拟合有什么现象呢？就是训练好模型，将train数据集再用来评估模型，得到的准确率非常高，但是test数据集来机损准确率的时候就比较低，这就发生了过拟合现象。主要通过drop-out来防止每个单个隐层神经元个数越多，有一个神经元类似于就切了一刀。在训练数据集上的分类越好，但是在测试数据集上就很差了，这就发现了过拟合的现象。1，2，3，增加数据集补充参考资料：https://blog.csdn.net/crazy_scott/article/details/80343324
作者:yangli | 分类:算法 | 浏览:1044 | 评论:0
2018-08-05 10:53:50
神经网络数学基础——最优化问题，损失函数要最小和梯度下降（导数小于0）关系——对于求最小值问题——求导，领导数为0，来求最小值
最优化问题，损失函数要最小——对于求最小值问题——求导，领导数为0，来求最小值。——这个过程是一个梯度（斜率）不但下降的一个过程，因为那个最小值一般是求不出来的，只能无限的趋近最小的那个值，也就是损失函数最小。
作者:yangli | 分类:算法 | 浏览:978 | 评论:0
2018-08-05 10:49:51
神经网络基础——SVM损失函数与softmax损失函数的区别（softmax分类器是一个不知道满足的分类器）
作者:yangli | 分类:算法 | 浏览:812 | 评论:0
2018-08-05 10:15:39
分类表示——将神经网络通过wx+b得到的得分值通过sigmoid函数映射成一个概率值（注：此时的的损失函数已经不再是SVM损失函数了，而是-log（为正确类别的那个概率值）外加正则化惩罚项）
WX+B的得分值——映射成概率值
作者:yangli | 分类:算法 | 浏览:904 | 评论:0
- 控制面板
- 网站分类
- 搜索
- 文章归档
-
- 2023年4月 (1)
- 2022年12月 (6)
- 2022年11月 (2)
- 2022年10月 (4)
- 2022年9月 (1)
- 2022年8月 (1)
- 2022年7月 (2)
- 2022年4月 (1)
- 2022年3月 (4)
- 2021年5月 (1)
- 2021年3月 (1)
- 2020年10月 (1)
- 2020年9月 (11)
- 2020年8月 (1)
- 2020年7月 (2)
- 2020年5月 (4)
- 2020年4月 (1)
- 2020年2月 (1)
- 2020年1月 (1)
- 2019年11月 (2)
- 2019年10月 (3)
- 2019年9月 (5)
- 2019年8月 (19)
- 2019年7月 (6)
- 2019年6月 (8)
- 2019年5月 (10)
- 2019年4月 (16)
- 2019年3月 (37)
- 2019年2月 (24)
- 2019年1月 (11)
- 2018年12月 (3)
- 2018年11月 (3)
- 2018年10月 (7)
- 2018年9月 (8)
- 2018年8月 (41)
- 2018年7月 (29)
- 2018年6月 (14)
- 2018年5月 (16)
