卯卯 | 炼就一手绝世刀法!

日出东海落西山,愁也一天,喜也一天。遇事不钻牛角尖,人也舒坦,心也舒坦!

神经网络架构

为什么要有很多个隐层呢?

学习率——权重W调整时的步长,不能太大,免得太过损失值小的点。

神经网络数学基础——最优化问题,损失函数要最小和梯度下降(导数小于0)关系——对于求最小值问题——求导,领导数为0,来求最小值

 最优化问题,损失函数要最小——对于求最小值问题——求导,领导数为0,来求最小值。——这个过程是一个梯度(斜率)不但下降的一个过程,因为那个最小值一般是求不出来的,只能无限的趋近最小的那个值,也就是损失函数最小。

神经网络基础——SVM损失函数与softmax损失函数的区别(softmax分类器是一个不知道满足的分类器)

分类表示——将神经网络通过wx+b得到的得分值通过sigmoid函数映射成一个概率值(注:此时的的损失函数已经不再是SVM损失函数了,而是-log(为正确类别的那个概率值)外加正则化惩罚项)

WX+B的得分值——映射成概率值

深度学习的数学基础——解决的几个问题:1,深度学习要干什么,训练权重参数(W)。2,损失函数(修正W),3,正则化惩罚项,使W更均匀,不偏颇

损失函数:上述的结果易产生过拟合——什么是过拟合,就在训练数据集上表现很好,但是在测试数据集上表现很差。那我们怎么避免A模型W的出现呢?——加入正则化惩罚项。正则化惩罚项是专门来惩罚W权重矩阵的。

K-近邻(KNN)

超参数和交叉验证

超参数:是可调节的参数交叉验证:——来确定model参数
«   2025年4月   »
123456
78910111213
14151617181920
21222324252627
282930
控制面板
您好,欢迎到访网站!
  查看权限
网站分类
搜索
最新留言
文章归档
网站收藏
友情链接
  • RainbowSoft Studio Z-Blog
  • 订阅本站的 RSS 2.0 新闻聚合

Powered By Z-BlogPHP 1.5.2 Zero

转载请注明文章出处!!!!!