卯卯 | 炼就一手绝世刀法!

日出东海落西山,愁也一天,喜也一天。遇事不钻牛角尖,人也舒坦,心也舒坦!

传统神经网络的理解和缺点(1,权值太多,计算量太大,2,权值太多,需要更大量的样本进行计算。)和CNN由此的产生

传统的神经网络的缺点:上面是正确的理解,但是我觉得下面这,输入神经元按Batch数来表示更容易理解:##通过传统神经网络的改变,减少了权值需要更新的数量,减少了W要更新的数量,这样我们需要的样本量也会降低。一般样本的数据量要是需要更新的W数量的5——10倍的大小

激活函数

一个确定模型(即不会由RNN换成CNN这样的情况)优化的几个注意点。

1,W变量初始化,-使用截断正态分布2,使用drop-out防止过拟合的发生。3,损失函数(代价函数的影响)4,优化器——更新W的速度。不同的优化器也更会影响模型收敛的速度,参考上一篇文章,选着优化器,都可以试试效果,再决定。

各类优化器

激活函数和损失还是那会的组合规律

损失函数的理解

在深度学习中常用的组合。

Tensorflow使用的小例子——构建一个线性回归

代码:import tensorflow as tfimport numpy as np##使用numpy生成100个随机点x_data=np.random.rand(100)y_data=x_data*0.1+0.2#构建线性模型b=tf.Variable(0.0) ##变量需要初始化才能使用k=tf.Variable(0.0)y=k*x_data+b#二次代价函数loss=tf.reduce_mean(tf.square(y_data-y))#平方再取平均#定义一个梯度下降法来进行训练的优化

tensorflow的基本使用-1.1,创建会话,启动图,1.2 变量,tensorflow里的变量需要初始化后才能使用。1.3 Fetch(获取)和Feed(饲料,允许先占位,训练时再填入数据)

1.1,创建会话,启动图,python中图是默认有的,所有不需要再创建1.2 变量,tensorflow里的变量需要初始化后才能使用。1.3 Fetch(获取)和Feed(饲料)FetchFeed-最常用

tensorflow中使用tf.ConfigProto()配置Session运行参数&&GPU设备指定

tf.ConfigProto()函数用在创建session的时候,用来对session进行参数配置:  config = tf.ConfigProto(allow_soft_placement=True, allow_soft_placement=True)config.gpu_options.per_process_gpu_memory_fraction = 0.4  #占用40%显存sess = tf.Session(config=config) &n

卷积神经网络的基本原理——比正常神经网络多了-1,卷积层,2,池化层

池化:卷积完的大小任然是7*7。以上都是卷积计算的过程。下面是对特征再进行压缩。pading:两种padding方式:反向传播:池化层的反向传播:卷积层的反向传播:
«   2025年5月   »
1234
567891011
12131415161718
19202122232425
262728293031
控制面板
您好,欢迎到访网站!
  查看权限
网站分类
搜索
最新留言
文章归档
网站收藏
友情链接
  • RainbowSoft Studio Z-Blog
  • 订阅本站的 RSS 2.0 新闻聚合

Powered By Z-BlogPHP 1.5.2 Zero

转载请注明文章出处!!!!!