卯卯 | 炼就一手绝世刀法!

日出东海落西山,愁也一天,喜也一天。遇事不钻牛角尖,人也舒坦,心也舒坦!

tensorflow的基础知识一篇就够了。(一)

一般神经网络最基本的流程,当然实际任务中还会有batchsize,准确率等等,下面是最简版的。

BP神经网络的理解图-经典

LSTM-因为RNN可能产生梯度消失和梯度爆炸的问题以及对于长期依赖的问题没有办法解决。

LSTM特别适合解决这类需要长时间依赖的问题。LSTM是RNN的一种,大体结构一致,区别在于:LSTM的‘记忆细胞’是改造过的,该记录的信息会一致传递,不该记录的信息会被截断掉。LSTM外部的结构:下图是多个LSTM想连。忘记门:为什么信息会增强或增加呢?——下图解释。

什么时候dropout?过拟合(train准确率和test准确率差控制在3%以内)

dropout设置的设置大一点马上就不会过拟合,去掉更多的神经元

变量初始化

tensorflow中图的理解,图相当于是一个一个命名空间

定义几个自己的图。

tf.squeeze()——挤压函数和tf.expand_dims()——增加维度相反(在NLP词嵌入处理时,最后嵌入完词向量,特征维度不够时长用到。)

在情感分类中用到:在医疗NER中运用到:

什么是数据增强?数据增强后,测试test真实数据如何处理?

数据增强后,测试test真实数据如何处理?在train的最后几个阶段,逐步的撤去增强的特征。测试的时候使用真实的数据影响就会小。

样本不均衡怎么办?

1,少的样本复制。2,下采样,把多的变少。3,给损失函数加一个系数,B*loss(通用的解决方案)。因为,加入,二分类问题,一个样本95,一个样本为5。如果95个里面一个错了,那损失就会比较大。

CNN中dropout和dropconnect区别

dropout是将输出随机为0,也就是激活函数为0,而dropConnect是将权重随机为0也可能是特征,比如NER500维的向量,随机数据置0
«   2025年4月   »
123456
78910111213
14151617181920
21222324252627
282930
控制面板
您好,欢迎到访网站!
  查看权限
网站分类
搜索
最新留言
文章归档
网站收藏
友情链接
  • RainbowSoft Studio Z-Blog
  • 订阅本站的 RSS 2.0 新闻聚合

Powered By Z-BlogPHP 1.5.2 Zero

转载请注明文章出处!!!!!