2019-04-08 13:34:04
一般神经网络最基本的流程,当然实际任务中还会有batchsize,准确率等等,下面是最简版的。
2019-03-23 18:54:54
LSTM特别适合解决这类需要长时间依赖的问题。LSTM是RNN的一种,大体结构一致,区别在于:LSTM的‘记忆细胞’是改造过的,该记录的信息会一致传递,不该记录的信息会被截断掉。LSTM外部的结构:下图是多个LSTM想连。忘记门:为什么信息会增强或增加呢?——下图解释。
2019-03-19 23:03:11
dropout设置的设置大一点马上就不会过拟合,去掉更多的神经元
2019-03-14 07:54:35
数据增强后,测试test真实数据如何处理?在train的最后几个阶段,逐步的撤去增强的特征。测试的时候使用真实的数据影响就会小。
2019-03-11 20:18:05
1,少的样本复制。2,下采样,把多的变少。3,给损失函数加一个系数,B*loss(通用的解决方案)。因为,加入,二分类问题,一个样本95,一个样本为5。如果95个里面一个错了,那损失就会比较大。
2019-03-11 18:26:49
dropout是将输出随机为0,也就是激活函数为0,而dropConnect是将权重随机为0也可能是特征,比如NER500维的向量,随机数据置0