卯卯 | 炼就一手绝世刀法！
日出东海落西山，愁也一天，喜也一天。遇事不钻牛角尖，人也舒坦，心也舒坦！
2019-03-28 22:58:04
bert中的transformer，以及内部的attention和残差
参考链接：https://baijiahao.baidu.com/s?id=1622064575970777188&wfr=spider&for=pcBERT的名字由来：Bidirectional Encoder Representations from Transformers RNN会将它之前已经处理过的前面的所有单词/向量的表示与它正在处理的当前单词/向量结合起来。而注意力机制会将所有相关单词的理解融合到我们正在处理的单词中。
作者:yangli | 分类:自然语言处理 | 浏览:1357 | 评论:0
2019-03-25 09:57:42
LSTM的升级应用——seq2seq(无监督问题，内部转换成有监督问题，编码到解码，解码结果再还原，还原后的结果跟原来的输入组成有监督问题)
seq2seq有哪些应用呢？
作者:yangli | 分类:自然语言处理 | 浏览:1002 | 评论:0
2019-03-23 18:54:54
LSTM-因为RNN可能产生梯度消失和梯度爆炸的问题以及对于长期依赖的问题没有办法解决。
LSTM特别适合解决这类需要长时间依赖的问题。LSTM是RNN的一种，大体结构一致，区别在于：LSTM的‘记忆细胞’是改造过的，该记录的信息会一致传递，不该记录的信息会被截断掉。LSTM外部的结构：下图是多个LSTM想连。忘记门：为什么信息会增强或增加呢？——下图解释。
作者:yangli | 分类:Tensorflow | 浏览:972 | 评论:0
2019-03-20 20:19:40
关系抽取SEnet的网络结构过程
远程监督的有噪声的关系抽取：SE的全过程：三层卷积后的结果乘上每个通道上相互独立的权重。下面的图主要是每个通道上权重特征提取的过程：
作者:yangli | 分类:关系抽取 | 浏览:1064 | 评论:0
2019-03-19 23:03:11
什么时候dropout?过拟合（train准确率和test准确率差控制在3%以内）
dropout设置的设置大一点马上就不会过拟合，去掉更多的神经元
作者:yangli | 分类:Tensorflow | 浏览:890 | 评论:0
2019-03-19 21:55:45
变量初始化的学问,能提高2—5%的影响，何试初始化，开根号防止过大，或过小
参考链接：https://zhuanlan.zhihu.com/p/39076763
作者:yangli | 分类:未分类 | 浏览:1023 | 评论:0
2019-03-18 19:18:24
赋值，浅拷贝，深拷贝的区别
参考链接：https://www.cnblogs.com/xulf/p/4320676.html赋值：针对不同的数据结构，string不管怎么赋值内存地址不变，因为string是一种不可变的数据类型。list赋值，内存地址是会改变的，list数据类型是一种可变的数据类型。#针对list的浅拷贝和深拷贝：1，浅拷贝在拷贝嵌套的list结构时，只是拷贝了顶层，深层没有拷贝。2，深拷贝，所有的深度，内存地址都被拷贝了一份。
作者:yangli | 分类:未分类 | 浏览:919 | 评论:0
2019-03-17 15:34:46
梯度消失和梯度爆炸
根本的原因都是网络深度太大，Ssigmod容易引起梯度消失，用relu改进。梯度爆炸的情况比较少。
作者:yangli | 分类:未分类 | 浏览:734 | 评论:0
- 控制面板
- 网站分类
- 搜索
- 文章归档
-
- 2023年4月 (1)
- 2022年12月 (6)
- 2022年11月 (2)
- 2022年10月 (4)
- 2022年9月 (1)
- 2022年8月 (1)
- 2022年7月 (2)
- 2022年4月 (1)
- 2022年3月 (4)
- 2021年5月 (1)
- 2021年3月 (1)
- 2020年10月 (1)
- 2020年9月 (11)
- 2020年8月 (1)
- 2020年7月 (2)
- 2020年5月 (4)
- 2020年4月 (1)
- 2020年2月 (1)
- 2020年1月 (1)
- 2019年11月 (2)
- 2019年10月 (3)
- 2019年9月 (5)
- 2019年8月 (19)
- 2019年7月 (6)
- 2019年6月 (8)
- 2019年5月 (10)
- 2019年4月 (16)
- 2019年3月 (37)
- 2019年2月 (24)
- 2019年1月 (11)
- 2018年12月 (3)
- 2018年11月 (3)
- 2018年10月 (7)
- 2018年9月 (8)
- 2018年8月 (41)
- 2018年7月 (29)
- 2018年6月 (14)
- 2018年5月 (16)
