卯卯 | 炼就一手绝世刀法！
日出东海落西山，愁也一天，喜也一天。遇事不钻牛角尖，人也舒坦，心也舒坦！
2018-07-19 17:19:41
N-GRAM语言模型算法
在特定领域我们需要利用该模型构建自己的分词和词性标注，已有的分词工具或词性标注工具在通用领域可能会很好，但是在特定领域效果会很差。前提假设：前后的两个词是有联系的（也是HMM的假设前提），通过条件概率来计算句子的合理性。一张词频表（含有大量的文本——我们的语料库，在中文中我们需要分词再做词频统计），第二张表则是一个关键词共现矩阵和Bi-GRAM计算。Tri-GRAM相似。另一例子：注：基于N-gram还出现了更多有价值的语言模型，如NNLM、CBOW等。
作者:yangli | 分类:自然语言处理 | 浏览:695 | 评论:0
- 控制面板
- 网站分类
- 搜索
- 文章归档
-
- 2023年4月 (1)
- 2022年12月 (6)
- 2022年11月 (2)
- 2022年10月 (4)
- 2022年9月 (1)
- 2022年8月 (1)
- 2022年7月 (2)
- 2022年4月 (1)
- 2022年3月 (4)
- 2021年5月 (1)
- 2021年3月 (1)
- 2020年10月 (1)
- 2020年9月 (11)
- 2020年8月 (1)
- 2020年7月 (2)
- 2020年5月 (4)
- 2020年4月 (1)
- 2020年2月 (1)
- 2020年1月 (1)
- 2019年11月 (2)
- 2019年10月 (3)
- 2019年9月 (5)
- 2019年8月 (19)
- 2019年7月 (6)
- 2019年6月 (8)
- 2019年5月 (10)
- 2019年4月 (16)
- 2019年3月 (37)
- 2019年2月 (24)
- 2019年1月 (11)
- 2018年12月 (3)
- 2018年11月 (3)
- 2018年10月 (7)
- 2018年9月 (8)
- 2018年8月 (41)
- 2018年7月 (29)
- 2018年6月 (14)
- 2018年5月 (16)
