卯卯 | 炼就一手绝世刀法！
日出东海落西山，愁也一天，喜也一天。遇事不钻牛角尖，人也舒坦，心也舒坦！
2018-07-08 23:33:13
结巴分词加载词典、调整词典优先分词、正则结合切分引文和汉字组合词、以及hanlp加载词典及配置
1，jieba分词及字典加载、未登录词处理，正则结合词典解决单单加载词典也无法解决的问题。措施一：加载词典，然后调整加载的字典的词频。有些词还是会分布准确，可以分词后查看分词结果，将没分准的词拷贝到词典中，扩展词典。措施二：结合措施一，处理有些在字典里有也无法准确分出的词的处理。例如III期，3期，35.3%等，我们需要结合正则表达式来处理。（思想：显示正则匹配没一行句子，匹配到那些特殊的词，例如3期、III期等，用“FLAGS”来代替，然后进行分词，再join这些词以空格或者‘/’来区分每一个
作者:yangli | 分类:自然语言处理 | 浏览:1816 | 评论:0
- 控制面板
- 网站分类
- 搜索
- 文章归档
-
- 2023年4月 (1)
- 2022年12月 (6)
- 2022年11月 (2)
- 2022年10月 (4)
- 2022年9月 (1)
- 2022年8月 (1)
- 2022年7月 (2)
- 2022年4月 (1)
- 2022年3月 (4)
- 2021年5月 (1)
- 2021年3月 (1)
- 2020年10月 (1)
- 2020年9月 (11)
- 2020年8月 (1)
- 2020年7月 (2)
- 2020年5月 (4)
- 2020年4月 (1)
- 2020年2月 (1)
- 2020年1月 (1)
- 2019年11月 (2)
- 2019年10月 (3)
- 2019年9月 (5)
- 2019年8月 (19)
- 2019年7月 (6)
- 2019年6月 (8)
- 2019年5月 (10)
- 2019年4月 (16)
- 2019年3月 (37)
- 2019年2月 (24)
- 2019年1月 (11)
- 2018年12月 (3)
- 2018年11月 (3)
- 2018年10月 (7)
- 2018年9月 (8)
- 2018年8月 (41)
- 2018年7月 (29)
- 2018年6月 (14)
- 2018年5月 (16)
