2018-06-27 17:02:47
分词,分词的重要性不想多说,分词的方法也多种多样根据你的任务来选择适当的方法吧。逆向最大匹配分词算法在我看来已经很老了,但是在学校学习老师还是会建议我们以任务的形式来再完成一遍,算是个自然语言处理的基础吧,能够帮助我们更好的理解什么是分词。逆向最大匹配分词的原理:逆向向最大匹配分词需要在已有词典的基础上,从被处理文档的末端开始匹配扫描,每次取最末端的i个字符(分词所确定的阈值i)作为匹配字段,若匹配失败,则去掉匹配字段最前面的一个字,继续匹配。而且选择的阈值越大,分词越慢,但准确性越好。优点:逆