分类：python切分算法

2021
05-25

Python自然语言处理之切分算法详解

一、前言我们需要分析某句话，就必须检测该条语句中的词语。一般来说，一句话肯定包含多个词语，它们互相重叠，具体输出哪一个由自然语言的切分算法决定。常用的切分算法有完全切分、正向最长匹配、逆向最长匹配以及双向最长匹配。本篇博文将一一介绍这些常用的切分算法。二、完全切分完全切分是指，找出一段文本中的所有单词。不考虑效率的话，完全切分算法其实非常简单。只要遍历文本中的连续序列，查询该序列是否在词典中即可。... 继续阅读 >