基于pythondjango源码前期准备安装库:pipinstalldjango-haystackpipinstallwhooshpipinstalljieba如果pip安装超时,可配置pip国内源下载,如下:pipinstall-ihttp://mirrors.aliyun.com/pypi/simple/--trusted-hostmirrors.aliyun.com<安装的库>pipinstall-ihttp://mirrors.aliyun.com/pypi/simple/--trusted-hostmirrors.aliyun.comdjango如果安装django-haystack失败,先安装setuptools_scm.在安装djan...
继续阅读 >
分类：分词器
基于pythondjango源码前期准备安装库:pipinstalldjango-haystackpipinstallwhooshpipinstalljieba如果pip安装超时,可配置pip国内源下载,如下:pipinstall-ihttp://mirrors.aliyun.com/pypi/simple/--trusted-hostmirrors.aliyun.com<安装的库>pipinstall-ihttp://mirrors.aliyun.com/pypi/simple/--trusted-hostmirrors.aliyun.comdjango如果安装django-haystack失败,先安装setuptools_scm.在安装djan...
继续阅读 >
2021
09-22
09-22
浅谈分词器Tokenizer
目录一、概述二、AC自动机(Aho-Corasickautomaton)2.1、字典树(trie树)2.2、失败指针三、最终的分词结果一、概述分词器的作用是将一串字符串改为“词”的列表，下面以“大学生活”这个输入为例进行讲解：对“大学生活”这句话做分词，通常来说，一个分词器会分三步来实现：（1）找到“大学生活”这句话中的全部词做为一个集合，即：[大、大学、大学生、学、学生、生、生活、活]（2）在第一步中得到的集合中找到所有能组合成“大学...
继续阅读 >