分类：jieba

2021
03-09

Python jieba 中文分词与词频统计的操作

我就废话不多说了，大家还是直接看代码吧~#!python3#-*-coding:utf-8-*-importos,codecsimportjiebafromcollectionsimportCounterdefget_words(txt):seg_list=jieba.cut(txt)c=Counter()forxinseg_list:iflen(x)>1andx!='\r\n':c[x]+=1print('常用词频度统计结果')for(k,v)inc.most_common(100):print('%s%s%s%d'%(''*(5-len(k)),k,'*'*int(v/3),v))if__name__=='__main__'... 继续阅读 >

2021
03-05

python jieba库的基本使用

一、jieba库概述jieba是优秀的中文分词第三方库中文文本需要通过分词获得单个的词语jieba是优秀的中文分词第三方库，需要额外安装jieba库提供三种分词模式，最简单只需要掌握一个函数二、jieba库安装pipinstalljieba三、jieba分词的原理jieba分词依靠中文词库利用一个中文词库，确定汉字之间的关联概率汉字间概率大的组成词组，形成分词结果四、jieba分词的3种模式精确模式：把文本精确地切分开，不存在冗余单词... 继续阅读 >

2021
01-13

Python jieba库分词模式实例用法

在中文分词中，jiebe库是最为常见的，主要的原因还是它独特的支持分词模式如：精确模式、全模式、搜索引擎模式。也对应着三种方式，包括jieba.cut()方法、jieba.lcut()方法、jieba.cut_for_search()方法。下面就为大家实例操作这些分词模式，以及方法的使用，一起来了解下吧。全模式：importjiebaseg_list=jieba.cut("南京市长江大桥欢迎你。",cut_all=True)print(type(seg_list),seg_list)精确模式：seg_list1=jieba.lcut("... 继续阅读 >

2020
11-06

Python jieba结巴分词原理及用法解析

1、简要说明结巴分词支持三种分词模式，支持繁体字，支持自定义词典2、三种分词模式全模式：把句子中所有的可以成词的词语都扫描出来,速度非常快，但是不能解决歧义精简模式：把句子最精确的分开，不会添加多余单词，看起来就像是把句子分割一下搜索引擎模式：在精简模式下，对长词再度切分#-*-encoding=utf-8-*-importjiebaif__name__=='__main__':str1='我去北京天安门广场跳舞'a=jieba.lcut(str1,cut_all=True... 继续阅读 >

2020
10-07

Python基于wordcloud及jieba实现中国地图词云图

热词图很酷炫，也非常适合热点事件，抓住重点，以图文结合的方式表现出来，很有冲击力。下面这段代码是制作热词图的，用到了以下技术：jieba，把文本分词wordcloud，制作热图chardet，辨别文件的编码格式，其中中文统一为GB18030，更加的兼容imageio，提取图片的形状其他：自动识别文件编码，自动识别txt文件，图片文件名与txt文件一致，使用的是四大名著的文本（自行百度），部分中国地图上代码：importosimportjiebaimportwor... 继续阅读 >

2020
09-29

Python基于jieba, wordcloud库生成中文词云

代码如下importwordcloudimportjiebafont=r'C:\Windows\Fonts\simfang.ttf'w=wordcloud.WordCloud(height=700,width=1000,font_path=font,\stopwords=['et','al','Crampin','and','the','Liu'],max_words=30)withopen('NSFC.txt','r')asf:txt=f.read()txt=''.join(jieba.lcut(txt))print(txt)w.generate(txt)w.to_file('world.png')准备文件：需要在当前程序运行目录准备一个中文文本文... 继续阅读 >