python中jieba库怎么使用

栏目分类：其他教程    发布日期：2024-04-16    浏览次数：61次     收藏

本篇内容主要讲解“python中jieba库怎么使用”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“python中jieba库怎么使用”吧!

python中jieba库(中文分词库)使用安装教程

介绍

jieba是优秀的中文分词第三方库。由于中文文本之间每个汉字都是连续书写的，我们需要通过特定的手段来获得其中的每个单词，这种手段就叫分词。而jieba是Python计算生态中非常优秀的中文分词第三方库，需要通过安装来使用它。

jieba库提供了三种分词模式，但实际上要达到分词效果只要掌握一个函数就足够了，非常的简单有效。

安装第三方库需要使用pip工具，在命令行下运行安装命令（不是IDLE）。注意：需要将Python目录和其目录下的Scripts目录加到环境变量中。

使用命令pip install jieba安装第三方库，安装之后会提示successfully installed，告知是否安装成功。

分词原理：简单来说，jieba库是通过中文词库的方式来识别分词的。它首先利用一个中文词库，通过词库计算汉字之间构成词语的关联概率，所以通过计算汉字之间的概率，就可以形成分词的结果。当然，除了jieba自带的中文词库，用户也可以向其中增加自定义的词组，从而使jieba的分词更接近某些具体领域的使用。

jieba是python的一个中文分词库，下面介绍它的使用方法。

安装

方式1：
pip install jieba
 
方式2：
先下载 http://pypi.python.org/pypi/jieba/
然后解压，运行 python setup.py install

功能

分词

jieba常用的三种模式：

• 精确模式，试图将句子最精确地切开，适合文本分析；

• 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

• 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

可使用

jieba.cut

和

jieba.cut_for_search

方法进行分词，两者所返回的结构都是一个可迭代的 generator，可使用 for 循环来获得分词后得到的每一个词语（unicode），或者直接使用

jieba.lcut

以及

jieba.lcut_for_search

返回 list。

jieba.Tokenizer(dictionary=DEFAULT_DICT)

：使用该方法可以自定义分词器，可以同时使用不同的词典。

jieba.dt

为默认分词器，所有全局分词相关函数都是该分词器的映射。

jieba.cut

和

jieba.lcut

可接受的参数如下：

• 需要分词的字符串（unicode 或 UTF-8 字符串、GBK 字符串）

• cut_all：是否使用全模式，默认值为

  False

• HMM：用来控制是否使用 HMM 模型，默认值为

  True

jieba.cut_for_search

和

jieba.lcut_for_search

接受 2 个参数：

• 需要分词的字符串（unicode 或 UTF-8 字符串、GBK 字符串）

• HMM：用来控制是否使用 HMM 模型，默认值为

  True

需要注意的是，尽量不要使用 GBK 字符串，可能无法预料地错误解码成 UTF-8。

三种分词模式的比较：

# 全匹配
seg_list = jieba.cut("今天哪里都没去，在家里睡了一天", cut_all=True)
print(list(seg_list))  # ['今天', '哪里', '都', '没去', '', '', '在家', '家里', '睡', '了', '一天']
 
# 精确匹配 默认模式
seg_list = jieba.cut("今天哪里都没去，在家里睡了一天", cut_all=False)
print(list(seg_list))  # ['今天', '哪里', '都', '没', '去', '，', '在', '家里', '睡', '了', '一天']
 
# 精确匹配
seg_list = jieba.cut_for_search("今天哪里都没去，在家里睡了一天")
print(list(seg_list))  # ['今天', '哪里', '都', '没', '去', '，', '在', '家里', '睡', '了', '一天']

自定义词典

开发者可以指定自己自定义的词典，以便包含 jieba 词库里没有的词。
用法： jieba.load_userdict(dict_path)

dict_path：为自定义词典文件的路径

词典格式如下：

一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。

下面使用一个例子说明一下：

自定义字典 user_dict.txt：

大学课程
深度学习

下面比较下精确匹配、全匹配和使用自定义词典的区别：

import jieba
 
 
test_sent = """
数学是一门基础性的大学课程，深度学习是基于数学的，尤其是线性代数课程
"""
 
words = jieba.cut(test_sent)
print(list(words))
# ['
', '数学', '是', '一门', '基础性', '的', '大学', '课程', '，', '深度',
# '学习', '是', '基于', '数学', '的', '，', '尤其', '是', '线性代数', '课程', '
']
 
words = jieba.cut(test_sent, cut_all=True)
print(list(words))
# ['
', '数学', '是', '一门', '基础', '基础性', '的', '大学', '课程', '', '', '深度',
# '学习', '是', '基于', '数学', '的', '', '', '尤其', '是', '线性', '线性代数', '代数', '课程', '
']
 
jieba.load_userdict("userdict.txt")
words = jieba.cut(test_sent)
print(list(words))
# ['
', '数学', '是', '一门', '基础性', '的', '大学课程', '，', '深度学习', '是',
# '基于', '数学', '的', '，', '尤其', '是', '线性代数', '课程', '
']
 
jieba.add_word("尤其是")
jieba.add_word("线性代数课程")
 
words = jieba.cut(test_sent)
print(list(words))
# ['
', '数学', '是', '一门', '基础性', '的', '大学课程', '，', '深度学习', '是',
# '基于', '数学', '的', '，', '尤其是', '线性代数课程', '
']

从上面的例子中可以看出，使用自定义词典与使用默认词典的区别。

jieba.add_word()：向自定义字典中添加词语

关键词提取

可以基于 TF-IDF 算法进行关键词提取，也可以基于TextRank 算法。 TF-IDF 算法与 elasticsearch 中使用的算法是一样的。

使用 jieba.analyse.extract_tags() 函数进行关键词提取，其参数如下：

jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())

• sentence 为待提取的文本

• topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20

• withWeight 为是否一并返回关键词权重值，默认值为 False

• allowPOS 仅包括指定词性的词，默认值为空，即不筛选

• jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 实例，idf_path 为 IDF 频率文件

也可以使用 jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 实例，idf_path 为 IDF 频率文件。

基于 TF-IDF 算法和TextRank算法的关键词抽取：

import jieba.analyse
 
file = "sanguo.txt"
topK = 12
content = open(file, 'rb').read()
 
# 使用tf-idf算法提取关键词
tags = jieba.analyse.extract_tags(content, topK=topK)
print(tags)
# ['玄德', '程远志', '张角', '云长', '张飞', '黄巾', '封