kotlin跨平台版本jieba分词

jieba-kmp

jieba-kmp是jieba中文分词的kotlin多平台版本

提供与jieba基本一致的功能与接口，但不支持其paddle模式。

特点

• 支持三种分词模式：
  • 精确模式，试图将句子最精确地切开，适合文本分析；
  • 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
  • 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
• 支持繁体分词
• 支持自定义词典
• MIT 授权协议

性能

以下性能表现不同硬件会有所不同，仅供参考

初始化

分词

安装

commonMain.dependencies {
    api('cn.erolc.jieba:jieba-kmp:1.0.0')
}

如果只是android单独使用：

dependencies {
    api('cn.erolc.jieba:jieba-kmp-android:1.0.0')
}

最新版本请前往jieba-kmp查看

混淆规则

-keep class cn.erolc.jieba.model.FreqCache { *; }

使用

初始化

//android
jiebaInit()
//other 
Jieba.init()

android需要在application中进行初始化

即便不初始化，分词功能仍能使用。只是首次分词时，内部会先执行初始化操作，因此这一次的分词耗时会稍长一些。在android环境下，建议先进行初始化。

分词

• Jieba.cut方法接收两个参数：需要分词的字符串；模式；
• Jieba.lcut方法接收与Jieba.cut一致的参数；cut返回值是flow，lcut返回值是list
• Jieba.cutForSearch方法接受两个参数：需要分词的字符串；是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细
• Jieba.tokenize方法接受三个参数：需要分词的字符串；模式；是否使用 HMM 模型。返回值会包含词的位置信息

import kotlinx.coroutines.flow.fold
import kotlinx.coroutines.test.runTest
import kotlin.test.Test
import cn.erolc.jieba.Jieba
@Test
fun test() = runTest {
    val seg_list = Jieba.cut("我来到北京清华大学", Mode.Full)
    val value = seg_list.fold("") { acc, value -> if (acc.isEmpty()) value else "$acc/${value}" }
    println("Full mode: $value")
    val seg_list2 = Jieba.cut("我来到北京清华大学", Mode.HMM)
    val value1 = seg_list2.fold("") { acc, value -> if (acc.isEmpty()) value else "$acc/${value}" }
    println("HMM mode: $value1")
    val seg_list3 = Jieba.cut("他来到了网易杭研大厦")
    val value2 = seg_list3.fold("") { acc, value -> if (acc.isEmpty()) value else "$acc/${value}" }
    println("新词识别: $value2")
    val seg_list4 = Jieba.cutForSearch("小明硕士毕业于中国科学院计算所，后在日本京都大学深造")
    val value3 = seg_list4.fold("") { acc, value -> if (acc.isEmpty()) value else "$acc/${value}" }
    println("Search mode: $value3")
    Jieba.tokenize("永和服装饰品有限公司").collect { println(it) }
    Jieba.tokenize("永和服装饰品有限公司", "search").collect { println(it) }


}

输出

cut(9)：382.907833ms
Full mode: 我/来到/北京/清华/清华大学/华大/大学
cut(9)：300.5us
HMM mode: 我/来到/北京/清华大学
cut(10)：2.267ms
新词识别: 他/来到/了/网易/杭研/大厦   (此处，“杭研”并没有在词典中，但是也被Viterbi算法识别出来了)
cutForSearch(26):4.532458ms
Search mode: 小明/硕士/毕业/于/中国/科学/学院/科学院/中国科学院/计算/计算所/，/后/在/日本/京都/大学/日本京都大学/深造
//默认模式
SegToken(word=永和, startOffset=0, endOffset=2)
SegToken(word=服装, startOffset=2, endOffset=4)
SegToken(word=饰品, startOffset=4, endOffset=6)
SegToken(word=有限公司, startOffset=6, endOffset=10)
tokenize(10):1.907375ms
//搜索模式
SegToken(word=永和, startOffset=0, endOffset=2)
SegToken(word=服装, startOffset=2, endOffset=4)
SegToken(word=饰品, startOffset=4, endOffset=6)
SegToken(word=有限, startOffset=6, endOffset=8)
SegToken(word=公司, startOffset=8, endOffset=10)
SegToken(word=有限公司, startOffset=6, endOffset=10)
tokenize(10):856.959us

调整词典

在程序中，能够运用 addWord(word, freq=None, tag=None) 与 del_word(word) 这两个函数来动态地修改词典。

而 suggestFreq(segment) 函数的作用则是调节单个词语的词频，以此来决定该词语能否被正确地分出来。

注意：自动计算的词频在使用 HMM 新词发现功能时可能无效。

载入词典

• 开发者可以指定自己自定义的词典，以便包含 jieba 词库里没有的词。虽然 jieba 有新词识别能力，但是自行添加新词可以保证更高的正确率
• 用法： Jieba.init(diskHelper)
• 词典格式和 dict.txt 一样，一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒，则文件必须为 UTF-8 编码。
• 词频省略时使用自动计算的能保证分出该词的词频。

重新载入

当在使用过程中，修改了自定义词典，那么可以通过Jieba.reload()方法重新载入。