kotlin跨平台版本jieba分词
2026-08-20 23:12:31
0浏览
收藏
jieba-kmp
jieba-kmp是jieba中文分词的kotlin多平台版本

提供与jieba基本一致的功能与接口,但不支持其paddle模式。
特点
- 支持三种分词模式:
- 精确模式,试图将句子最精确地切开,适合文本分析;
- 全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;
- 搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。
- 支持繁体分词
- 支持自定义词典
- MIT 授权协议
性能
以下性能表现不同硬件会有所不同,仅供参考
初始化
| 平台 | 35万词 | 35万词+缓存 | 50万词 | 50万词+缓存 | 设备 |
|---|---|---|---|---|---|
| android | 1.5秒 | 1秒(首次1.9秒) | 2.1秒 | 1.0秒(首次3.1秒) | 1+Ace5 |
分词
| 长度 | android |
|---|---|
| 1200 | 160ms |
| 6000 | 500ms |
安装
commonMain.dependencies {
api('cn.erolc.jieba:jieba-kmp:1.0.0')
}
如果只是android单独使用:
dependencies {
api('cn.erolc.jieba:jieba-kmp-android:1.0.0')
}
最新版本请前往jieba-kmp查看
混淆规则
-keep class cn.erolc.jieba.model.FreqCache { *; }
使用
初始化
//android
jiebaInit()
//other
Jieba.init()
android需要在application中进行初始化
即便不初始化,分词功能仍能使用。只是首次分词时,内部会先执行初始化操作,因此这一次的分词耗时会稍长一些。在android环境下,建议先进行初始化。
分词
Jieba.cut方法接收两个参数:需要分词的字符串;模式;Jieba.lcut方法接收与Jieba.cut一致的参数;cut返回值是flow,lcut返回值是listJieba.cutForSearch方法接受两个参数:需要分词的字符串;是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词,粒度比较细Jieba.tokenize方法接受三个参数:需要分词的字符串;模式;是否使用 HMM 模型。返回值会包含词的位置信息
import kotlinx.coroutines.flow.fold
import kotlinx.coroutines.test.runTest
import kotlin.test.Test
import cn.erolc.jieba.Jieba
@Test
fun test() = runTest {
val seg_list = Jieba.cut("我来到北京清华大学", Mode.Full)
val value = seg_list.fold("") { acc, value -> if (acc.isEmpty()) value else "$acc/${value}" }
println("Full mode: $value")
val seg_list2 = Jieba.cut("我来到北京清华大学", Mode.HMM)
val value1 = seg_list2.fold("") { acc, value -> if (acc.isEmpty()) value else "$acc/${value}" }
println("HMM mode: $value1")
val seg_list3 = Jieba.cut("他来到了网易杭研大厦")
val value2 = seg_list3.fold("") { acc, value -> if (acc.isEmpty()) value else "$acc/${value}" }
println("新词识别: $value2")
val seg_list4 = Jieba.cutForSearch("小明硕士毕业于中国科学院计算所,后在日本京都大学深造")
val value3 = seg_list4.fold("") { acc, value -> if (acc.isEmpty()) value else "$acc/${value}" }
println("Search mode: $value3")
Jieba.tokenize("永和服装饰品有限公司").collect { println(it) }
Jieba.tokenize("永和服装饰品有限公司", "search").collect { println(it) }
}
输出
cut(9):382.907833ms
Full mode: 我/来到/北京/清华/清华大学/华大/大学
cut(9):300.5us
HMM mode: 我/来到/北京/清华大学
cut(10):2.267ms
新词识别: 他/来到/了/网易/杭研/大厦 (此处,“杭研”并没有在词典中,但是也被Viterbi算法识别出来了)
cutForSearch(26):4.532458ms
Search mode: 小明/硕士/毕业/于/中国/科学/学院/科学院/中国科学院/计算/计算所/,/后/在/日本/京都/大学/日本京都大学/深造
//默认模式
SegToken(word=永和, startOffset=0, endOffset=2)
SegToken(word=服装, startOffset=2, endOffset=4)
SegToken(word=饰品, startOffset=4, endOffset=6)
SegToken(word=有限公司, startOffset=6, endOffset=10)
tokenize(10):1.907375ms
//搜索模式
SegToken(word=永和, startOffset=0, endOffset=2)
SegToken(word=服装, startOffset=2, endOffset=4)
SegToken(word=饰品, startOffset=4, endOffset=6)
SegToken(word=有限, startOffset=6, endOffset=8)
SegToken(word=公司, startOffset=8, endOffset=10)
SegToken(word=有限公司, startOffset=6, endOffset=10)
tokenize(10):856.959us
调整词典
在程序中,能够运用 addWord(word, freq=None, tag=None) 与 del_word(word) 这两个函数来动态地修改词典。
而 suggestFreq(segment) 函数的作用则是调节单个词语的词频,以此来决定该词语能否被正确地分出来。
注意:自动计算的词频在使用 HMM 新词发现功能时可能无效。
载入词典
- 开发者可以指定自己自定义的词典,以便包含 jieba 词库里没有的词。虽然 jieba 有新词识别能力,但是自行添加新词可以保证更高的正确率
- 用法:
Jieba.init(diskHelper) - 词典格式和 dict.txt 一样,一个词占一行;每一行分三部分:词语、词频(可省略)、词性(可省略),用空格隔开,顺序不可颠倒,则文件必须为 UTF-8 编码。
- 词频省略时使用自动计算的能保证分出该词的词频。
重新载入
当在使用过程中,修改了自定义词典,那么可以通过Jieba.reload()方法重新载入。
Bitmap优化套路深 多级缓存定乾坤
- 上一篇
- Bitmap优化套路深 多级缓存定乾坤
- 下一篇
- Kotlin协程进阶王炸之作-Kotlin的协程到底是什么
查看更多
最新文章
-
- 文章 · 软件教程 | 2天前 |
- Acrobat怎样让PDF可批注但禁止打印
- 230浏览 收藏
-
- 文章 · 软件教程 | 2天前 |
- Laper怎么把多集剧本按顺序导出为FDX
- 497浏览 收藏
-
- 文章 · 软件教程 | 2天前 |
- iPhone预览怎么合并PDF并调整页序
- 222浏览 收藏
-
- 文章 · 软件教程 | 2天前 |
- VibeKnow怎么把PPT做成保留排版的讲解视频
- 216浏览 收藏
-
- 文章 · 软件教程 | 2天前 |
- WPS表格用COUNTIF怎么同时算总次数和第几次出现
- 456浏览 收藏
-
- 文章 · 软件教程 | 2天前 |
- GitHub Actions cache restore-keys 怎样设计分层缓存
- 354浏览 收藏
-
- 文章 · 软件教程 | 2天前 |
- VS Code 替换文本时怎样保留原有大小写形式
- 174浏览 收藏
-
- 文章 · 软件教程 | 2天前 | Git 版本控制 VS Code git restore 暂存区
- Git restore 怎样只恢复暂存区中的一个文件
- 190浏览 收藏
-
- 文章 · 软件教程 | 2天前 | 命令行 · 故障排查 · Git 版本控制 Git worktree worktree prune 残留元数据
- Git worktree 删除工作目录后怎样清理残留元数据
- 293浏览 收藏
-
- 文章 · 软件教程 | 2天前 |
- VS Code Snippets 怎样为当前语言添加文件级模板
- 306浏览 收藏
-
- 文章 · 软件教程 | 2天前 | vs code · 软件教程 · VS Code 项目目录 Remote Tunnels code tunnel 远程工作区
- VS Code Remote Tunnels 怎样把隧道绑定到指定项目目录
- 322浏览 收藏
查看更多
课程推荐
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
查看更多
AI推荐
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 1182次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 1167次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 1351次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 1291次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 1150次使用
查看更多
相关文章
-
- VS Code Markdown 预览怎样同步定位当前标题
- 2026-11-04 501浏览
-
- VS Code 怎么给 Go 项目配置测试任务:tasks.json 运行与结果验收
- 2026-07-09 501浏览
-
- Windows 11 如何开启 HEIF 图片支持
- 2026-05-31 501浏览
-
- TikTok用户画像与付费订阅变现方法
- 2026-05-27 501浏览
-
- 学信网学历翻译件申请方法
- 2026-05-27 501浏览

