当前位置:首页 > 文章列表 > 文章 > java教程 > Normalizer 怎样规范化为 NFC

Normalizer 怎样规范化为 NFC

来源:17golang原创 2026-10-25 13:28:40 0浏览 收藏

把文本规范化为 NFC,可调用 Normalizer.normalize(text, Normalizer.Form.NFC)。比较两份输入时,两边都转换成同一种规范形,再比较得到的字符串;只处理其中一边,约定仍然不完整。

我更愿意把它封装成一个明确的“比较键”函数:原文用于展示,键用于需要规范等价的比较。这是本文的设计取舍,下面的小项目为原创演示,未声称已在本机运行。

Java API 依据:https://docs.oracle.com/en/java/javase/25/docs/api/java.base/java/text/Normalizer.html。Unicode 规范依据:https://www.unicode.org/reports/tr15/。API 页面使用 Java 25 文档,本文并不要求升级到该版本才可调用 Normalizer。

项目目标:让名称比较遵守同一文本约定

假设一份联系人名单同时接受键盘输入和文件导入。名称 café 可能包含单个 é,也可能由 e 和组合重音构成。字符串比较关注字符序列,字体显示接近并不能建立相等关系。本项目只让规范等价的两种表示拥有一致比较键,不改变原始展示值。

NFC 采用规范分解和规范组合。它并不承诺每个可见字符都压成一个码点;没有相应预组合字符时,组合标记仍可能存在。也不要把 NFC 当成删除重音、拼写纠错或编码解码。

图1:原文、比较键函数与两份 NFC 键的静态关系
图1:原文、比较键函数与两份 NFC 键的静态关系;静态结构说明图,不是运行截图。

环境准备:一个文件即可说明问题

准备已安装且受项目支持的 JDK,把下面代码保存为 NfcNameDemo.java。所需依赖只有 java.text.Normalizer 和 java.util.Objects,无需引入文本工具包。文件名与 public 类名保持一致;使用 UTF-8 保存源文件,重音字符用 Unicode 转义表达,避免复制时难以区分字符序列。

核心代码:建立 NFC 比较键

import java.text.Normalizer;
import java.util.Objects;

public class NfcNameDemo {
    static String comparisonKey(String text) {
        // 缺失值由调用方处理,不把 null 偷换成空串。
        return Normalizer.normalize(
            Objects.requireNonNull(text, "名称不能为空"),
            Normalizer.Form.NFC
        );
    }

    public static void main(String[] args) {
        // 两种写法显示接近,但 UTF-16 序列不同。
        String composed = "caf\u00E9";
        String decomposed = "cafe\u0301";
        String leftKey = comparisonKey(composed);
        String rightKey = comparisonKey(decomposed);
        System.out.println("原文相等:" + composed.equals(decomposed));
        System.out.println("比较键相等:" + leftKey.equals(rightKey));
        System.out.println("比较键是 NFC:" +
            Normalizer.isNormalized(rightKey, Normalizer.Form.NFC));
        // 再次规范化不应改变已经规范化的比较键。
        System.out.println("重复转换一致:" +
            rightKey.equals(comparisonKey(rightKey)));
    }
}

comparisonKey 接受完整的逻辑名称,返回规范化字符串。这里明确拒绝 null;空串则仍然是合法字符串。真实表单是否允许空名称,是另一项业务校验。不要在函数内部同时偷偷 trim 或转小写,否则读者无法区分哪项规则导致了键变化。

本地运行:观察相等性与规范形

在源文件目录执行以下命令。命令只作为读者操作说明,本文没有执行并截取终端输出。

# 编译原创示例源文件。
javac -encoding UTF-8 NfcNameDemo.java
# 运行示例,读取四项布尔判断。
java NfcNameDemo

按代码和规范语义,四项判断依次应为 false、true、true、true。第一项直接比较不同的原始序列;第二项比较两份 NFC 键;第三项检查键是否处于 NFC;第四项说明重复规范化应保持一致。若实际输出不同,先确认运行的是当前类文件,以及输入转义没有在复制时被改写。

isNormalized 只是判定,不会替你转换原字符串。这个小函数直接 normalize 即可,不需要为了“优化”每次先判定再转换;是否值得增加检测分支应以真实负载为依据。

集成应用:保存原文和比较键

集成时可保存 originalName 和 nfcKey 两个字段。originalName 保留用户提交的原文,nfcKey 由 comparisonKey 生成;查询输入 queryText 也调用同一函数得到 queryKey。名称是否重复由 nfcKey 与 queryKey 的比较及业务规则共同决定。

修改名称时必须同步更新键。已有数据若过去没有该约定,应先计算并处理键碰撞,再决定是否建立唯一约束;规范等价名称可能属于不同业务记录,不能直接删除其中一条。数据库排序规则也可能扩大相等范围,因此应用层键规则与数据库唯一性语义需要单独协调。

完整名称拼接完成后再规范化。不能因为各片段已经是 NFC,就认定拼接结果仍是 NFC:边界处的基础字符与组合标记可能产生新的组合关系。保留原文后,未来调整业务匹配规则也更容易回溯。

图2:原始名称、规范键和查询键的存储与比较边界
图2:原始名称、规范键和查询键的存储与比较边界;静态结构说明图,不是运行截图。

验收与常见疑问

验收关注三件事:规范等价输入得到相同键;展示字段保留原文;写入和查询使用一致约定。对于不属于规范等价的输入,不应为了让测试通过而不断添加替换规则。

NFC 会统一全角和半角吗?

不能这样期待。宽度等兼容差异通常属于另一类规范化问题,NFKC 会处理兼容分解,但也会消除某些有意义的区别。当前项目只需要 NFC,不应无条件替换为 NFKC。

NFC 能让大小写或相似字母相等吗?

不能把它用作通用模糊匹配。大小写规则、语言相关比较以及视觉相似字符识别需要各自定义;NFC 也不负责证明账号名称安全或清除危险内容。

规范化会修复乱码吗?

不会。若字节已经按错误编码解码成错误字符,应先解决输入解码问题,再对正确得到的文本应用规范形约定。

是不是所有文本都应该覆盖为 NFC?

本文的选择是保存原文、另外建立比较键。需要保持原始字节、签名材料或用户原始输入的场合,应遵循对应协议约定,不能随意覆盖。对这个名称比较小项目,明确边界比扩大转换范围更有价值。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
ExecutorCompletionService 怎样按完成顺序取结果ExecutorCompletionService 怎样按完成顺序取结果
上一篇
ExecutorCompletionService 怎样按完成顺序取结果
AtomicStampedReference 怎样检测 ABA
下一篇
AtomicStampedReference 怎样检测 ABA
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    685次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    700次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    753次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    717次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    552次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码