Go x/text/unicode/norm NFD 怎样拆分组合字符

如果需要把 Go 字符串里的预组装字符拆成基础字符和组合附加符，直接使用 norm.NFD.String(s)。例如 é 会变成 e 与组合重音符 U+0301。但 NFD 只改变 Unicode 的规范化表示，不会自动删除重音、按用户感知字符分割，也不负责把文本变成 ASCII。

官方地址：https://pkg.go.dev/golang.org/x/text/unicode/norm

先把“显示为一个字符”与“内部表示”分开

Unicode 允许同一个规范等价字符有不同的码点表示。拉丁字母 é 可以是一个预组装码点，也可以是普通字母 e 加组合重音符。终端或网页通常把两种表示渲染得很像，但字符串比较、排序、查找和存储长度仍可能受到影响。

NFD 采用规范分解：将可以规范分解的字符拆成基础字符和组合标记，并保持规范等价关系。它与 NFKD 的兼容分解不同，不能把两个 Form 混用来表达同一条业务规则。

用 norm.NFD.String 拆分完整字符串

对于已经在内存中的完整文本，最容易读懂的写法是调用 norm.NFD.String。它返回转换到 NFD 后的字符串；如果输入本来已经是目标 Form，库可以复用原有内容的结果。

package main

import (
    "fmt"
    "unicode/utf8"

    "golang.org/x/text/unicode/norm"
)

func main() {
    // 这里的输入使用预组装的 é，NFD 会把它拆成 e 和组合重音符。
    input := "café"
    output := norm.NFD.String(input)

    fmt.Printf("原文：%q，NFD：%q\n", input, output)
    fmt.Printf("原文字节数：%d，NFD 字节数：%d\n", len(input), len(output))

    // 按 rune 查看码点；len(string) 统计的是字节，不是 rune 数。
    for _, r := range output {
        fmt.Printf("U+%04X ", r)
    }
    fmt.Printf("\nNFD 是否规范化：%v，UTF-8 是否有效：%v\n",
        norm.NFD.IsNormalString(output), utf8.ValidString(output))
}

示例中不要用 len(output) 推断“字符数量”：它得到的是 UTF-8 字节数。NFD 之后，原来一个预组装字符可能占用多个 rune，因此业务若关心用户感知的字符数量，还需要单独设计分段规则。

已有缓冲区时选择 AppendString 或 Bytes

如果代码已经维护了一个字节缓冲区，可以把 NFD 结果追加到目标切片。AppendString 会按目标 Form 处理字符串；Bytes 适合直接转换一个字节切片。使用 Append 系列时，官方约束是 out 必须为空、为 nil，或已经是同一个 Form 的结果，不能把任意未规范化缓冲区伪装成目标前缀。

package main

import (
    "fmt"

    "golang.org/x/text/unicode/norm"
)

func main() {
    // out 是本次结果的容量复用空间，不能拿别的 Form 的结果作为前缀。
    out := make([]byte, 0, 32)
    out = norm.NFD.AppendString(out, "café")
    out = norm.NFD.AppendString(out, " déjà")

    // 只读展示规范化后的字节；不要在仍被引用时复用或覆盖 out。
    fmt.Printf("%q\n", string(out))

    raw := []byte("é")
    normalized := norm.NFD.Bytes(raw)
    fmt.Printf("原始：% X，NFD：% X\n", raw, normalized)
}

这里的重点不是“所有调用都要手动分配”，而是明确缓冲区所有权：如果结果要交给异步任务或长期保存，应在生命周期设计中决定是否复制；不要在下游仍持有切片时继续写入同一底层数组。

分块输入不能把 Read 次数当成字符边界

文件、网络流或管道输入通常不是一次拿到完整字符串。一个 Read 可能在多字节 UTF-8 序列或组合序列中间结束，因此应让规范化器维护状态，或先按库提供的边界 API 处理。norm.NFD.Reader 会返回一个包装后的 io.Reader，把读取到的数据转换到 NFD。

package main

import (
    "fmt"
    "io"
    "strings"

    "golang.org/x/text/unicode/norm"
)

func main() {
    // Reader 包装完整的输入源，调用方仍按 io.Reader 读取，不假设每次 Read 是一个字符。
    src := norm.NFD.Reader(strings.NewReader("café déjà"))
    normalized, err := io.ReadAll(src)
    if err != nil {
        // 读取失败必须向上返回，不能把部分结果当成完整文本。
        panic(err)
    }
    fmt.Printf("%q\n", string(normalized))
}

如果需要更细的流式控制，可以使用 Transform 或 NextBoundaryInString。前者遵循 transform.Transformer 的返回约定；当目标缓冲区太小，调用方要处理 transform.ErrShortDst 并扩大目标空间。后者用于找到可以独立处理的规范化边界，但在 atEOF=false 且数据不足时可能返回 -1。

不要把 NFD 当成去重音或用户感知字符分割

规范分解只是把字符变成另一种规范表示。下面三件事需要分别处理：

特别是，直接删除所有非 ASCII 字节会破坏 UTF-8；即使过滤组合标记，也不能据此推断所有语言都能安全地“去重音”。NFD 适合放在规范化边界上，后续的检索、排序、展示和截断规则仍应由业务单独定义。

判断清单：什么时候该用 NFD

• 你要处理的是规范等价表示差异，而不是简单删掉视觉符号。
• 完整字符串用 norm.NFD.String；已有字节空间再考虑 AppendString 或 Bytes。
• 流式输入交给 Reader 或正确实现 Transformer 约定，不把单次读取当成安全边界。
• 要检查是否已经规范化时，用 norm.NFD.IsNormalString，不要只比较字节长度。
• 跨模块传递结果前明确切片和缓冲区的所有权，避免复用底层数组影响消费者。

常见问题

NFD 会不会把 é 变成字母 e？

不会。它会得到基础字母 e 和组合重音符；若要去掉重音，需要在规范化之后另行识别并过滤组合标记。

NFD 与 NFKD 有什么区别？

NFD 做规范分解，NFKD 还会处理兼容分解。选哪一个取决于业务是否允许把兼容字符折叠到更宽泛的等价关系。

为什么 NFD 后字符串字节数变长了？

一个预组装字符可能被表示为多个 UTF-8 rune，因此字节数增加是正常结果。不要用字节数代替用户感知的字符数。