Go unicode.IsPunct 怎样判断字符是否属于标点类别

如果输入里同时有中文逗号、全角括号、英文句号和普通空格，单看 ASCII 字符表很快就会漏掉一部分标点。Go 的直接做法是把字符串按 rune 遍历，再交给 unicode.IsPunct：它判断的是 Unicode 通用类别 P，而不是某一组手写字符。

最小判断只有一句：unicode.IsPunct(r) 返回 true，就说明当前 rune 属于 Unicode 标点类别。下面把这个规则落到过滤文本的代码里，同时说明它与可打印字符、空白字符判断的区别。

IsPunct 判断的是 rune 和 Unicode 类别 P

unicode.IsPunct 的参数类型是 rune。它对 Unicode 标点字符返回 true，例如中文逗号、全角括号、英文感叹号都可以参与同一套判断。字符串遍历要使用 range，不要把 UTF-8 的每个字节直接当成字符。

package main

import (
	"fmt"
	"unicode"
)

func main() {
	for _, r := range "Go，中文！(demo)" {
		// IsPunct 接收 rune，按 Unicode 的 P 类别判断标点。
		if unicode.IsPunct(r) {
			fmt.Printf("%q 是标点\n", r)
		}
	}
}

这里的关键不是把几个常见符号列出来，而是把判断交给 Unicode 表。rune 是 Go 对 Unicode 码点的整数表示；range 会按 UTF-8 解码后的字符迭代，因此中文和全角符号不会被拆成几个无意义的字节。

为什么只判断 ASCII 标点会漏数据

手写 strings.ContainsRune(".,!?", r) 适合一个明确的 ASCII 协议字段，却不适合“识别所有 Unicode 标点”这个任务。它不会自动覆盖 ，、。、「」 等字符；继续追加字符表也会把维护责任转移给业务代码。

因此要先确认需求边界：如果目标是“凡是 Unicode 标点都识别”，用 IsPunct；如果目标只是“允许的分隔符白名单”，仍应使用白名单，而不是把所有标点都放行。

按 rune 过滤标点并保留其他文本

下面的函数删除 Unicode 标点，保留字母、数字、空白和其他符号。使用 strings.Builder 是为了把结果集中写入一个字符串；若业务还要删除空白，应再明确调用 unicode.IsSpace，不要把两种规则混在一起。

package main

import (
	"fmt"
	"strings"
	"unicode"
	"unicode/utf8"
)

func removePunctuation(input string) (string, error) {
	// 先拒绝无效 UTF-8，避免把替换 rune 当成原始字符继续处理。
	if !utf8.ValidString(input) {
		return "", fmt.Errorf("输入不是有效的 UTF-8")
	}

	var builder strings.Builder
	// range 按 rune 遍历，IsPunct 只负责标点类别判断。
	for _, r := range input {
		if !unicode.IsPunct(r) {
			_, _ = builder.WriteRune(r) // Builder 写入字符串构造结果，不产生额外规则。
		}
	}
	return builder.String(), nil
}

func main() {
	result, err := removePunctuation("Go，中文！ 2026")
	if err != nil {
		fmt.Println(err)
		return
	}
	fmt.Println(result) // 结果保留空格和数字：Go中文 2026
}

如果输入是 Go，中文！ 2026，结果会保留空格和数字，只删除逗号与感叹号。这个结果不是“清洗后的唯一标准答案”，而是由函数名和业务规则共同决定的：例如日志规范可能要求连空格也删掉，搜索分词可能反而要保留句号。

IsPunct、IsPrint 和 IsSpace 不要混用

标点通常是可打印字符，但“可打印”并不等于“标点”；空格也可能是可打印字符，但它不属于标点。把 IsPrint 当作标点判断，或者把 IsSpace 当作空白删除规则，都会让代码的语义变得含糊。

采用前要确认两个边界

第一，range 遇到无效 UTF-8 时会产生 utf8.RuneError，所以需要严格输入时应像上面的示例一样先用 utf8.ValidString 判断。第二，Unicode 标点分类不等于业务允许列表：引号、括号、句号是否保留，要由数据格式或产品规则决定。

可以把判断收敛成三句话：识别 Unicode 标点用 unicode.IsPunct；遍历字符串用 range 得到 rune；需要拒绝坏输入时先检查 utf8.ValidString。这样既不会漏掉多语言标点，也不会把不同的字符分类职责混为一谈。

相关问题

IsPunct 能判断中文标点吗？

可以。中文逗号、句号、书名号等字符只要属于 Unicode 通用类别 P，就会返回 true。最终保留哪些符号仍应由业务白名单决定。

为什么不直接按字节遍历字符串？

UTF-8 的一个字符可能占多个字节，按字节判断会把一个 Unicode 字符拆开。使用 range 才能把解码后的 rune 交给 IsPunct。