Go regexp.FindAllStringSubmatchIndex Unicode 文本的字节下标怎么转换成字符区间

如果把 regexp.FindAllStringSubmatchIndex 返回的数字直接当成“第几个字符”，中文文本很快就会暴露问题：一个汉字在 UTF-8 中通常占 3 个字节，emoji 还可能占 4 个字节。正确做法是先把它看成字节区间，再用同一段前缀的 rune 数量换算坐标。

FindAllStringSubmatchIndex 返回的是半开字节区间 [start, end)，不是字符区间。把 start 和 end 分别代入 utf8.RuneCountInString(s[:index])，就能得到 rune 区间；可选子表达式返回 -1 时要先保留“未匹配”状态。

先把匹配结果看成字节区间

Go 的 string 本质上保存字节序列，正则包在字符串上匹配时返回的索引也以字节为单位。结果切片中每两个数字是一组半开区间：第一个是起点，第二个是终点。完整匹配位于前两项，之后才是捕获子表达式。

例如文本 Go 世界 中，“世界”前面有两个 ASCII 字节、一个空格字节；两个汉字本身占 6 个字节。因此“世界”可能对应字节区间 [3, 9)，但对应的 rune 区间是 [3, 5)。这里的 3 和 5 是 rune 坐标，不是原字符串的切片下标。

转换时不要把字节下标除以 3 或 4。ASCII、汉字、组合字符和 emoji 的 UTF-8 宽度不同，只有按前缀解码或统计 rune 才可靠。

用前缀的 rune 数量转换坐标

下面的辅助函数只负责一件事：把合法的字节区间映射成 rune 区间。它返回的第二个区间仍是半开区间，因此可以直接表示“从第几个 rune 开始，到第几个 rune 之前结束”。

package main

import (
    "fmt"
    "regexp"
    "unicode/utf8"
)

// bytePairToRunePair 把正则的字节区间换成 rune 区间。
// -1 表示可选子表达式没有匹配，不能拿去切片。
func bytePairToRunePair(s string, start, end int) (int, int, bool) {
    if start  end || end > len(s) {
        return 0, 0, false
    }
    // 正则对有效 UTF-8 文本给出的边界应落在 rune 边界上。
    return utf8.RuneCountInString(s[:start]), utf8.RuneCountInString(s[:end]), true
}

func main() {
    text := "Go 世界，Go"
    re := regexp.MustCompile(`(Go|世界)`)

    for _, indexes := range re.FindAllStringSubmatchIndex(text, -1) {
        // 每两个字节下标描述一个完整匹配或捕获组。
        start, end := indexes[0], indexes[1]
        rs, re, ok := bytePairToRunePair(text, start, end)
        if !ok {
            continue
        }
        fmt.Printf("bytes=[%d,%d) runes=[%d,%d) text=%q\\n",
            start, end, rs, re, string([]rune(text)[rs:re]))
    }
}

这个方法的成本是扫描两个前缀。文章中的短文本和少量匹配足够使用；如果在长文档中批量转换很多区间，可以从左到右维护字节边界到 rune 序号的索引表，避免为每个区间重复扫描。

可选子表达式的 -1 不能当成普通下标

FindAllStringSubmatchIndex 对没有参与匹配的可选分组会返回 -1, -1。这不是“从末尾倒数一个位置”，而是明确的状态标记。只有两个值都非负、并且组成合法的起止边界时，才能转换或切片。

// readSubmatchRuneRange 安全读取一个捕获组的 rune 区间。
// group 从 0 开始，0 表示完整匹配，1 表示第一个捕获组。
func readSubmatchRuneRange(text string, indexes []int, group int) (int, int, bool) {
    offset := group * 2
    if group = len(indexes) {
        return 0, 0, false
    }
    // 未匹配的可选组必须作为缺省状态返回，而不是继续切片。
    return bytePairToRunePair(text, indexes[offset], indexes[offset+1])
}

// 示例正则：完整匹配一个键，感叹号作为可选捕获组。
re := regexp.MustCompile(`(Go)(!?)`)

如果业务只需要完整匹配，读取 indexes[0] 和 indexes[1] 即可；如果要读取第 n 个捕获组，就使用 2*n 和 2*n+1。先检查切片长度，再检查是否为负数，能同时避免越界和误判。

先确定你真正需要哪一种“字符区间”

“字符位置”在接口设计里容易混成三件事。Go 的 rune 是 Unicode code point，适合内部遍历；用户界面中的一个可见符号可能由多个 rune 组成，例如字母与组合重音。若要做光标移动、选区高亮或按用户看到的字符计数，应该再引入字素簇分段策略，不能只依赖 RuneCountInString。

上线前至少检查三组输入：纯 ASCII、中文与 ASCII 混合、包含 emoji 或组合字符的文本。还要加一个可选捕获组不匹配的样例，并确认返回结果中没有把 -1 交给字符串切片。

常见问题

FindAllStringSubmatchIndex 的终点能直接作为字符串长度吗？

能，但它代表字节长度，并且是排他的终点。要得到 rune 长度，应统计 s[:end] 的 rune 数量。

把索引转换成 rune 后可以直接修改原字符串吗？

不能。字符串不可变，rune 区间只是坐标；修改时通常转换为 []rune 或重新拼接，并重新考虑字节偏移是否仍然有效。

为什么不能用 len([]rune(s[:start])) 代替 RuneCountInString？

可以得到同样的计数，但会额外分配 rune 切片。只需要数量时，utf8.RuneCountInString 更直接。