Go x/text/encoding/japanese ISO2022JP 怎样读取带状态转义文本

读取 ISO-2022-JP 时，不能把每个字节块直接转成字符串再拼接，因为输入中的 ESC 转义序列会改变后续字节的解释方式。Go 中可用 japanese.ISO2022JP.NewDecoder()，小数据用 Bytes，文件或网络流用 Reader，让同一个解码器跨越多次读取保持状态。

官方地址：https://pkg.go.dev/golang.org/x/text/encoding/japanese

一、先确认 ISO-2022-JP 的状态边界

ISO-2022-JP 的特点是通过转义序列切换字符集状态：同一段字节在不同状态下可能代表 ASCII 或日文字符。因此，读取器需要记住上一次转换后的状态。japanese.ISO2022JP 的解码行为按 RFC 2237 处理，范围并不等同于浏览器 WHATWG 编码标准；如果业务要转发原始内容，解析后应明确选择重新编码，而不是把 UTF-8 结果当成原始字节。

二、用 NewDecoder 完成一次性字节转换

当输入已经完整位于内存中，可调用解码器的 Bytes 方法。示例中的字节由转义序列和日文内容组成，注释说明每一步的目的；真实项目应从文件、邮件或接口读取原始字节。

package main

import (
	"fmt"

	"golang.org/x/text/encoding/japanese"
)

func main() {
	// 这里假设 raw 是完整的 ISO-2022-JP 字节，不要先按 UTF-8 转成 string。
	raw := []byte{0x1b, 0x24, 0x42, 0x46, 0x7c, 0x4a, 0x7c, 0x1b, 0x28, 0x42}

	// 解码器把原始字节转换为 UTF-8；错误要保留给调用方处理。
	text, err := japanese.ISO2022JP.NewDecoder().Bytes(raw)
	if err != nil {
		// 输入不完整或编码不匹配时，避免静默使用半截结果。
		panic(err)
	}
	fmt.Printf("%s\\n", text)
}

Bytes 适合邮件头、短字段和小文件。若输入可能很大，不要为了调用它而一次性读入全部内容；此时应该把解码器接到 io.Reader 上。

三、用 transform.NewReader 读取大文件或网络流

Decoder.Reader 内部使用转换读取器，将输入分块交给同一个 transformer。关键点是解码器和 reader 都要在整个读取过程内复用，否则 ESC 序列恰好跨越两个分块时，后半段可能被当成错误的普通字节。

package main

import (
	"io"
	"os"

	"golang.org/x/text/encoding/japanese"
)

func convert(in io.Reader, out io.Writer) error {
	// 一个 reader 覆盖整个输入生命周期，让转义状态跨 Read 调用保留。
	decoded := japanese.ISO2022JP.NewDecoder().Reader(in)
	// Copy 负责持续读取并写出 UTF-8；返回错误而不是吞掉网络或文件错误。
	_, err := io.Copy(out, decoded)
	return err
}

func main() {
	// 示例仅演示资源关闭；真实项目可把 os.File 换成网络响应体。
	f, err := os.Open("message.iso2022jp")
	if err != nil {
		panic(err)
	}
	defer f.Close() // 关闭输入文件，避免句柄泄漏。

	if err := convert(f, os.Stdout); err != nil {
		panic(err)
	}
}

这里的输出是 UTF-8 字节流。若目标协议要求 ISO-2022-JP，应在输出端显式使用 japanese.ISO2022JP.NewEncoder()，不要把解码结果原样发送。

四、乱码、截断与替换字符怎么定位

不要只看终端显示结果判断编码。至少保留一份包含 ASCII、日文、模式切换和截断尾部的固定样本，分别覆盖 Bytes 和流式 Reader 两条路径。

相关问题

ISO2022JP 和 ShiftJIS 可以互换吗？

不能。两者的字节布局和状态机制不同，应以数据来源的编码声明为准；换编码器只能解决真实的编码匹配问题。

为什么要复用同一个 decoder？

因为 ISO-2022-JP 的 ESC 序列会改变后续字节解释。按块重建 decoder 会丢失跨块状态，边界处最容易出现乱码。

解码成功后能直接转发原字节吗？

不能把 UTF-8 结果误当原始 ISO-2022-JP。需要转发时，根据目标协议显式重新编码，并在回归样本中检查 ASCII 与日文混合内容。