Go x/text/encoding/charmap Windows1252 怎样转换旧文件文本

如果旧文件的字节确实来自 Windows-1252，Go 中最直接的做法是使用 charmap.Windows1252.NewDecoder()，把它包装成一个转换器，再交给 encoding.Decoder 的 Bytes、String 或 Reader 方法。这样得到的结果才是可以继续交给 Go 字符串、JSON 或 UTF-8 输出的文本。

官方地址：https://pkg.go.dev/golang.org/x/text/encoding/charmap

官方接口说明：https://pkg.go.dev/golang.org/x/text/encoding

本文只处理 Windows-1252 这一种旧编码，不把“文件乱码”直接等同于它。若源文件实际是 GB18030、Shift-JIS 或另一种 Windows code page，应替换为对应的编码实现；选错编码，转换代码本身不会替你恢复原文。

Windows1252 解码器负责把旧字节变成 UTF-8

charmap 包提供 8 位字符集映射，文档中明确列出了 Windows1252。它实现了 encoding.Encoding，因此可以创建解码器和编码器。读取旧文件时，方向是“Windows-1252 字节 → UTF-8 字节”，不是把已经是 UTF-8 的字符串再转换一次。

从职责上看，charmap.Windows1252 是编码定义，NewDecoder 创建转换器，真正使用转换器的是 Decoder 提供的内存或流式接口。把这三个对象混在一起，最容易出现“调用了编码对象却没有得到字符串”的误解。

小块文本用 Bytes 或 String 转换

数据已经在内存中时，可以选择 Bytes 或 String。两者都会返回转换结果和错误，调用方应保留错误处理；不要为了省一个返回值而静默丢掉转换失败。

package main

import (
	"fmt"
	"log"

	"golang.org/x/text/encoding/charmap"
)

func decodeLegacy(data []byte) (string, error) {
	// Decoder 把 Windows-1252 字节转换成 UTF-8 字节。
	return charmap.Windows1252.NewDecoder().String(string(data))
}

func main() {
	// 示例字节只用于说明旧编码输入，真实项目应来自文件或接口。
	legacy := []byte{'G', 'a', 'r', 0xe7, 'o', 'n'}
	text, err := decodeLegacy(legacy)
	if err != nil {
		// 转换错误要带回调用方，避免把坏数据当成正常文本继续保存。
		log.Fatal(err)
	}
	fmt.Println(text)
}

如果输入本来就是一段字符串，也可以直接调用 NewDecoder().String。这里的字符串只是承载原始字节，并不代表它已经是合法 UTF-8。对于大文件或不确定大小的输入，不要用这个方式一次性读完。

大文件用 Decoder.Reader 配合 io.Copy

迁移旧日志、报表或归档文本时，更稳妥的边界是让解码器包住输入流，再把转换后的内容写到 UTF-8 输出文件。Reader 会包装另一个 io.Reader；官方文档还提醒，返回的 Reader 使用期间不要再次操作同一个 Decoder。

package main

import (
	"io"
	"os"

	"golang.org/x/text/encoding/charmap"
)

func convertFile(srcPath, dstPath string) error {
	// 输入文件按 Windows-1252 解码，输出文件保存为 UTF-8 字节。
	src, err := os.Open(srcPath)
	if err != nil {
		return err
	}
	defer src.Close() // 及时释放旧文件句柄。

	dst, err := os.Create(dstPath)
	if err != nil {
		return err
	}
	defer dst.Close() // 确保函数返回时关闭输出文件。

	decoder := charmap.Windows1252.NewDecoder()
	decoded := decoder.Reader(src)
	// io.Copy 只关心 Reader/Writer，转换工作由 decoded 完成。
	_, err = io.Copy(dst, decoded)
	return err
}

func main() {
	// 路径应由业务参数传入，这里只展示转换函数的调用边界。
	if err := convertFile("legacy.txt", "utf8.txt"); err != nil {
		panic(err)
	}
}

这个写法的重点不是“必须使用 io.Copy”，而是把转换放在 Reader 边界。需要逐行解析时，可以把 decoded 再交给 bufio.Scanner；需要保留长行或精确处理读取错误时，则使用 bufio.Reader。无论选择哪种读取器，文件资源仍由打开它的代码负责关闭。

写回 Windows-1252 时要处理不可表示字符

读取旧编码通常是“解码”，写回旧编码则是“编码”。NewEncoder 把 UTF-8 转向 Windows-1252，但目标字符集并不包含所有 Unicode 字符。官方文档说明，无法转码的字符会返回错误；因此写回操作不能默认等同于无损保存。

package main

import (
	"fmt"
	"log"

	"golang.org/x/text/encoding/charmap"
)

func encodeLegacy(text string) ([]byte, error) {
	// Encoder 只接受目标字符集能够表示的 UTF-8 字符。
	return charmap.Windows1252.NewEncoder().Bytes([]byte(text))
}

func main() {
	data, err := encodeLegacy("plain ASCII")
	if err != nil {
		// 这里保留错误，让调用方决定拒绝、替换或改存 UTF-8。
		log.Fatal(err)
	}
	fmt.Printf("% x\n", data)
}

如果业务必须兼容旧系统，可以明确选择替代策略，但要把数据损失当成业务决策记录下来。encoding.ReplaceUnsupported 虽然存在，却是为向后兼容和旧式处理提供的包装，官方文档明确建议尽可能使用 UTF-8。不要在没有告知用户的情况下把它当成默认修复手段。

迁移旧文件时的最小检查清单

实际迁移时，可以先抽取一小段包含重音字符、标点和业务专用符号的样本，确认输出符合预期，再扩大到完整目录。这个抽样是业务验收动作，不是编码库自动提供的保证。

相关问题

Windows1252 和 UTF-8 可以直接强制转换吗？

不能把不同编码的原始字节直接当成另一种编码。应先按来源编码解码为 UTF-8，再按目标系统需要决定是否重新编码。

为什么 Decoder 读出来出现替代字符？

这通常说明输入字节与声明的编码不匹配，或输入数据本身不完整。先确认来源系统的编码约定，再决定是否更换对应的编码实现。

什么时候应该直接保留 UTF-8？

如果下游系统支持 UTF-8，优先在迁移边界完成一次解码并长期保存 UTF-8；只有对方协议或历史系统明确要求 Windows-1252 时，才在输出边界重新编码。

参考：https://pkg.go.dev/golang.org/x/text/encoding/charmap、https://pkg.go.dev/golang.org/x/text/encoding、https://pkg.go.dev/golang.org/x/text/transform