Go crypto/md5.New 怎样对流式输入计算摘要

需要给上传文件、缓存对象或一段持续到来的数据做内容指纹时，不必先把全部内容读进内存。crypto/md5.New 会返回一个可以持续写入的 hash.Hash：每次把新的字节写进去，摘要状态就继续累计，读取结束后再用 Sum(nil) 取出结果。

最小写法是 h := md5.New()，然后把分段数据写入 h，最后读取 h.Sum(nil)。文件场景可以直接使用 io.Copy(h, file)。但 MD5 已不适合密码、签名或安全防篡改校验，只应放在非安全的内容指纹、兼容性或历史协议场景中。

官方资料：https://pkg.go.dev/crypto/md5#New

md5.New 返回的不是一次性结果

md5.New() 返回的是新的 hash.Hash，不是已经计算完成的字节数组。这个对象同时具备 io.Writer 的写入能力和 Sum、Reset 等摘要接口，因此可以边读取边累计。

package main

import (
	"crypto/md5"
	"fmt"
)

func main() {
	// New 创建一个空的摘要状态，后续 Write 会持续累积输入。
	h := md5.New()
	_, _ = h.Write([]byte("part-a"))
	_, _ = h.Write([]byte("part-b"))

	// Sum(nil) 取出当前摘要；它不会清空 h 的内部状态。
	fingerprint := h.Sum(nil)
	fmt.Printf("%x\n", fingerprint)
}

这里两次 Write 与一次性写入 part-apart-b 的摘要语义相同。hash.Hash.Write 按接口约定不会返回写入错误，所以示例可以忽略错误值；真正可能失败的是上游读取或 io.Copy 的过程。

文件摘要用 io.Copy 接上读取流

文件较大时，推荐让文件实现的 io.Reader 与摘要对象实现的 io.Writer 通过 io.Copy 连接。这样不需要自己维护读取缓冲区，io.Copy 会持续复制到遇到 EOF 或读取错误为止，并返回已经处理的字节数。

package main

import (
	"crypto/md5"
	"fmt"
	"io"
	"os"
)

func fileMD5(path string) ([]byte, int64, error) {
	// 打开文件后由当前函数负责关闭，避免文件描述符一直占用。
	f, err := os.Open(path)
	if err != nil {
		return nil, 0, err
	}
	defer f.Close()

	// md5.New 作为 Writer 接收文件流，不需要把文件整体读入内存。
	h := md5.New()
	written, err := io.Copy(h, f)
	if err != nil {
		// 读取失败时不要把不完整的摘要当成有效结果返回。
		return nil, written, err
	}

	// 复制成功后再读取当前累计状态。
	return h.Sum(nil), written, nil
}

func main() {
	digest, size, err := fileMD5("payload.bin")
	if err != nil {
		fmt.Println("读取失败:", err)
		return
	}
	fmt.Printf("bytes=%d md5=%x\n", size, digest)
}

判断点有两个：第一，只有 err == nil 时才把摘要交给后续逻辑；第二，读取错误时即使 written 大于零，也只能说明部分数据已写入摘要，不能把它当作完整文件的指纹。

Sum(nil) 会追加结果，但不会重置状态

Sum(b) 的语义是“把当前摘要追加到 b 后返回”，所以 h.Sum(nil) 得到一个独立结果切片，而 h.Sum(prefix) 会保留前缀。更重要的是，读取摘要不会改变 h 的状态；如果继续 Write，后续摘要仍然包含之前的数据。

package main

import (
	"crypto/md5"
	"fmt"
)

func main() {
	// 先写入第一段内容并读取一次当前摘要。
	h := md5.New()
	_, _ = h.Write([]byte("alpha"))
	first := h.Sum(nil)

	// Sum 不会清空状态；追加后得到的是 alpha+beta 的摘要。
	_, _ = h.Write([]byte("beta"))
	second := h.Sum(nil)

	// 传入已有切片时，摘要会接在前缀后面返回。
	withPrefix := h.Sum([]byte("md5="))
	fmt.Printf("first=%x second=%x prefixed=%s%x\n", first, second, "", withPrefix)
}

如果业务需要“观察当前摘要”并继续追加，直接调用 Sum(nil) 即可；如果业务需要“从当前状态分叉出两条摘要”，则应另外设计状态复制策略，不要误以为一次 Sum 已经建立了新的空状态。

复用摘要对象前要调用 Reset

当一个摘要对象要服务下一份互不相关的数据时，必须先 Reset。否则第二份数据会接在第一份数据之后，得到的是两份输入拼接后的摘要。

package main

import (
	"crypto/md5"
	"fmt"
)

func digestPair(h interface {
	Write([]byte) (int, error)
	Sum([]byte) []byte
	Reset()
}, value string) []byte {
	// 调用方复用同一个状态时，先恢复为空状态再写入新数据。
	h.Reset()
	_, _ = h.Write([]byte(value))
	return h.Sum(nil)
}

func main() {
	// 一个 hash.Hash 可以复用，但每份独立输入都要经过 Reset。
	h := md5.New()
	fmt.Printf("one=%x\n", digestPair(h, "one"))
	fmt.Printf("two=%x\n", digestPair(h, "two"))
}

实际项目中也可以每次直接调用 md5.New，这样对象生命周期更简单；是否复用只应由清晰的性能测量或资源模型驱动，不能为了少创建一个小对象而牺牲状态隔离。

MD5 能用在哪些场景

常见追问

为什么同一个 h 调用两次 Sum 得到的结果相同？

只要两次 Sum 之间没有新的 Write，摘要状态没有变化，所以结果相同；Sum 本身不会重置状态。

io.Copy 返回 EOF 要不要当成失败？

不需要。io.Copy 把读到源数据末尾视为正常完成，成功返回时 err == nil；只有其他读取或写入错误才应按失败处理。

为什么文件读取失败后不能继续使用摘要？

因为此时摘要只覆盖已经读到的前缀，不能代表完整文件。应记录真实错误，丢弃这次结果，并根据业务决定重试或报告失败。

想算安全校验值还能继续用 MD5 吗？

不能把 MD5 当作安全校验或签名算法。本文只讨论标准库 API 的流式使用方式；安全方案应根据协议、威胁模型和维护组织的建议选择合适的现代密码学构件。

官方 API 入口：https://pkg.go.dev/crypto/md5#New