Go io.ReadAll处理无界响应时的内存保护方案

直接把网络响应交给 io.ReadAll，并不等于“读取一个合理大小的正文”。它会持续读取，直到 Reader 返回错误或 EOF；当响应没有可靠的 Content-Length，或者上游长度被伪造时，结果切片可能随着输入膨胀。更稳妥的做法是：先用 Content-Length 做快速拒绝，再用 io.LimitReader 把真正的读取范围限制在 maxBodyBytes+1，多出的一个字节专门用来识别超限。

先区分 Content-Length 预检查与真正的读取上限

服务端收到响应后，先检查 resp.ContentLength。如果它是非负数且已经大于业务预算，可以立即返回错误，避免一次无意义的读取。但值为 -1 时通常表示长度未知，分块传输也可能没有可用的总长度，所以不能因为预检查通过就直接调用 io.ReadAll(resp.Body)。

建议把“长度声明”当成优化提示，把“Reader 上限”当成安全边界。两者都通过后，才开始读取。

用 LimitReader 多读一个字节识别超限

LimitReader 达到指定字节数后会返回 EOF。若只读 maxBodyBytes，正文恰好等于上限和正文超过上限后被截断，在调用方看来都可能是正常 EOF。将限制设置为上限加一，读取结果超过业务上限时就能明确拒绝。

package main

import (
    "errors"
    "fmt"
    "io"
    "net/http"
)

var errBodyTooLarge = errors.New("response body exceeds limit")

func readBody(resp *http.Response, maxBodyBytes int64) ([]byte, error) {
    defer resp.Body.Close() // 无论读取或后续判断如何返回，都释放响应体

    if resp.ContentLength > maxBodyBytes { // 已声明超限时先拒绝，减少无效分配
        return nil, errBodyTooLarge
    }

    limited := io.LimitReader(resp.Body, maxBodyBytes+1) // 多读1字节，用于识别超限
    body, err := io.ReadAll(limited)                     // 读取错误必须原样返回
    if err != nil {
        return nil, fmt.Errorf("read response body: %w", err)
    }
    if int64(len(body)) > maxBodyBytes { // 额外字节出现，说明正文超过预算
        return nil, errBodyTooLarge
    }
    return body, nil // 只有通过上限判断的正文才交给业务解析
}

这里的关键不是把错误命名成什么，而是让超限结果和底层网络错误分开。上层可以针对 errBodyTooLarge 返回 413 或记录一次输入异常，而不会把网络断开误判为正文过大。

把关闭、错误和解析边界放进同一处理函数

读取函数应该负责三件事：关闭 Body、保留底层读取错误、返回已经通过大小检查的字节。JSON 解码放在函数外面更清楚，例如：

body, err := readBody(resp, 1

如果输入是文件、消息队列或上传流，处理方式仍然相同：先定义预算，再包装 Reader。要注意，内存上限只控制当前读取缓冲；如果正文还会被复制、解压或转换成多个对象，后续步骤也要分别估算。

用检查清单验证边界而不是只看成功样例

排查时尤其要测“未知长度且超过上限”这一项，它最容易绕过只看 Content-Length 的实现。另一个常见坑是把 io.LimitReader(resp.Body, maxBodyBytes) 当作完整防护：它确实阻止继续读，但同时隐藏了“是否刚好被截断”的信息。

相关问题

Content-Length 为 -1 时还能安全读取吗？

可以，但必须把 Reader 包在 io.LimitReader 中；未知长度只表示不能做提前判断，不表示可以取消读取预算。

为什么不直接把超过上限的正文截断后解析？

截断的 JSON、压缩数据或签名内容通常不是完整对象，继续解析容易把输入异常变成格式错误。除非协议明确允许前缀，否则应返回超限错误。

内存保护能代替 HTTP 超时吗？

不能。它限制字节数量，不限制读取等待时间；网络请求仍应配置请求上下文和客户端超时。