在go中闻和验证的即时内容类型

有志者，事竟成！如果你在学习Golang，那么本文《在go中闻和验证的即时内容类型》，就很适合你！文章讲解的知识点主要包括，若是你对本文感兴趣，或者是想搞懂其中某个知识点，就请你继续往下看吧~

验证、消毒和安全地处理用户生成的内容是一个复杂且庞大的课题。本文仅关注其中一个方面：利用魔术字节嗅探用户上传内容的类型，并拒绝与验证规则不符的文件。

本文重点介绍：

• 如何在不缓冲整个文件到内存的情况下嗅探内容类型
• 如何编写简洁易用且可复用的代码

使用 http.DetectContentType

标准库中的 http.DetectContentType 函数正是我们需要的。文档描述如下：

根据 https://mimesniff.spec.whatwg.org/ 描述的算法确定给定数据的 MIME 类型。最多考虑前 512 字节的数据。DetectContentType 始终返回有效的 MIME 类型：如果无法确定更具体的 MIME 类型，则返回 "application/octet-stream"。

让我们看看如何在实践中使用它。考虑一个典型的文件上传处理程序，它将文件直接复制到 S3：

func handleUpload(w http.ResponseWriter, r *http.Request) {
    // 验证请求头
    // ...

    // 将请求体直接复制到 S3
    uploader := s3manager.NewUploader(sess)

    _, err := uploader.Upload(&s3manager.UploadInput{
        Bucket: aws.String("my-bucket"),
        Key:    aws.String("filename.jpg"),
        Body:   r.Body,
    })
    if err != nil {
        w.WriteHeader(500)
    }
}

如果我们手动使用 http.DetectContentType 只允许上传图像，代码如下。记住，我们不想缓冲整个文件到内存：

    // 读取请求体的前一部分
    var first512 [512]byte
    n, err := io.ReadFull(r.Body, first512[:])
    if err != nil && !errors.Is(err, io.ErrUnexpectedEOF) && !errors.Is(err, io.EOF) {
        w.WriteHeader(500)
        return
    }

    // 检测并验证内容类型
    contentType := http.DetectContentType(first512[:n])
    if !strings.HasPrefix(contentType, "image/") {
        w.WriteHeader(400)
        return
    }

    // 重新组合请求体
    reqBody := io.MultiReader(bytes.NewReader(first512[:n]), r.Body)

这种方法有几个缺点：

• 代码冗长，易出错
• 错误处理分散，难以维护
• 需要在每个上传处理程序中重复此模式

让我们将此逻辑封装到一个可复用的组件中，该组件为我们处理复杂性。

我们需要什么？

让我们看看目标。我们想要一个自定义的读取器包装器——NewContentTypeReader，它会在读取正文时自动检测内容类型并调用用户提供的回调函数。回调函数将执行所有必要的验证，并可以选择返回错误。我们的 HTTP 处理程序如下所示：

var errNotImage = errors.New("not an image")

func handleUpload(w http.ResponseWriter, r *http.Request) {
    // 验证请求头
    // ...

    // 自定义读取器，用于检测和验证内容类型
    reqBody := NewContentTypeReader(r.Body, func(contentType string) error {
        if !strings.HasPrefix(contentType, "image/") {
            return errNotImage
        }
        return nil
    })

    // 将请求体直接复制到 S3
    uploader := s3manager.NewUploader(sess)

    _, err := uploader.Upload(&s3manager.UploadInput{
        Bucket: aws.String("my-bucket"),
        Key:    aws.String("filename.jpg"),
        Body:   reqBody,
    })
    if errors.Is(err, errNotImage) {
        // 捕获自定义读取器的错误
        w.WriteHeader(400)
        return
    }
    if err != nil {
        w.WriteHeader(500)
    }
}

如果请求体看起来不像图像，则任何尝试从 reqBody 读取的尝试都将失败。

实现读取器包装器

现在我们已经了解了如何使用包装器，让我们看看如何实现它。我们可以使用 io.MultiReader 使用与上述相同的方法，尽管在无法读取前 512 个字节的情况下，某些非致命错误（例如 I/O 超时）可能会导致并发症。相反，我们的包装器只代理所有读取调用，但也累积内部缓冲区，直到有足够的数据来调用 http.DetectContentType 函数。

type ctReader struct {
    buf     []byte
    reader  io.Reader
    handler func(contentType string) error
}

// NewContentTypeReader 返回一个读取器，它嗅探内容类型并将其传递给处理程序。
func NewContentTypeReader(r io.Reader, handler func(contentType string) error) io.Reader {
    return &ctReader{
        reader:  r,
        handler: handler,
    }
}

func (r *ctReader) Read(p []byte) (n int, err error) {
    n, err = r.reader.Read(p)

    if r.handler != nil {
        // 累积缓冲区
        r.buf = append(r.buf, p[:min(512, n)]...)

        // 缓冲区足够大或达到 EOF
        if len(r.buf) >= 512 || errors.Is(err, io.EOF) {
            contentType := http.DetectContentType(r.buf)
            if err2 := r.handler(contentType); err2 != nil {
                err = err2 // 替换原始错误
            }

            // 确保我们不再调用处理程序
            r.handler = nil
            r.buf = nil
        }
    }
    return
}

func min(a, b int) int {
    if a < b {
        return a
    }
    return b
}

结论

我们已经构建了一个可复用的文件上传内容类型检测解决方案：

• 即时验证文件，无需完全缓冲到内存
• 集成 Go 的 io.Reader 接口和标准库
• 可与 Amazon S3 等云存储服务自然协作

魔术字节检测对于大多数常见的文件类型是可靠的，但记住它只是一层防御。对于生产系统，应将其与其他安全措施结合使用，例如文件大小限制、恶意软件扫描和正确的访问控制。

原文发表于 destel.dev

好了，本文到此结束，带大家了解了《在go中闻和验证的即时内容类型》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多Golang知识！