如何在 Golang 中组合多个 SHA1 状态来生成最终状态？

在 Go 语言中，当使用 SHA-1 来计算分块文件的哈希值时，如果采用按序分块上传的方式，可以将每个块的 SHA-1 状态保存到磁盘，然后读取先前的状态并继续计算下一个块，直到找到最终的哈希值。但是，当采用分块加多线程上传的方式时，则无法直接组合各个块的 SHA-1 状态来生成最终状态。

在go1.13中，我有一个上传服务器。该服务器接受 2 种上传类型。

分块和分块+线程。在分块上传上，一切都按预期进行。当它们写入磁盘时，我计算每个块。用户可以按照良好的顺序一一上传多个块。

这意味着，我可以使用 binarymarshaler 将每个块的 sha1 状态保存到磁盘，然后读取先前的状态并继续计算下一个块，直到找到最终的哈希值。最终哈希完美地给出了整个文件的 sha1。

订购后，我可以附加到现有状态。但是问题开始于线程......（同时）

    hashComplete := sha256.New()
    // read previous sttate from disk
    state, err := ioutil.ReadFile(ctxPath)
    if err != nil {
        return err
    }

    if len(state) > 0 {
        unmarshaler, _ := hashComplete.(encoding.BinaryUnmarshaler)
        if err := unmarshaler.UnmarshalBinary(state); err != nil {
            return err
        }
    }

    // In here im writing file to disk and hash. file object is simple File.
    writer := io.MultiWriter(file, hashComplete)
    n, err := io.Copy(writer, src) // src is source (io.Reader)

    marshaler, _ := hashComplete.(encoding.BinaryMarshaler)
    newState, err := marshaler.MarshalBinary()
    if err != nil {
        return err
    }

    shaCtxFile.Write(newState) // Here im saving last state to disk.

    // Then later, after upload finishes, I read this file and get the SHA1 hex from it. It is correct.

现在这是按特定/良好顺序分块上传。另一种上传方式是chunked+threaded。这意味着，用户可以同时上传块，然后发送请求以给定顺序将它们连接在一起（在最后一个请求）。

我已经计算了每个块的 sha1 并将其保存到磁盘。

我的问题是可以组合这些状态并获得最终的哈希值，还是需要在连接后重新哈希。有没有办法结合这些状态？

解决方案

假设您指的是整个文件的最终哈希值，那么不行，您不能组合部分数据的多个 SHA-1 哈希值来创建整个文件的哈希值，就好像它是一次性计算出来的一样。原因是初始 SHA-1 状态始终相同，并且重新哈希将在该特定状态下重新启动。此外，在计算最终哈希值之前，会填充最终块并添加长度（哈希函数内部）。

但是，您当然可以创建一个哈希列表或哈希树，您可以在其中定义块的大小。然后，您可以对块上的所有散列进行散列以创建最顶层的散列值。现在，您的哈希值与文件上的 SHA-1 不同，但哈希值与您的定义一致，并且可以重新计算，即使是以多线程方式也是如此。对于文件中的数据来说，它仍然是唯一的（当然假设按顺序放入哈希值），因此它可以用于验证文件的完整性。而且，据我所知，这是普通安全哈希函数使用多线程哈希计算的唯一方式。

如需了解更多信息，请访问 Google Merkle-trees。

当然，SHA-1 已被破坏以防止碰撞。不幸的是，这正是您使用它的目的。所以请使用 SHA-256。如果 256 位太多，那么使用 SHA-256 并采用最左边的 160 位是更安全的替代方案。

今天关于《如何在 Golang 中组合多个 SHA1 状态来生成最终状态？》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！