如何将二进制文件的输出直接保存在内存中而非存储设备

小伙伴们有没有觉得学习Golang很有意思？有意思就对了！今天就给大家带来《 如何将二进制文件的输出直接保存在内存中而非存储设备》，以下内容将会涉及到，若是在学习中对其中部分知识点有疑问，或许看了本文就能帮到你！

我得到了一个二进制文件，其工作原理如下：

> ./my_bin raw.avi output_file.avi

output_file.avi 是我想要的，当作业成功时，一些详细信息将打印在终端中，例如：

版权所有 2022 company inc...成功。

我想在我的代码中运行此命令并将 output_file.avi 重定向到某个字节数组，这样我就不必从磁盘读取它并删除它。我的方法类似于下面的 golang 代码片段：

func wrongone(stdin []byte) ([]byte, error) {
    inbuf := bytes.newbuffer(stdin)
    outbuf := bytes.newbuffer(nil)
    cmd := exec.command("./my_bin", "/dev/stdin", "/dev/stdout")
    cmd.stdin = inbuf
    cmd.stdout = outbuf
    err := cmd.run()
    if err != nil {
        return nil, err
    }
    return outbuf.bytes(), nil // wrong
}

但是，返回的字节数组比下面的方法长，导致md5检查失败。

func correctone(stdin []byte) ([]byte, error) {
    inbuf := bytes.newbuffer(stdin)
    cmd := exec.command("./my_bin", "/dev/stdin", "output_file")
    cmd.stdin = inbuf
    err := cmd.run()
    if err != nil {
        return nil, err
    }
    return os.readfile("output_file")
}

wrongone函数可以修改为以下代码才正确：

func modifiedWrongOne(stdin []byte) ([]byte, error) {
    inBuf := bytes.NewBuffer(stdin)
    outBuf := bytes.NewBuffer(nil)
    cmd := exec.Command("./my_bin", "/dev/stdin", "/dev/stdout")
    cmd.Stdin = inBuf
    cmd.Stdout = outBuf
    err := cmd.Run()
    if err != nil {
        return nil, err
    }
    correct, _ := correctOne(stdin)
    return outBuf.Bytes()[:len(correct)], nil // diff
}

我认为输出详细信息包含在 /dev/stdout 中，因此 wrongone 函数不起作用。即，

errorone 的输出 = correctone 的输出 + []byte{"copyright 2022 company inc... 成功。"}

是否有任何解决方案可以让我在管道中获取 output_file.avi 而不将其保存为文件并从磁盘读取？谢谢！

正确答案

该命令将版权声明写入标准输出。为了避免将版权声明与输出文件混合在一起，请使用 /dev/stdout 以外的文件作为输出文件。

下面的函数使用 Cmd.ExtraFiles 将 pipe 连接到子进程中的 fd 3。该函数将数据从管道复制到字节缓冲区并将这些字节返回给调用者。

func otherone(stdin []byte) ([]byte, error) {
    r, w, err := os.pipe()
    if err != nil {
        return nil, err
    }
    defer r.close()
    defer w.close()

    cmd := exec.command("./my_bin", "/dev/stdin", "/dev/fd/3")
    cmd.stdin = bytes.newreader(stdin)
    cmd.extrafiles = []*os.file{w} // the first file is fd 3.
    if err := cmd.start(); err != nil {
        return nil, err
    }
    w.close()
    var outbuf bytes.buffer
    if _, err := io.copy(&outbuf, r); err != nil {
        return nil, err
    }
    if err := cmd.wait(); err != nil {
        return nil, err
    }
    return outbuf.bytes(), nil
}

几个月后，我找到了另一种方法来解决这个问题。基本思路与Cerise类似，即使用 /dev/fd/3重定向输出文件。之后，我们将 /dev/fd/3 重定向到 /dev/stdout，详细日志重定向到 /dev/stderr 分别为 3>&1、1>&2。添加了额外的 gen.sh。解决办法如下：

#gen.sh
./mybin /dev/stdin /dev/fd/3 3>&1 1>&2

// gen.go
func gen(stdin []byte) ([]byte, error) {
    inBuf := bytes.NewBuffer(stdin)
    outBuf := bytes.NewBuffer(nil)
    cmd := exec.Command("./gen.sh")
    cmd.Stdin = inBuf
    cmd.Stdout = outBuf
    cmd.Stderr = os.Stderr
    err := cmd.Run()
    if err != nil {
        return nil, err
    }
    return outBuf.Bytes(), nil
}

今天关于《 如何将二进制文件的输出直接保存在内存中而非存储设备》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！