Bufio 扫描函数正在等待 GO 内最后一块缓冲区的尾部操作

珍惜时间，勤奋学习！今天给大家带来《Bufio 扫描函数正在等待 GO 内最后一块缓冲区的尾部操作》，正文内容主要涉及到等等，如果你正在学习Golang，或者是对Golang有疑问，欢迎大家关注我！后面我会持续更新相关内容的，希望都能帮到正在学习的大家！

我是 golang 新手，因此请查看代码并提出所需的任何更改建议。

所以问题陈述如下， 我们有一个文件，其内容为二进制且已加密。如果使用自定义实用程序（名为decode_it）来读取该内容的唯一方法..该命令只接受如下文件名

decode_it filename.d

现在我要做的是实时监控 go 中的decode_it实用程序的输出。我已经编写了运行良好的代码，但不知何故它无法处理最新的尾部输出（它正在等待一段时间来读取更多数据之前读取最后一个最新块）。 s.scan() 是不返回该实用程序输出的最新更改的函数。我并排有另一个终端，所以我知道是否附加了一行。 go scan() 函数仅在末尾附加另一个块时进行扫描。

请帮忙。建议所需的任何更改，如果可能的话，您可以建议任何其他替代方法。

实用程序的输出是 - 这些是巨大的并且在几秒钟内完成

1589261318 493023 8=decode|9=59|10=053|34=1991|35=0|49=test|52=20200512-05:28:38|56=test|57=admin|
1589261368 538427 8=decode|9=59|10=054|34=1992|35=0|49=test|52=20200512-05:29:28|56=test|57=admin|
1589261418 579765 8=decode|9=59|10=046|34=1993|35=0|49=test|52=20200512-05:30:18|56=test|57=admin|
1589261468 627052 8=decode|9=59|10=047|34=1994|35=0|49=test|52=20200512-05:31:08|56=test|57=admin|
1589261518 680570 8=decode|9=59|10=053|34=1995|35=0|49=test|52=20200512-05:31:58|56=test|57=admin|
1589261568 722516 8=decode|9=59|10=054|34=1996|35=0|49=test|52=20200512-05:32:48|56=test|57=admin|
1589261618 766070 8=decode|9=59|10=055|34=1997|35=0|49=test|52=20200512-05:33:38|56=test|57=admin|
1589261668 807964 8=decode|9=59|10=056|34=1998|35=0|49=test|52=20200512-05:34:28|56=test|57=admin|
1589261718 853464 8=decode|9=59|10=057|34=1999|35=0|49=test|52=20200512-05:35:18|56=test|57=admin|
1589261768 898758 8=decode|9=59|10=031|34=2000|35=0|49=test|52=20200512-05:36:08|56=test|57=admin|
1589261818 948236 8=decode|9=59|10=037|34=2001|35=0|49=test|52=20200512-05:36:58|56=test|57=admin|
1589261868 995181 8=decode|9=59|10=038|34=2002|35=0|49=test|52=20200512-05:37:48|56=test|57=admin|
1589261918 36727 8=decode|9=59|10=039|34=2003|35=0|49=test|52=20200512-05:38:38|56=test|57=admin|
1589261968 91253 8=decode|9=59|10=040|34=2004|35=0|49=test|52=20200512-05:39:28|56=test|57=admin|
1589262018 129336 8=decode|9=59|10=032|34=2005|35=0|49=test|52=20200512-05:40:18|56=test|57=admin|
1589262068 173247 8=decode|9=59|10=033|34=2006|35=0|49=test|52=20200512-05:41:08|56=test|57=admin|
1589262118 214993 8=decode|9=59|10=039|34=2007|35=0|49=test|52=20200512-05:41:58|56=test|57=admin|
1589262168 256754 8=decode|9=59|10=040|34=2008|35=0|49=test|52=20200512-05:42:48|56=test|57=admin|
1589262218 299908 8=decode|9=59|10=041|34=2009|35=0|49=test|52=20200512-05:43:38|56=test|57=admin|
1589262268 345560 8=decode|9=59|10=033|34=2010|35=0|49=test|52=20200512-05:44:28|56=test|57=admin|
1589262318 392894 8=decode|9=59|10=034|34=2011|35=0|49=test|52=20200512-05:45:18|56=test|57=admin|
1589262368 439936 8=decode|9=59|10=035|34=2012|35=0|49=test|52=20200512-05:46:08|56=test|57=admin|
1589262418 484959 8=decode|9=59|10=041|34=2013|35=0|49=test|52=20200512-05:46:58|56=test|57=admin|
1589262468 531136 8=decode|9=59|10=042|34=2014|35=0|49=test|52=20200512-05:47:48|56=test|57=admin|
1589262518 577190 8=decode|9=59|10=043|34=2015|35=0|49=test|52=20200512-05:48:38|56=test|57=admin|
1589262568 621673 8=decode|9=59|10=044|34=2016|35=0|49=test|52=20200512-05:49:28|56=test|57=admin|
1589262618 661569 8=decode|9=59|10=036|34=2017|35=0|49=test|52=20200512-05:50:18|56=test|57=admin|
1589262668 704912 8=decode|9=59|10=037|34=2018|35=0|49=test|52=20200512-05:51:08|56=test|57=admin|
1589262718 751844 8=decode|9=59|10=043|34=2019|35=0|49=test|52=20200512-05:51:58|56=test|57=admin|
1589262768 792980 8=decode|9=59|10=035|34=2020|35=0|49=test|52=20200512-05:52:48|56=test|57=admin|
1589262818 840365 8=decode|9=59|10=036|34=2021|35=0|49=test|52=20200512-05:53:38|56=test|57=admin|
1589262868 879185 8=decode|9=59|10=037|34=2022|35=0|49=test|52=20200512-05:54:28|56=test|57=admin|
1589262918 925163 8=decode|9=59|10=038|34=2023|35=0|49=test|52=20200512-05:55:18|56=test|57=admin|
1589262968 961584 8=decode|9=59|10=039|34=2024|35=0|49=test|52=20200512-05:56:08|56=test|57=admin|
1589263018 10120 8=decode|9=59|10=045|34=2025|35=0|49=test|52=20200512-05:56:58|56=test|57=admin|
1589263068 53127 8=decode|9=59|10=046|34=2026|35=0|49=test|52=20200512-05:57:48|56=test|57=admin|
1589263118 92960 8=decode|9=59|10=047|34=2027|35=0|49=test|52=20200512-05:58:38|56=test|57=admin|
1589263168 134768 8=decode|9=59|10=048|34=2028|35=0|49=test|52=20200512-05:59:28|56=test|57=admin|
1589263218 180362 8=decode|9=59|10=035|34=2029|35=0|49=test|52=20200512-06:00:18|56=test|57=admin|
1589263268 220070 8=decode|9=59|10=027|34=2030|35=0|49=test|52=20200512-06:01:08|56=test|57=admin|
1589263318 269426 8=decode|9=59|10=033|34=2031|35=0|49=test|52=20200512-06:01:58|56=test|57=admin|
1589263368 309432 8=decode|9=59|10=034|34=2032|35=0|49=test|52=20200512-06:02:48|56=test|57=admin|
1589263418 356561 8=decode|9=59|10=035|34=2033|35=0|49=test|52=20200512-06:03:38|56=test|57=admin|

代码-

package main

import (
    "bytes"
    "bufio"
    "io"
    "log"
    "os/exec"
    "fmt"
)

// dropCRLR drops a terminal \r from the data.
func dropCRLR(data []byte) []byte {
    if len(data) > 0 && data[len(data)-1] == '\r' {
        return data[0 : len(data)-1]
    }
    return data
}

func newLineSplitFunc(data []byte, atEOF bool) (advance int, token []byte, err error) {
    if atEOF && len(data) == 0 {
        return 0, nil, nil
    }
    if i := bytes.IndexByte(data, '\n'); i >= 0 {
        // We have a full newline-terminated line.
        return i + 1, dropCRLR(data[0:i]), nil
    }
    // If we're at EOF, we have a final, non-terminated line. Return it.
    if atEOF {
        return len(data), dropCRLR(data), nil
    }
    // Request more data.
    // fmt.Println("Returning 0,nil,nil")
    return 0, nil, nil
}

func main() {

    cmd := exec.Command("decode_it", "filename.d", "4", "1")
    var out io.Reader
    {
        stdout, err := cmd.StdoutPipe()
        if err != nil {
            log.Fatal(err)
        }
        stderr, err := cmd.StderrPipe()
        if err != nil {
            log.Fatal(err)
        }
        out = io.MultiReader(stdout, stderr)
    }
    if err := cmd.Start(); err != nil {
        log.Fatal(err)
    }
    // Make a new channel which will be used to ensure we get all output
    done := make(chan struct{})

    go func() {

        // defer cmd.Process.Kill()
        s := bufio.NewScanner(out)
        s.Split(newLineSplitFunc)

        for s.Scan() {
            fmt.Println("---- " + s.Text())
        }
        if s.Err() != nil {
            fmt.Printf("error: %s\n", s.Err())
        }
    }()

    // Wait for all output to be processed
    <-done

    // Wait for the command to finish
    if err := cmd.Wait(); err != nil{
        fmt.Println("Error: " + string(err.Error()))
    }

    // if out closes, cmd closed.
    log.Println("all done")
}

此外，由于 scan() 花费了大量时间并进入循环，我也无法从中中断。也请帮忙......

解决方案

我尝试使用 stdbuf 解决上述问题 -

cmd := exec.command("stdbuf", "-o0", "-e0", "decode_it", filepath, "4", "1")

参考链接 - STDIO Buffering

当程序写入标准输出时，它们会使用行缓冲进行写入。如果他们正在写入其他内容，那么他​​们会使用完全缓冲模式。 golang exec.command 似乎最终使用完全缓冲模式，因此使用 stdbuf 强制不进行缓冲。

尝试这样的操作，我修复了一些问题并使其更简单：

package main

import (
    "bufio"
    "fmt"
    "io"
    "log"
    "os/exec"
)

func main() {
    var err error

    // change to your command
    cmd := exec.command("sh", "test.sh")

    var out io.reader
    {
        var stdout, stderr io.readcloser

        stdout, err = cmd.stdoutpipe()
        if err != nil {
            log.fatal(err)
        }
        stderr, err = cmd.stderrpipe()
        if err != nil {
            log.fatal(err)
        }
        out = io.multireader(stdout, stderr)
    }

    if err = cmd.start(); err != nil {
        log.fatal(err)
    }

    scanner := bufio.newscanner(out)

    for scanner.scan() {
        fmt.println("---- " + scanner.text())
    }

    if err = scanner.err(); err != nil {
        fmt.printf("error: %v\n", err)
    }

    log.println("all done")
}

我在测试中使用的test.sh：

#!/bin/bash
while [[ 1 = 1 ]]; do
    echo 1
    sleep 1
done

:)

好了，本文到此结束，带大家了解了《Bufio 扫描函数正在等待 GO 内最后一块缓冲区的尾部操作》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多Golang知识！