当前位置：首页 > 文章列表 > Golang > Go问答 > 如何区分bufio.Scanner读取的文本是完整行还是截断的字符串？

如何区分bufio.Scanner读取的文本是完整行还是截断的字符串？

来源：stackoverflow 2024-03-20 15:12:32 0浏览收藏

bufio.Scanner 是 Go 语言中一个用于读取文本输入并将其解析为标记的包。它提供了一个方便的接口，可以按行或按分隔符读取数据。然而，它有一个限制：如果令牌（一行文本）大于 bufio.Scanner.maxTokenSize（默认情况下为 64KB），它将失败并返回一个错误。这对于处理大文件或流式传输数据时可能会成为一个问题。为了解决这个问题，可以使用自定义缓冲区来增加令牌大小限制。这可以通过覆盖 bufio.Scanner 的 Buffer 方法来实现。自定义缓冲区可以是任何实现了 io.Reader 接口的类型，例如 bytes.Buffer 或 strings.Reader。通过使用自定义缓冲区，可以处理比默认限制更大的令牌。

问题内容

我基本上需要处理从流读取的有限缓冲区中的每个字符串行。使用 bufio.scanner 我可以使用扫描仪逐行扫描，但必须使用似乎过于复杂的解决方案来检测“截断”。有更好的方法吗？多谢。我对任何库或任何东西都不紧。

func (p *parser) read(data []byte, tmpline *string, n int, bufsize int) {
    var line string
    strdata := string(data)
    scanner := bufio.newscanner(strings.newreader(strdata))
    line = ""
    for scanner.scan() {
        if line != "" {
            if p.lineprocessor != nil {
                p.lineprocessor(line)
            }
        }
        line = scanner.text()
        if *tmpline != "" {
            line = *tmpline + line //prepend line here
            *tmpline = ""
        }
    }
    if n == bufsize && data[bufsize-1] != '\n' { //detecting a fragment here, overcomplicated?
        *tmpline = line
    } else {
            //fmt.println("last line >[" + line + "]")
            if p.lineprocessor != nil {
                p.lineprocessor(line)
            }
    }
}

func (p *parser) handle(r io.reader, bufsize int) ([]byte, error) {
    var out []byte
    buf := make([]byte, bufsize)
    var n int
    var err error
    tmpline := ""
    for {
        n, err = r.read(buf[:])
        if n > 0 {
            data := buf[:n]
            p.read(data, &tmpline, n, bufsize)
        }
        if err != nil {
            if err == io.eof {
                err = nil
            }
            break
        }
    }
    return out, err
}

main
...
cmd := exec.command("ping", "8.8.8.8")

//var stdout, stderr []byte
var errstdout, errstderr error
//this is the type of stream i want to process **stdoutin** and **stderrin**
stdoutin, _ := cmd.stdoutpipe()
stderrin, _ := cmd.stderrpipe()
// 10 is the bufsize
parser.init(stdoutin, stderrin, wg, 10, lineprocessor)
...

编辑：我尝试实施建议的解决方案。现在我已经破坏了正在工作的东西（尽管看起来过于复杂）。输出似乎非常时髦。这是完整的代码和完整的输出：

package main
import (
    "bufio"
    "fmt"
    "io"
    "log"
    "os/exec"
    "sync"
)
type LineProcessor func(string)
type Parser struct {
    r             io.Reader
    lineProcessor LineProcessor
    scanner       bufio.Scanner
}

func (p *Parser) Init(stdoutIn io.Reader, stderrIn io.Reader,
    wg sync.WaitGroup,
    lineProcessor LineProcessor) {
    wg.Add(2)
    p.lineProcessor = lineProcessor
    p.scanner = *bufio.NewScanner(stdoutIn)
    go p.Handler(stdoutIn, wg)
    go p.Handler(stderrIn, wg)
}
func (p *Parser) Handler(r io.Reader, wg sync.WaitGroup) { // ([]byte, error)
    var line string
    for p.scanner.Scan() {
        line = p.scanner.Text()
        if p.lineProcessor != nil {
            p.lineProcessor(line)
        }
    }
    wg.Done()
}
func lineProcessor(line string) {
    fmt.Println(line)
}
func main() {
    var err error
    cmd := exec.Command("ping", "8.8.8.8") 

    var errStdout, errStderr error
    stdoutIn, _ := cmd.StdoutPipe()
    stderrIn, _ := cmd.StderrPipe()

    var parser Parser

    var wg sync.WaitGroup
    parser.Init(stdoutIn, stderrIn, wg, lineProcessor)

    err = cmd.Start()
    if err != nil {
        log.Fatalf("cmd.Start() failed with '%s'\n", err)
    }

    fmt.Printf("Waiting\n")
    wg.Wait()

    err = cmd.Wait()
    if err != nil {
        log.Fatalf("cmd.Run() failed with %s\n", err)
    }
    if errStdout != nil || errStderr != nil {
        log.Fatal("failed to capture stdout or stderr\n")
    }
}

$./buggysolution
Waiting
PING 8.8.8.8 (8.8.8.8): 56 data bytes
64 bytes from 8.8.8.8: icmp_seq=0 ttl=52 time=4.786 ms
64 bytes from 8.8.8.8: icmp_seq=2 ttl=52 time=3.661 ms
64 bytes from 8.8.8.8: icmp_seq=4 ttl=52 time=4.117 ms
64 bytes from 8.8.8.8: icmp_seq=6 ttl=52 time=4.172 ms
64 bytes from 8.8.8.8: icmp_seq=8 ttl=52 time=3.584 ms
64 bytes from 8.8.8.8: icmp_seq=10 ttl=52 time=4.301 ms
mp_seq=11 ttl=52 time=4.534 ms
64 bytes from 8.8.8.8: icmp_seq=12 ttl=52 time=4.349 ms
64 bytes from 8.8.8.8: icmp_seq=13 ttl=52 time=4.923 ms
64 bytes from 8.8.8.8: icmp_seq=14 ttl=52 time=4.349 ms
64 bytes from 8.8.8.8: icmp_seq=15 ttl=52 time=4.106 ms
64 bytes from 8.8.8.8: icmp_seq=16 ttl=52 time=4.270 ms
64 bytes from 8.8.8.8: icmp_seq=17 ttl=52 time=4.231 ms
64 bytes from 8.8.8.8: icmp_seq=18 ttl=52 time=4.915 ms
64 bytes from 8.8.8.8: icmp_seq=19 ttl=52 time=4.487 ms
64 bytes from 8.8.8.8: icmp_seq=20 ttl=52 time=4.182 ms
64 bytes from 8.8.8.8: icmp_seq=21 ttl=52 time=4.369 ms
64 bytes from 8.8.8.8: icmp_seq=22 ttl=52 time=4.287 ms
64 bytes from 8.8.8.8: icmp_seq=23 ttl=52 time=3.922 ms
64 bytes from 8.8.8.8: icmp_seq=24 ttl=52 time=4.905 ms
64 bytes from 8.8.8.8: icmp_seq=25 ttl=52 time=4.226 ms
64 bytes from 8.8.8.8: icmp_seq=27 ttl=52 time=4.052 ms
64 bytes from 8.8.8.8: icmp_seq=29 ttl=52 time=3.453 ms
64 bytes from 8.8.8.8: icmp_seq=31 ttl=52 time=5.103 ms
64 bytes from 8.8.8.8: icmp_seq=33 ttl=52 time=4.066 ms
64 bytes from 8.8.8.8: icmp_seq=35 ttl=52 time=4.128 ms
64 bytes from 8.8.8.8: icmp_seq=37 ttl=52 time=4.982 ms
64 bytes from 8.8.8.8: icmp_seq=1 ttl=52 time=4.206 ms
.64 bytes from 8.8.8.8: icmp_seq=39 ttl=52 time=4.215 ms
.8: icmp_seq=3 ttl=52 time=4.218 ms
tl=52 time=3.650 ms
8: icmp_seq=2 ttl=52 time=3.661 ms
ttl=52 time=4.791 ms
: icmp_seq=5 ttl=52 time=3.581 ms
 ttl=52 time=4.211 ms
 icmp_seq=4 ttl=52 time=4.117 ms
4 ttl=52 time=4.245 ms
icmp_seq=7 ttl=52 time=4.955 ms
45 ttl=52 time=4.518 ms
cmp_seq=6 ttl=52 time=4.172 ms
=46 ttl=52 time=4.764 ms
seq 9
^C

感谢您的修复。

解决方案

这不是 bufio.scanner 的使用方式。

bufio.scanner 带有一个读取器，可以直接从中返回行。

如果令牌大于 bufio.scanner.maxtokensize （默认情况下为 maxscantokensize），bufio.scanner 将失败，但不会返回截断的结果。

您还可以在 https://golang.org/src/bufio/scan_test.go#L214 检查测试套件（并不是说正在使用的 maxtokensize 方法是使用特殊方案定义的，仅在测试期间存在，请参阅 https://golang.org/src/bufio/export_test.go#L16）

您还可以在扫描之前定义自己的底层缓冲区以更改该值 https://golang.org/pkg/bufio/#Scanner.Buffer

要推出您自己的版本，它可能看起来像这样 https://play.golang.org/p/kDcO6eZPVhY，但是沿着这条路走下去需要您编写额外的测试和基准测试。

经过多条评论后，op 正在寻找以下内容：

package main

import (
    "bufio"
    "io"
    "log"
    "os/exec"
)

func main() {

    cmd := exec.Command("ping", "8.8.8.8")
    var out io.Reader
    {
        stdout, err := cmd.StdoutPipe()
        if err != nil {
            log.Fatal(err)
        }
        stderr, err := cmd.StderrPipe()
        if err != nil {
            log.Fatal(err)
        }
        out = io.MultiReader(stdout, stderr)
    }
    if err := cmd.Start(); err != nil {
        log.Fatal(err)
    }
    // defer cmd.Process.Kill()
    s := bufio.NewScanner(out)
    for s.Scan() {
        log.Println(s.Text())
    }
    // if out closes, cmd closed.
    log.Println("all done")
}

理论要掌握，实操不能落！以上关于《如何区分bufio.Scanner读取的文本是完整行还是截断的字符串？》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！

版本声明

本文转载于：stackoverflow 如有侵犯，请联系study_golang@163.com删除