Go 中的多行缓冲读取

你在学习Golang相关的知识吗？本文《Go 中的多行缓冲读取》，主要介绍的内容就涉及到，如果你想提升自己的开发能力，就不要错过这篇文章，大家要知道编程理论基础和实战操作都是不可或缺的哦！

我正在尝试以缓冲方式读取文件，因为我有非常大的文件。我想对文件应用一些文本替换。假设每次读取时我都会搜索单词“foo”并将其替换为其他单词“bar”。如果我使用大小为 5mb 的缓冲区进行读取，那么 foo 可能会分成两次读取，一次读取“fo”，另一个读取“o”，然后我将无法找到该单词。有没有办法让我可以使用缓冲读取直到最后一个换行符或者可以在缓冲区中读取多行 我在下面做了。但它不会读到下一行或上一行

file, err := os.Open(filename)
if err != nil {
    panic(err)
}
defer file.Close()

byteSlice := make([]byte, 5*1024*1024) // read 5 MB
bufioreader := bufio.NewReaderSize(file, bufferSize)

for {
    n, err := bufioreader.Read(byteSlice)
    if n > 0 {
        fmt.Println(byteSlice[:n])
    } else if err == io.EOF {
        break
    } else {
        panic(err)
    }
}

解决方案

由于您使用的是 bufio 读取器，因此您实际上不应该自己将输入与缓冲区边界对齐。使用高级读取函数之一，例如“bufioreader.readstring('\n')”，它将使用底层缓冲区读取一行，并且您不必自己处理行分隔符。

关于分割“foo”问题，解决方案是在下次读取之前将缓冲区的最后2个字符移到前面。

更准确地说，如果要替换的单词长度为m，则将缓冲区的m-1个最后字母复制到缓冲区的前面，填充剩余部分的缓冲区并在缓冲区中搜索要替换的单词。

// assume we want to find word

file, err := os.Open(filename)
if err != nil {
    panic(err)
}
defer file.Close()

trailingLen := len(word)-1
dataLen := 5*1024*1024 + trailingLen
data := make([]byte, dataLen) // read 5 MB

for {
    n, err := file.Read(data[trailingLen:])
    if err != nil {
        if err == io.EOF {
            break
        }
        panic(err)
    }
    // search and replace word in data[:n]

    if n == dataLen {
        copy(data, data[dataLen-trailingLen:])
    }
}

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Go 中的多行缓冲读取》文章吧，也可关注golang学习网公众号了解相关技术文章。