使用 bufio.NewScanner 逐行读取文件时出现性能问题

本篇文章向大家介绍《使用 bufio.NewScanner 逐行读取文件时出现性能问题》，主要包括，具有一定的参考价值，需要的朋友可以参考一下。

我正在学习如何在 go 中有效地读取非常大的文件。我尝试过 bufio.newscanner 和 bufio.newreader 与 readstring('\n') 。在这两个选项中，newscanner 似乎始终更快 (2:1)。

对于 newscanner，我发现逐行读取文件比运行 unix cat 命令读取文件花费更多时间。

我测量了运行此代码需要多长时间：

package main

import (
    "bufio"
    "fmt"
    "os"
)

func main() {

     file, _ := os.open("test")
     scanner := bufio.newscanner(file)
     for scanner.scan() {
        fmt.println(scanner.text())
     }

}

当您与常规 unix cat 输出进行比较时，我得到以下结果：

$ time ./parser3 > /dev/null
       19.13 real        13.81 user         5.94 sys
$ time cat test > /dev/null
        0.83 real         0.08 user         0.74 sys

多次执行的时间差是一致的。

我知道扫描 '\n' 会增加开销，而不是像 cat 那样只是将数据从输入复制到输出。

但是看到 cat 和此代码片段之间的区别，我问自己这是否是在 go 中逐行读取文件的最有效方法。

解决方案

根据 muffintop 的评论，这是提高速度的代码片段。性能损失与 scanner 的使用无关，而是与以下事实有关：

1. 在输出中不使用缓冲
2. 使用 scanner.text()（分配字符串）而不是 scanner.bytes()

添加输出缓冲的性能：

package main

import (
    "bufio"
    "fmt"
    "os"
)

func main() {

     file, _ := os.open("test")
     w := bufio.newwriter(os.stdout) 
     scanner := bufio.newscanner(file)
     for scanner.scan() {
        fmt.fprintln(w, scanner.text())
     }

}

上述解决方案使用输出缓冲，需要 6.6 秒，而原来需要 19.1 秒

添加输出缓冲并使用 .bytes() 而不是 .text() 输出的性能：

package main

import (
    "bufio"
    "fmt"
    "os"
)

func main() {

     file, _ := os.open("test")
     w := bufio.newwriter(os.stdout) 
     scanner := bufio.newscanner(file)
     for scanner.scan() {
        w.write(scanner.bytes()); w.writebyte('\n')
     }

}

上述解决方案使用输出缓冲并从扫描仪输出字节，需要 2.2 秒，而原来需要 19.1 秒。

首先考虑您将读取 csv、json 的数据类型，以及读取的系统将会阅读它，为什么？必须考虑所有这些细节。没有一种方法适合所有情况，最好的开发人员知道如何使用 right 工具 来完成 job。如果不知道内存限制、数据等，就不清楚。我们会从服务器读取大量 json 吗？或者我们会解析一个小文本文件，通常每个函数都有一个目的。不要养成认为一种方法比另一种方法更好或更差的习惯，从而限制你的学习和技能。

读取文件的方法。

• 文档解析
• 从文件中读取所有数据并将其转换为对象。

• 流解析
• 一次读取一个元素，然后转到下一个元素。

某些方法可能会更快，但它将整个文件读取到内存中，如果您的文件太大怎么办？

或者如果您的文件不是那么大，要查找重复的名称怎么办？如果您逐行扫描文件， 也许如果您正在搜索多个项目，逐行阅读是最好的方法吗？

你应该看看这篇文章。特别感谢@schwern，他已经在这里回答了您的问题。使用字节和扫描仪稍微快一些。请参阅：Link

I found that using scanner.Bytes() instead of scanner.Text() improves speed
 slightly on my machine.  bufio's scanner.Bytes() method 
doesn't allocate any additional memory, whereas Text() creates a string from its buffer.

到这里，我们也就讲完了《使用 bufio.NewScanner 逐行读取文件时出现性能问题》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！