从多个点扫描文件

Golang不知道大家是否熟悉？今天我将给大家介绍《从多个点扫描文件》，这篇文章主要会讲到等等知识点，如果你在看完本篇文章后，有更好的建议或者发现哪里有问题，希望大家都能积极评论指出，谢谢！希望我们能一起加油进步！

我有一个文件 abc.txt，其中包含打印两次的字母表，并用换行符分隔

abcdefghijklmopqrstuvwxyz
abcdefghijklmopqrstuvwxyz

我想创建一个可以同时解析行的解析器。例如，每行一个 goroutine。我当前尝试执行此操作的过程是：

• 创建一个通道来接收文本行
• 为每行创建一个新的扫描仪
• 将该扫描仪和通道传递给 goroutine
• 在主进程中处理结果

但是，只有一台扫描仪返回有用的输出。我想要做的代码是这样的：

func main() {
    file, err := os.Open("./strangeness/abc.txt")
    if err != nil {
        log.Panic(err)
    }
    defer file.Close()

    inChan := make(chan string)

    for i := 0; i < 2; i++ {
        var scanner scanner.Scanner
        file.Seek(27, 0)

        scanner.Init(file)

        go parseLine(fmt.Sprintf("Scanner %v:", i), &scanner, inChan)
    }

    for msg := range inChan {
        fmt.Println(msg)
    }
}

func parseLine(name string, scanner *scanner.Scanner, out chan string) {
    for i := 0; i < 26; i++ {
        out <- fmt.Sprintf("%s %c", name, scanner.Next())
    }
}

我想我可能对 go text/scanner 如何工作或文件的一般工作方式有一些误解，但我无法追踪错误的实际来源。

解决方案

问题似乎是由于 2 个文件扫描仪同时移动头部所致。

可以通过创建 2 个文件句柄（每个句柄都有自己的扫描器）来实现所需的结果。以下对我有用

package main

import (
    "fmt"
    "log"
    "os"
    "text/scanner"
    "time"
)

func main(){
    var file [2]*os.file
    var err error
    file[0], err = os.open("./abc.txt")
    file[1], err = os.open("./abc.txt")
    if err != nil {
        log.panic(err)
    }
    defer file[0].close()
    defer file[1].close()
    var scanner [2]scanner.scanner
    inchan := make(chan string)


    for i := 0; i < 2; i++ {
        var n int64 = (int64)(i) * 26
        file[i].seek(n, 0)

        scanner[i].init(file[i])
        fmt.println(scanner[0].pos)
        go parseline(fmt.sprintf("scanner %v:", i), &scanner[i], inchan)
    }

    for msg := range inchan {
        fmt.println(msg)
    }
}

func parseline(name string, scanner *scanner.scanner, out chan string) {
    for i := 0; i < 26; i++ {
        out <- fmt.sprintf("%s %c", name, scanner.next())
    }
    time.sleep(time.second * 10)
    close(out)
}

文件具有的属性之一是单个读取位置，而不是每个扫描仪、每个线程或每个 goroutine 一个。当您在多个扫描仪对象（或其他任何对象）之间共享单个 os.file 时，从文件中读取的第一个对象将提前每个其他扫描仪的读取指针。在您的示例中，运行的第一个 goroutine 将从文件中读取该行，第二个 goroutine 尝试读取但已位于文件末尾。

要完成这项工作，您只需要读取文件一件事，并且需要确保发送到 goroutines 的数据不被共享（您不会重复读入单个缓冲区并发送相同的数据）到处缓冲，下一次读取将覆盖它）。

现在是考虑并发性的好时机，以及这是否真的值得付出努力。到目前为止，该程序最慢的部分实际上是从磁盘读取文件，而且没有数量goroutine 会使速度更快。在最佳的单线程程序中，额外的缓冲区复制是不必要的，而且 goroutine 同步也会带来成本。我的直觉是，在这里使用 goroutine 会使程序变得更加复杂并且可能会更慢。

我对你的程序所做的核心更改是只有一件事可以读取文件；例如，程序中的主循环。 bufio 包包含一个 Scanner 对象，该对象可以一次读取文件一行，并生成复制的字符串。我将启动一个工作协程池一次，然后向它们提供行：

lines := make(chan string)
file, err := os.Open("./strangeness/abc.txt")
if err != nil { ... }

scan := bufio.NewScanner(file)
for scan.Scan() {
    lines <- scan.Text()
}
close(lines)

https://play.golang.org/p/o7UwZrgfVy7 有一个更完整的编译示例。请注意，goroutine 结构需要进行一些推理：我启动了一个单独的 goroutine 来处理结果，并有一个单独的通道来指示其完成。

理论要掌握，实操不能落！以上关于《从多个点扫描文件》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！