锁定 golang 的系统调用到特定线程

哈喽！今天心血来潮给大家带来了《锁定 golang 的系统调用到特定线程》，想必大家应该对Golang都不陌生吧，那么阅读本文就都不会很困难，以下内容主要涉及到，若是你正在学习Golang，千万别错过这篇文章~希望能帮助到你！

我正在尝试创建一个程序来抓取 xml 文件。我正在尝试 go，因为它有 goroutine。我有几千个文件，所以某种类型的多重处理几乎是必要的......

我有一个程序可以在一组测试文件上成功运行，并将 xml 转换为 csv（作为测试，不完全是最终结果），但是当使用完整的文件集运行时，它会给出以下结果：

runtime: program exceeds 10000-thread limit

我一直在寻找类似的问题，有几个，但我还没有找到足够相似的问题来解决这个问题。

最后这是我正在运行的一些代码：

// main func (start threads)

for i := range filelist {
  channels = append(channels, make(chan Test))
  go Parse(files[i], channels[len(channels)-1])
}

// Parse func (individual threads)

func Parse(fileName string, c chan Test) {
defer close(c)

doc := etree.NewDocument()
if err := doc.ReadFromFile(fileName); err != nil {
    return
}

root := doc.SelectElement("trc:TestResultsCollection")

for _, test := range root.FindElements("//trc:TestResults/tr:ResultSet/tr:TestGroup/tr:Test") {
    var outcome Test
    outcome.StepType = test.FindElement("./tr:Extension/ts:TSStepProperties/ts:StepType").Text()
    outcome.Result = test.FindElement("./tr:Outcome").Attr[0].Value
    for _, attr := range test.Attr {
        if attr.Key == "name" {
            outcome.Name = attr.Value
        }
    }

    for _, attr := range test.FindElement("./tr:TestResult/tr:TestData/c:Datum").Attr {
        if attr.Key == "value" {
            outcome.Value = attr.Value
        }
    }

    c <- outcome
}

}

// main (process results when threads return)

for c := 0; c < len(channels); c++ {
    for i := range channels[c] {
        // csv processing with i
    }
}

我确信里面有一些丑陋的代码。我最近刚刚从其他语言学习了 go...所以我提前道歉。无论如何

有什么想法吗？

正确答案

对于没有包含正确的错误，我深表歉意。 正如评论指出的那样，我正在做一些愚蠢的事情并为每个文件创建一个例程。感谢 jimb 纠正我，感谢 torek 提供解决方案和此链接。 https://gobyexample.com/worker-pools

jobs := make(chan string, numJobs)
results := make(chan []Test, numJobs)

for w := 0; w < numWorkers; w++ {
    go Worker(w, jobs, results)
    wg.Add(1)
}

// give workers jobs

for _, i := range files {
    if filepath.Ext(i) == ".xml" {
        jobs <- ("Path to files" + i)
    }
}

close(jobs)
wg.Wait()

//result processing <- results

今天带大家了解了的相关知识，希望对你有所帮助；关于Golang的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~