Golang WorkerPool线程池并发模式示例详解

怎么入门Golang编程？需要学习哪些知识点？这是新手们刚接触编程时常见的问题；下面golang学习网就来给大家整理分享一些知识点，希望能够给初学者一些帮助。本篇文章就来介绍《Golang WorkerPool线程池并发模式示例详解》，涉及到WorkerPool、线程池、并发模式，有需要的可以收藏一下

 正文

Worker Pools 线程池是一种并发模式。该模式中维护了固定数量的多个工作器，这些工作器等待着管理者分配可并发执行的任务。该模式避免了短时间任务创建和销毁线程的代价。

在 golang 中，我们使用 goroutine 和 channel 来构建这种模式。工作器 worker 由一个 goroutine 定义，该 goroutine 通过 channel 获取数据。

处理CVS文件记录

接下来让我们通过一个例子，来进一步理解该模式。假设您需要处理来自 CVS 文件的记录数据，我们需要将该文件中的经纬度保存到数据库中。代码如下。

package main
import (
	"encoding/csv"
	"fmt"
	"os"
	"time"
)
type city struct {
	name     string
	location string
}
func createCity(record city) {
	time.Sleep(10 * time.Millisecond)
}
func main() {
	startTime := time.Now()
	csvFile, err := os.Open("cities.csv")
	if err != nil {
		fmt.Println(err)
	}
	fmt.Println("Successfully Opened CSV file")
	defer csvFile.Close()
	csvLines, err := csv.NewReader(csvFile).ReadAll()
	if err != nil {
		fmt.Println(err)
	}
	counter := 0
	for _, line := range csvLines {
		counter++
		createCity(city{
			name:     line[0],
			location: line[1],
		})
	}
	fmt.Println("records saved:", counter)
	fmt.Println("total time:", time.Since(startTime))
}

🚚 获取测试数据

cities.csv

输出：

正如我们所看到的，保存 CSV 中所有记录需要 55 秒，这是很长的时间，可能会导致很多性能问题。用户如果想要上传 CSV 文件，那体验感一定很差。

如何解决这个问题？那我们就使用线程池的方法试试看。

线程池耗时差异

在如下示例中，我们将解决相同的需求，但通过线程池，耗时方面，我们能够看到巨大的差异。来吧！

代码如下

package main
import (
	"encoding/csv"
	"fmt"
	"os"
	"time"
)
type city struct {
	name     string
	location string
}
func createCity(record city) {
	time.Sleep(10 * time.Millisecond)
}
func readData(cityChn chan []city) {
	var cities []city
	csvFile, err := os.Open("cities.csv")
	if err != nil {
		fmt.Println(err)
	}
	fmt.Println("Successfully Opened CSV file")
	defer csvFile.Close()
	csvLines, err := csv.NewReader(csvFile).ReadAll()
	if err != nil {
		fmt.Println(err)
	}
	for _, line := range csvLines {
		cities = append(cities, city{
			name:     line[0],
			location: line[1],
		})
	}
	cityChn 
<p style="text-align:center"><img alt="" src="/uploads/20221228/167222252963ac1741c46af.jpg"></p>
<p style="text-align:center"><img alt="" src="/uploads/20221228/167222253063ac17423c662.jpg"></p>
<p>输出：</p>
<p style="text-align:center"><img alt="" src="/uploads/20221228/167222253063ac1742a4fd4.jpg"></p>
<p>你看到很大的不同了吗？现在同样的过程只需要 8 秒。正如您所见，当我们需要处理大量数据时，线程池非常有用。</p>
<p>使用线程池，我们必须定义一个函数，在示例中该函数为 <code>worker</code>，该函数用于定义工作进程，您可以看到它接收一个 <code>Channel</code> 通道来处理数据。 另外，我们必须在数据传递到通道之前启动 <code>goroutines</code> 协程，当 <code>Channel</code> 通道获取到值时，<code>goroutines</code> 工作者开始处理它们。</p>
<p>🎉 现在您知道如何实现线程池了！</p>
<p>以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于Golang的相关知识，也可关注golang学习网公众号。</p>