Golang for-select 造成 CPU 爆炸

Go 语言中使用 for-select 子句合并大量通道会导致 CPU 使用率过高。分析显示，98% 的 CPU 时间消耗在该函数上，主要原因是 runtime.selectgo 和 runtime.procyield 函数。建议关闭传递的通道以避免紧密循环和 CPU 消耗。同时，关闭的通道不会阻塞，可以通过将其设置为 nil 来避免 select 阻塞，从而控制 CPU 使用率。

我有一个 grpc 基准测试代码，它使用一个函数使用 for-select 子句将数百个 goroutine 通道合并到一个通道。代码是这样的

func (b *b) merge(
          ctx context.context,
          nodes ...<-chan *pb.node,
        ) chan *pb.node {
    allnodes := make(chan *pb.node)
    var wg sync.waitgroup
    wg.add(len(nodes))
    for _, n := range nodes {
        go func(n <-chan *pb.node) {
            defer wg.done()
            for {
                select {
                case <-ctx.done():
                    return
                case val, ok := <-n:
                    if ok {
                        allnodes <- val
                    }
                }
            }
        }(n)
    }
    go func() {
        wg.wait()
        close(allnodes)
    }()
    return allnodes
}

当我在ubuntu 16.04中通过top命令监控代码时，我看到2核服务器疯狂旋转，cpu使用率超过196%。

然后我使用 pprof 包分析我的代码，它说我的 98% 的 cpu 都在运行这个函数，top 函数生成这样的结果

flat  flat%   sum%        cum   cum%
   1640ms  5.78%  5.78%    27700ms 97.60%  B (*B).merge.func1
    5560ms 19.59% 25.37%    22130ms 77.98%  runtime.selectgo
     770ms  2.71% 28.08%    11190ms 39.43%  runtime.sellock
    2700ms  9.51% 37.60%    10430ms 36.75%  runtime.lock
    7710ms 27.17% 64.76%     7710ms 27.17%  runtime.procyield
     460ms  1.62% 66.38%     3850ms 13.57%  context.(*cancelCtx).Done
    1210ms  4.26% 70.65%     3350ms 11.80%  runtime.selunlock
    2700ms  9.51% 80.16%     2900ms 10.22%  sync.(*Mutex).Lock
    2110ms  7.43% 87.60%     2140ms  7.54%  runtime.unlock
     360ms  1.27% 88.87%      860ms  3.03%  runtime.typedmemclr

任何人都可以给我一些关于如何编写正确的代码来合并大量通道的建议，似乎这个 for-select 块只会让 cpu 变得疯狂，而在它后面使用 procyield 这不是一个非常有前途的机制？ p>

是否有办法控制进程的cpu使用率？

解决方案

似乎很可能在取消上下文之前关闭 nodes 参数中传递的通道。这会将 for 循环变成紧密循环，从而消耗所有可用的 cpu。由于通道一旦关闭就无法重新打开，因此一旦 ok 为 false，您就可以安全地从 goroutine 返回，这应该可以解决该问题：

go func(n <-chan *pb.node) {
        defer wg.done()
        for {
            select {
            case <-ctx.done():
                return
            case val, ok := <-n:
                if !ok {
                    return
                }
                allnodes <- val
            }
        }
    }(n)

关闭的 chan 不会阻塞 - 请参阅 https://dave.cheney.net/2013/04/30/curious-channels

关闭后将你的chan设置为零。

case val, ok := <-n:
    if ok {
      allNodes <- val
    } else {
      n = nil
    }

然后 select 将阻塞，仅等待完成消息。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Golang for-select 造成 CPU 爆炸》文章吧，也可关注golang学习网公众号了解相关技术文章。