waitgroup 有并发限制但测试失败

在Golang实战开发的过程中，我们经常会遇到一些这样那样的问题，然后要卡好半天，等问题解决了才发现原来一些细节知识点还是没有掌握好。今天golang学习网就整理分享《waitgroup 有并发限制但测试失败》，聊聊，希望可以帮助到正在努力赚钱的你。

我之前用sync.waitgroup配合goroutine，但是我想控制goroutine的并发度，

所以我编写了具有并发限制的等待组，例如：

package wglimit

import (
    "sync"
)

// waitgrouplimit ...
type waitgrouplimit struct {
    ch chan int
    wg *sync.waitgroup
}

// new ...
func new(size int) *waitgrouplimit {
    if size <= 0 {
        size = 1 
    }
    return &waitgrouplimit{
        ch: make(chan int, size),  // buffer chan to limit concurrency
        wg: &sync.waitgroup{},
    }
}

// add ...
func (wgl *waitgrouplimit) add(delta int) {
    for i := 0; i < delta; i++ {
        wgl.ch <- 1
        wgl.wg.add(1)
    }
}

// done ...
func (wgl *waitgrouplimit) done() {
    wgl.wg.done()
    <-wgl.ch
}

// wait ...
func (wgl *waitgrouplimit) wait() {
    close(wgl.ch)
    wgl.wg.wait()
}

然后我用它来控制goroutine并发，例如：

jobs := ["1", "2", "3", "4"] // some jobs

// wg := sync.waitgroup{} // have no concurrency limit
wg := wglimit.new(2) // limit 2 goroutine
for _, job := range jobs {
    wg.add(1)
    go func(job string) {
        // job worker
        defer wg.done()
    }(job)
}
wg.wait()

并且看起来在运行时有效。

但是测试失败：

package wglimit

import (
    "runtime"
    "testing"
    "time"
)

func TestGoLimit(t *testing.T) {
    var limit int = 5
    wglimit := New(limit)
    for i := 0; i < 10000; i++ {
        wglimit.Add(1)
        go func() {
            defer wglimit.Done()
            time.Sleep(time.Millisecond)
            if runtime.NumGoroutine() > limit+2 {
                println(runtime.NumGoroutine())  // will print 9 , cocurrent limit fail ?
                t.Errorf("FAIL")
            }
        }()
    }
    wglimit.Wait()
}

测试时，goroutine数量大于我的限制，看来并发限制失败了。

我的 waitgrouplimit 代码有什么问题吗？为什么？

解决方案

我的 WaitGroupLimit 代码有什么问题吗 [...]？

没有。

问题是 runtime.NumGoroutine() 没有做你想象的那样。它计算所有 goroutine，即不仅是您启动的goroutine，还包括运行时使用自身的goroutine，例如用于并发垃圾收集。因此 NumGoroutine 高于您的限制。

你的代码没问题，但你的测试不行。不要试图在测试中变得聪明，并测试您的代码真正做了什么：它会阻塞在 Add 上，直到有限的资源可用。测试它而不是 goroutine 计数，它只是测试中所需行为的（坏）代理。

到这里，我们也就讲完了《waitgroup 有并发限制但测试失败》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！