大数据处理的优化方法

Golang小白一枚，正在不断学习积累知识，现将学习到的知识记录一下，也是将我的所得分享给大家！而今天这篇文章《大数据处理的优化方法》带大家来了解一下##content_title##，希望对大家的知识积累有所帮助，从而弥补自己的不足，助力实战开发！

我的后端服务的目标是处理9000万条数据，1天至少处理1000万条数据。

我的系统配置：

• 内存 2000 mb
• cpu 2 核

我现在正在做的是这样的：

var wg sync.WaitGroup
//length of evs is 4455
for i, ev := range evs {
                wg.Add(1)
                go migrate(&wg)
            }
wg.Wait()

func migrate(wg *sync.WaitGroup) {
defer wg.Done()
//processing 
time.Sleep(time.Second)
}

解决方案

在不了解有关您需要完成的工作类型的更多详细信息的情况下，您的方法似乎不错。需要考虑的一些事情：

• 在处理循环中重新使用变量和/或客户端。例如，重用 http 客户端而不是重新创建客户端。

• 取决于您的用例如何调用来处理故障。使用 errogroup 可能会更有效。它是一个方便的包装器，可以在出错时停止所有线程，可能会节省您大量时间。

• 在迁移功能中，请务必了解有关 closure and goroutines 的注意事项。

func main() {
    g := new(errgroup.Group)
    var urls = []string{
        "http://www.someasdfasdfstupidname.com/",
        "ftp://www.golang.org/",
        "http://www.google.com/",
    }
    for _, url := range urls {
        url := url // https://golang.org/doc/faq#closures_and_goroutines
        g.Go(func() error {
            resp, err := http.Get(url)
            if err == nil {
                resp.Body.Close()
            }
            return err
        })
    }

    fmt.Println("waiting")
    if err := g.Wait(); err == nil {
        fmt.Println("Successfully fetched all URLs.")
    } else {
        fmt.Println(err)
    }
}

我已经找到解决方案了。为了实现如此巨大的处理，我所做的是 将 goroutine 数量限制为 50 个，并将内核数量从 2 个增加到 5 个。

终于介绍完啦！小伙伴们，这篇关于《大数据处理的优化方法》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布Golang相关知识，快来关注吧！