多个Http.Get随机挂起

目前golang学习网上已经有很多关于Golang的文章了，自己在初次阅读这些文章中，也见识到了很多学习思路；那么本文《多个Http.Get随机挂起》，也希望能帮助到大家，如果阅读完后真的对你学习Golang有帮助，欢迎动动手指，评论留言并分享~

我正在尝试学习 golang，并开展了一个简单的项目来调用所有 craigslist 城市并查询它们以进行特定搜索。在下面的代码中，我删除了列表地图中的所有链接，但那里有超过 400 个链接。所以这个循环相当大。我认为这将是一个很好的测试，可以将我所学到的知识应用到应用中，但我遇到了一个奇怪的问题。

有时，大多数 http.get() 都没有从服务器获得响应，而另一些时候，它可以毫无问题地获得所有响应。所以我开始添加打印来显示有多少错误被我们恢复，以及有多少错误成功通过。此外，当它运行时，它会随机挂起并且永远不会响应。程序不会冻结，但网站只是坐在那里尝试加载，并且终端没有显示任何活动。

我通过推迟恢复后的清理来确保我的响应主体已关闭，但它似乎仍然不起作用。有没有什么东西让我想念的人跳出来？

提前谢谢大家！

package main

import (
    "fmt"
    "net/http"
    "html/template"
    "io/ioutil"
    "encoding/xml"
    "sync"
    )

var wg sync.WaitGroup

var locationMap = map[string]string {"https://auburn.craigslist.org/": "auburn "...}

var totalRecovers int = 0
var successfulReads int = 0

type Listings struct {
    Links []string `xml:"item>link"`
    Titles []string `xml:"item>title"`
    Descriptions []string `xml:"item>description"`
    Dates []string `xml:"item>date"`
}

type Listing struct {
    Title string
    Description string
    Date string
}

type ListAggPage struct {
        Title string
        Listings map[string]Listing
        SearchRequest string
}

func cleanUp(link string) {
    defer wg.Done()
    if r:= recover(); r!= nil {
        totalRecovers++
//      recoverMap <- link
    }
}

func cityRoutine(c chan Listings, link string) {
    defer cleanUp(link)

    var i Listings
    address := link + "search/sss?format=rss&query=motorhome"
    resp, rErr := http.Get(address)
    if(rErr != nil) {
        fmt.Println("Fatal error has occurs while getting response.")
        fmt.Println(rErr);
    }

    bytes, bErr := ioutil.ReadAll(resp.Body)
    if(bErr != nil) {
        fmt.Println("Fatal error has occurs while getting bytes.")
        fmt.Println(bErr);
    }
    xml.Unmarshal(bytes, &i)
    resp.Body.Close()
    c <- i
    successfulReads++
}

func listingAggHandler(w http.ResponseWriter, r *http.Request) {
    queue := make(chan Listings, 99999)
    listing_map := make(map[string]Listing)

    for key, _ := range locationMap {
        wg.Add(1)
        go cityRoutine(queue, key)
    }

    wg.Wait()
    close(queue)

    for elem := range queue { 
        for index, _ := range elem.Links {
        listing_map[elem.Links[index]] = Listing{elem.Titles[index * 2], elem.Descriptions[index], elem.Dates[index]}
        }
    }

    p := ListAggPage{Title: "Craigslist Aggregator", Listings: listing_map}
    t, _ := template.ParseFiles("basictemplating.html")
    fmt.Println(t.Execute(w, p))

    fmt.Println("Successfully loaded: ", successfulReads)       
    fmt.Println("Recovered from: ", totalRecovers)
}

func indexHandler(w http.ResponseWriter, r *http.Request) {
    fmt.Fprintf(w, "<h1>Whoa, Go is neat!</h1>")
}

func main() {
    http.HandleFunc("/", indexHandler)
    http.HandleFunc("/agg/", listingAggHandler)
    http.ListenAndServe(":8000", nil) 
}

解决方案

我无法找到我正在阅读的与此相关的 golang 邮件列表讨论，但您通常不想打开数百个请求。这里有一些信息：How Can I Effectively 'Max Out' Concurrent HTTP Requests?

craigslist 也可能只是限制您的速度。无论哪种方式，我建议限制在 20 个左右的并发请求左右，这是对 listingagghandler 的快速更新。

queue := make(chan listings, 99999)
listing_map := make(map[string]listing)

request_queue := make(chan string)
for i := 0; i < 20; i++ {
    go func() {
        for {
            key := <- request_queue
            cityroutine(queue, key)                
        }
    }()
}

for key, _ := range locationmap {
    wg.add(1)
    request_queue <- key
}

wg.wait()
close(request_queue)
close(queue)

应用程序应该仍然非常快。我也同意关于你的问题的其他评论。也会尝试避免在全球范围内投入太多内容。

您还可以通过使用请求池中的等待组来稍微修改我的更改，并让每个 goroutine 清理自身并减少等待组。这会限制一些全球范围。

所以我听从了大家的建议，它似乎解决了我的问题，所以我非常感激。我最终像许多人建议的那样删除了全局 waitgroup 并将其作为参数（指针）传入以清理代码。至于之前的错误问题，一定是像 maxm 提到的那样，超出了并发 http 请求。一旦我在每 20 次搜索之间添加等待，我就没有看到任何错误。该程序的运行速度比我想要的要慢一些，但出于学习目的，这很有帮助。

以下是代码所需的主要更改。

counter := 0
    for key, _ := range locationMap {
        if(counter >= 20) {
            wg.Wait()
            counter = 0
        }
        wg.Add(1)
        frmtSearch := key + "search/sss?format=rss&query=" + strings.Replace(p.SearchRequest, " ", "%20", -1)
        go cityRoutine(queue, frmtSearch, &wg)
        counter++
    }

今天带大家了解了的相关知识，希望对你有所帮助；关于Golang的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~