使用 go-colly 框架进行网站内容爬取

大家好，今天本人给大家带来文章《使用 go-colly 框架进行网站内容爬取》，文中内容主要涉及到，如果你对Golang方面的知识点感兴趣，那就请各位朋友继续看下去吧~希望能真正帮到你们，谢谢！

我尝试从网站上抓取描述 img，但我不知道如何到达那里

我的尝试

pg := Program{}
slPG := []Program{}

c.OnHTML(".short", func(e *colly.HTMLElement) {
    pg.Name = e.ChildText("h2.short-cat")
    pg.Link = e.ChildAttr("a", "href")
    pg.Rating = e.ChildText("a.orating_res")
    pg.Discription = e.ChildText("div.short-text full-text video-box clearfix")

    slPG = append(slPG, pg)
})
for i := 1; i < 6; i++ {
    c.Visit("https://rsload.net/page/" + strconv.Itoa(i) + "/")
}

file, err := json.MarshalIndent(slPG, "", " ")
if err != nil {
    log.Println("Unable to create 'json' file")
    return
}
_ = ioutil.WriteFile("files/Export.json", file, 0644)

正确答案

请显示您的更多代码。具体来说，您需要显示您想要抓取的 html 部分。 我知道你有一部分文本和属性，但是 colly 库非常挑剔。如果您没有完全正确的信息。它不会给你任何回报。 您是通过命令行中的 fmt 获取信息，还是将其解析为 gui，或者可能将其全部转换为文件？提供更多信息，我们可以提供帮助。

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于Golang的相关知识，也可关注golang学习网公众号。