选择不支持使用 gocolly\colly 进行网页抓取

一分耕耘，一分收获！既然都打开这篇《选择不支持使用 gocolly\colly 进行网页抓取》，就坚持看下去，学下去吧！本文主要会给大家讲到等等知识点，如果大家对本文有好的建议或者看到有不足之处，非常欢迎大家积极提出！在后续文章我会继续更新Golang相关的内容，希望对大家都有所帮助！

我想使用 golang gocolly/colly 从以下公共网站抓取数据 -

https://eds.ospi.k12.wa.us/busdepreciation/default.aspx?pagename=bussearch

对于上述网站，我想一一选择下拉列表中可用的所有“学区”选项并抓取所有数据。到目前为止，我只能抓取页面的 html，但我无法找到任何方法来选择下拉选项来获取不同选项的数据。

我的 go 代码

package main

import (
    "fmt"

    "github.com/gocolly/colly/v2"
)

func main() {

    // Instantiate default collector
    c := colly.NewCollector()

    c.OnHTML("tbody tr", func(e *colly.HTMLElement) {
        fmt.Printf("BODY----%+v\n", e)

    })

    c.Visit("https://eds.ospi.k12.wa.us/BusDepreciation/default.aspx?pageName=busSearch")

}

如果有人可以向我推荐相关文档，我将不胜感激。另外，如果 gocolly/colly 无法实现，请向我建议 golang 或 python 中的另一个选项来选择下拉选项。

我还想知道我们是否应该像我们的场景中那样使用 selenium 来抓取大数据作为替代方法？如果是，我们如何在 golang 或 python 中做到这一点？或者我们应该使用 scrapy 吗？

解决方案

我能够通过以下代码实现您所遇到的困难：

package main

import (
    "fmt"
    "strings"

    "github.com/gocolly/colly/v2"
)

func main() {
    // Instantiate default collector
    c := colly.NewCollector(colly.AllowedDomains(
        "eds.ospi.k12.wa.us",
    ))

    c.OnRequest(func(r *colly.Request) {
        r.Headers.Set("User-Agent", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36")
    })

    c.OnResponse(func(r *colly.Response) {
        fmt.Println("Response Code:", r.StatusCode)
    })

    c.OnHTML("#Content_ctl00_organizationDropDowns_lstDistrict", func(e *colly.HTMLElement) {
        selectDiv := e.DOM
        options := selectDiv.Children()
        fmt.Println(strings.Repeat("#", 50))
        for _, v := range options.Nodes {
            fmt.Println(v.FirstChild.Data)
        }
    })

    c.Visit("https://eds.ospi.k12.wa.us/BusDepreciation/default.aspx?pageName=busSearch")
}

相关更改可总结为以下列表：

1. 在收集器初始化中添加允许的域（始终是最佳实践）
2. 在 onrequest 回调操作中，我设置了 user-agent 标头。让您在一些限制下抓取和抓取网站会很有帮助
3. 在 onhtml 中，我根据 id“content_ctl00_organizationdropdowns_lstdistrict”选择了节点。然后，我使用 dom 方法来获取 dom 对象。使用 children 方法，您可以获得所有您关心的选项的子节点。
4. 最后，您只需打印节点的 data 字段。

毫无疑问，代码仍然可以改进，但它应该是一个很好的起点来抓取您需要的内容。如果这可以解决您的问题，请告诉我！

终于介绍完啦！小伙伴们，这篇关于《选择不支持使用 gocolly\colly 进行网页抓取》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布Golang相关知识，快来关注吧！