在 colly 网络抓取中从相同的类名值获取值

一分耕耘，一分收获！既然都打开这篇《在 colly 网络抓取中从相同的类名值获取值》，就坚持看下去，学下去吧！本文主要会给大家讲到等等知识点，如果大家对本文有好的建议或者看到有不足之处，非常欢迎大家积极提出！在后续文章我会继续更新Golang相关的内容，希望对大家都有所帮助！

我正在使用 go 语言和用 go 构建的 colly 网页抓取框架开发小型网页抓取应用程序

这是网站的html代码

<div clas="cc">  
    <div class="list">
        <span class="countrybg" style="background-image: url(countryimage);"></span>
        <span class="continet">asia</span>
        <span class="country">india</span>
    </div>
    <div class="list">
        <span class="countrybg" style="background-image: url(countryimage);"></span>
        <span class="continet">africa</span>
        <span class="country">brazil</span>
    </div>
</div>

现在我想一一获取所有三个跨度元素并附加到数组

我尝试使用此代码，但它不起作用，但它返回为 asiaafrica

但我想要单独的值并想要获取countrybg类的图像url

c := make([]string, 10) 
element.foreach(".list span", func(_ int, elem *colly.htmlelement) {
            result := element.childtext("span:nth-child(2)")
            c = append(c, result)
})

示例输出应该类似于

countrybg = ['image1url' ,'image2url']
continet = ['Asia' ,'Africa']
country = ['india' ,'Brazil']

谁能帮忙得到这个

正确答案

我在端口 8081 上运行了本地服务器，并尝试获取您正在查找的值。有很多方法可以满足您的需要，这只是其中一种：

package main

import (
    "fmt"
    "regexp"

    "github.com/gocolly/colly"
)

func main() {
    c := colly.newcollector()

    countrybgs := []string{}
    continents := []string{}
    countries := []string{}

    r := regexp.mustcompile(`background-image: url\((.*)\);`)

    /*
        <div clas="cc">
            <div class="list">
                <span class="countrybg" style="background-image: url(image1url);"></span>
                <span class="continet">asia</span>
                <span class="country">india</span>
            </div>
            <div class="list">
                <span class="countrybg" style="background-image: url(image2url);"></span>
                <span class="continet">africa</span>
                <span class="country">brazil</span>
            </div>
        </div>
    */

    c.onhtml("span", func(e *colly.htmlelement) {
        switch class := e.attr("class"); class {
        case "countrybg":
            countrybgs = append(countrybgs, r.findstringsubmatch(e.attr("style"))[1])
        case "continet":
            continents = append(continents, e.text)
        case "country":
            countries = append(countries, e.text)
        }
    })

    c.visit("http://localhost:8081")

    fmt.println(countrybgs)
    fmt.println(continents)
    fmt.println(countries)
}

输出：

> go run .
[image1url image2url]
[Asia Africa]
[india Brazil]

终于介绍完啦！小伙伴们，这篇关于《在 colly 网络抓取中从相同的类名值获取值》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布Golang相关知识，快来关注吧！