将 go-colly 与 Elasticsearch 连接的方法是什么？

将 Go-Colly 与 Elasticsearch 集成可实现对抓取数据的索引和存储。利用 olivere/elastic 库，您可以连接到 Elasticsearch 并创建索引。当抓取的数据满足特定条件时，例如完成 HTML 解析，您可以调用一个函数将结构化数据存储到索引中。此集成允许您对抓取到的信息进行持久化和检索，以便进行进一步分析或搜索。

我需要在下面的代码中进行哪些更改才能使用 go-colly 在弹性中建立索引？

1. 我想获取全文（剥离 html、剥离 js、根据需要进行渲染），然后

2. 使其符合 avro 架构 {pageurl: , title:, content:},

3. 批量发布到特定的弹性搜索“mywebsiteindex-yyyymmdd” - 可能使用配置文件，而不是硬编码。

代码片段会很棒。是否有一个示例 go-colly 代码显示crawl->scraping->yield to elastic的“pipelined”输出（例如在python scrapy框架中）。即管道框架支持。

为了插入弹性，我正在考虑：https://github.com/olivere/elastic？

func main() {
    c := colly.NewCollector(
        colly.AllowedDomains( "www.coursera.org"),
        colly.Async(true),
    )

    c.Limit(&colly.LimitRule{
        DomainGlob: "*",
         Parallelism: 2,
    })

    c.OnHTML("a[href]", func(e *colly.HTMLElement) {
        link := e.Attr("href")
        e.Request.Visit(link)
    })
    pageCount :=0
    c.OnRequest(func(r *colly.Request) {
        r.Ctx.Put("url", r.URL.String())
    })

    // Set error handler
    c.OnError(func(r *colly.Response, err error) {
        log.Println("Request URL:", r.Request.URL, "failed with response:", r, "\nError:", err)
    })

    // Print the response
    c.OnResponse(func(r *colly.Response) {
        pageCount++
        urlVisited := r.Ctx.Get("url")
        log.Println(fmt.Sprintf("%d  DONE Visiting : %s", pageCount, urlVisited))
    })

    baseUrl := "https://www.coursera.org"
    c.Visit(baseUrl)
 }

解决方案

您是正确的，您需要一个额外的库来将数据存储到弹性中。 go-colly 只做抓取工作的一部分。根据您的抓取策略，您需要编写代码来将抓取结果存储到索引中。

一般来说，你想使用像olivere/elastic这样的库，连接到elastic并初始化索引。然后，您可能希望有一个函数将结构化数据存储到该索引中，并在您拥有要存储的所有数据（那不是）时从适当的 go-colly 回调（例如 c.OnHTML() ）调用该函数从提供的代码片段中非常清楚）。要了解有关如何使用 olivere/elastic 的更多信息（请注意，版本 7 进行了重大 API 更改，因此旧版本的某些教程可能不起作用），请参阅 godoc。

根据您的特定用例，需要做出许多决定（例如，决定如何在索引中构建数据，何时应将数据发送到弹性 - 意味着要使用哪个 go-colly 回调，如何做您想要刷新索引中已经存在的页面等）。

至于框架，我不知道有什么会拥有从抓取到存储在弹性中的端到端管道。

终于介绍完啦！小伙伴们，这篇关于《将 go-colly 与 Elasticsearch 连接的方法是什么？》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布Golang相关知识，快来关注吧！