当前位置：首页 > 文章列表 > Golang > Go问答 > 使用Go将Chrome Headless中的DOM数据转储

使用Go将Chrome Headless中的DOM数据转储

来源：stackoverflow 2024-03-11 08:12:27 0浏览收藏

知识点掌握了，还需要不断练习才能熟练运用。下面golang学习网给大家带来一个Golang开发实战，手把手教大家学习《使用Go将Chrome Headless中的DOM数据转储》，在实现功能的过程中也带大家重新温习相关知识点，温故而知新，回头看看说不定又有不一样的感悟！

问题内容

我正在尝试做什么：

使用 chrome headless 和 go 渲染 dom 后转储它。

我查看了 aqautone 的代码，了解如何使用 chrome headless 来满足我的需求。

问题

问题是，如果我添加许多网址，它只会打印 dumping dom 超时 out 超时，并且当前仅打印两个网址：

<html><head></head><body></body></html>
<html><head></head><body></body></html>
<html><head></head><body></body></html>
<html><head></head><body></body></html>
checking  bingbot
1.73 url : https://www.facebook.com
<html><head></head><body></body></html>
checking  yahoobot
1.75 url : https://www.facebook.com
checking  bingbot
1.74 url : https://www.google.com
checking  googlebot
1.75 url : https://www.google.com
checking  googlebot
1.76 url : https://www.facebook.com
<html><head></head><body></body></html>
checking  yahoobot
1.76 url : https://www.google.com
total time taken 1.78s elapsed

这是我的代码：演示（但是，由于那里没有 chrome exec，所以没有意义）

如果你不想看演示：

package main

import (
    "context"
    "fmt"
    "io"
    "log"
    "os"
    "os/exec"
    "sync"
    "time"
    //"github.com/remeh/sizedwaitgroup"
)

// Taken from https://deviceatlas.com/blog/list-of-user-agent-strings
var (
    useragentstrings = map[string]string{
        "googleBot": "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)",
        "bingBot":   "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)",
        "yahooBot":  "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)",
    }
    chromePath = "/root/tools/chromium-latest-linux/latest/chrome"
)

func fetchUsingChrome(url string, nameOfAgent string, useragent string, ch chan<- string, wg *sync.WaitGroup) {
    // func fetchUsingChrome(url string, nameOfAgent string, useragent string, ch chan<- string, wg *sizedwaitgroup.SizedWaitGroup) {
    start := time.Now()
    defer wg.Done()
    var chromeArguments = []string{
        "--headless", "--disable-gpu", "--hide-scrollbars", "--mute-audio", "--disable-notifications",
        "--disable-crash-reporter",
        "--ignore-certificate-errors",
        "--dump-dom",
        // "--screenshot=" + url + ".png",
        "--user-agent=" + useragent,
    }
    if os.Geteuid() == 0 {
        chromeArguments = append(chromeArguments, "--no-sandbox")
    }
    ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
    defer cancel()

    cmd := exec.CommandContext(ctx, chromePath, chromeArguments...)
    stdout, _ := cmd.StdoutPipe()
    if err := cmd.Start(); err != nil {
        fmt.Printf("[%s]Dumping dom failed Error: %v\n", err)
        return
    }
    // buf := new(bytes.Buffer)

    // if err := buf.ReadFrom(stdout); err != nil {
    // fmt.Println(err)
    // return
    // }
    // fmt.Println(buf.String())
    if _, err := io.Copy(os.Stdout, stdout); err != nil {
        log.Fatal(err)
    }

    if err := cmd.Wait(); err != nil {
        if ctx.Err() == context.DeadlineExceeded {
            fmt.Printf("Dumping dom timed out : %s\n", url)
            return
        }
        fmt.Printf("[%s]Dumping dom failed Error: %v\n", err)
        return
    }
    secs := time.Since(start).Seconds()
    fmt.Println("Checking ", nameOfAgent)
    ch <- fmt.Sprintf("%.2f URL : %s", secs, url)
}

func main() {
    var wg sync.WaitGroup
    output := []string{
        "https://www.facebook.com",
        "https://www.google.com",
    }
    start := time.Now()
    ch := make(chan string)
    //swg := sizedwaitgroup.New(10)
    for _, url := range output {
        for k, v := range useragentstrings {
            wg.Add(1)
            //swg.Add()
            go fetchUsingChrome(url, k, v, ch, &wg)
            // go fetchUsingChrome(url, k, v, ch, &swg)
        }
    }

    go func() {
        wg.Wait()
        // swg.Wait()
        close(ch)
    }()
    for val := range ch {
        fmt.Println(val)
    }
    fmt.Printf("Total time taken %.2fs elapsed\n", time.Since(start).Seconds())
}

p.s.：我故意留下了一些带注释的代码，以深入了解我所尝试过的和失败的内容。

谢谢

临时性

（一个 golang 菜鸟）