从现在开始，努力学习吧！本文《优化文件下载器的开发方法》主要讲解了等等相关知识点，我会在golang学习网中持续更新相关的系列文章，欢迎大家关注并积极留言建议。下面就先一起来看一下本篇正文内容吧，希望能帮到你！

我正在尝试提高用 go 实现的下载器的性能。 我认为我遇到了内存使用问题，因为当我尝试时程序卡住了 下载大文件，例如 1gb 或更大。我用它来下载周围的文件 100mgb 和 300mgb 一切都很好。下载器用于显示标头的服务器 接受范围。下面我将向您展示主要的实现和部分内容，但首先让我向您解释一下。

接受范围：字节

在此实现中，我创建了一个 http.client 来设置文件部分的标头范围 我要求的，之后我提出了要求。为了存储我创建的此请求的响应 一个临时文件，并将响应直接复制到该文件中。这样做的想法是避免复制 记忆中的整个反应。这是实现：

func downloadpart(wg *sync.waitgroup, tempname string, url string, part string) {
    //setting up the client to make the request
    client := http.client{}
    request, err := http.newrequest("get", url, nil)

    //setting up the requests
    request.header.set("range", part)
    response, err := client.do(request)
    checkerror(err, "fatal")
    defer response.body.close()

    //creating the temporary file and copying
    // the response to it
    file, err := os.create(tempname)
    checkerror(err, "panic")
    defer file.close()
    
    _, err = io.copy(file, response.body)
    checkerror(err, "fatal")

    defer wg.done()
}

这个函数在各种 goroutine 中被调用，所以我使用了 waitgroup 来减少计数器 gorputine 结束下载文件的一部分。在所有这些 goroutines 结束之后，我加入了不同的人 单个文件中的临时文件。这就是join函数的实现

func joinfiles(name string) {
    finalfile, err := os.openfile(name, os.o_create|os.o_append|os.o_wronly, 0644)
    if err != nil {
        log.panicln(err.error())
    }
    defer finalfile.close()

    files, err := ioutil.readdir(".")

    for _, f := range files {
        tempdata, err := ioutil.readfile(f.name())
        if err != nil {
            log.panicln(err.error())
        }

        if f.name() != finalfile.name() {
            finalfile.write(tempdata)
            os.remove(f.name())
        }
    }
}

现在我将向您展示使用这些函数的主函数部分

//start, end and rest are used to set the Range header in the requests 
//threads are the number of goroutines to used in the download
var wg sync.WaitGroup
wg.Add(threads)
//initializing the goroutines
for i := 0; i < threads; i++ {
    part := fmt.Sprintf("bytes=%d-%d", start, end)
    start = end + 1
    if i == threads-1 {
        end = end + step + rest
    } else {
        end = end + step
    }
    go tools.DownloadPart(&wg, fmt.Sprintf("%d.temp", i), url, part)
}
wg.Wait()
log.Println("Joining files...")
joinFiles(name)

是否有办法改进此实现？

解决方案

我认为这里最大的问题是如何将文件拼接在一起。调用 ioutil.ReadAll 会将整个文件的内容读入内存，并且由于您对所有部分都执行此操作，因此您可能会在内存中得到整个文件的内容（GC 可能会在中间运行并释放其中的一些内容。）更好的做法是在文件上使用 io.Copy （在使用 os.Open 打开它之后）将其复制到最终文件中。这样您就不必将内容存储在内存中。

理论要掌握，实操不能落！以上关于《优化文件下载器的开发方法》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！