内存消耗分析：strings.Builder

一分耕耘，一分收获！既然打开了这篇文章《内存消耗分析：strings.Builder》，就坚持看下去吧！文中内容包含等等知识点...希望你能在阅读本文后，能真真实实学到知识或者帮你解决心中的疑惑，也欢迎大佬或者新人朋友们多留言评论，多给建议！谢谢！

使用此文件（数据文件）：

package main

import (
   "io/ioutil"
   "time"
)

func main() {
   ioutil.readfile("100mb.file")
   time.sleep(time.duration(time.minute))
}

显示内存使用量为 107 mb。使用这个类似的文件：

package main

import (
   "bytes"
   "os"
   "time"
)

func read(path_s string) (bytes.buffer, error) {
   buf_o := bytes.buffer{}
   open_o, e := os.open(path_s)
   if e != nil {
      return buf_o, e
   }
   buf_o.readfrom(open_o)
   open_o.close()
   return buf_o, nil
}

func main() {
   read("100mb.file")
   time.sleep(time.duration(time.minute))
}

内存使用量达到 273 mb。最后这个类似的文件：

package main

import (
   "io"
   "os"
   "strings"
   "time"
)

func read(path_s string) (strings.Builder, error) {
   str_o := strings.Builder{}
   open_o, e := os.Open(path_s)
   if e != nil {
      return str_o, e
   }
   io.Copy(&str_o, open_o)
   open_o.Close()
   return str_o, nil
}

func main() {
   read("100mb.file")
   time.Sleep(time.Duration(time.Minute))
}

内存使用量达到 432 mb。我试着小心并关闭文件 可能的。为什么第二个示例的内存使用率如此之高，尤其是 最后的例子？我可以改变一些东西，让它们更接近第一个 例子？

解决方案

ioutil.readfile("100mb.file") 获取文件的大小，分配该大小的 []byte 并将字节放入该切片中。

buf_o.readfrom(open_o) 分配某个大小的初始 []byte 并读入该切片。如果读取器中的数据多于切片中的空间，则该函数会分配一个更大的切片，将现有数据复制到该切片并读取更多数据。这会重复直到 eof。

函数ioutil.readfile在内部使用字节buffer.readfrom。查看 ioutil.readfile 实现，了解如何改进 bytes.buffer 的直接使用。逻辑概要如下：

var buf bytes.buffer

// open file
f, err := os.open(path)
if err != nil {
    return &buf, err
}
defer f.close()

// get size.
fi, err := f.stat()
if err != nil {
    return &buf, err
}

// grow to size of file plus extra slop to ensure no realloc.
buf.grow(int(fi.size()) + bytes.minread)

_, err := buf.readfrom(f)
return &buf, err

与 bytes.buffer 示例一样，strings.builder 示例多次重新分配内部缓冲区。此外，io.copy 分配一个缓冲区。在阅读之前，您可以将 strings.builder 示例从 growing the builder 改进为 file 的 size。

这是 strings.builder 的代码：

var buf strings.builder

// open file
f, err := os.open(path)
if err != nil {
    return &buf, err
}
defer f.close()

// get size.
fi, err := f.stat()
if err != nil {
    return &buf, err
}

buf.grow(int(fi.size()))

_, err = io.copy(&buf, f)
return &buf, err

需要 io.copy 或使用额外缓冲区的其他代码，因为 strings.builder 没有 readfrom 方法。 strings.builder 类型没有 readfrom 方法，因为该方法可能会泄漏对内部字节片的支持数组的引用。

根据 Muffin Top 的建议，我采用了第二个示例并添加了此示例 直接在调用 readfrom 之前：

stat_o, e := open_o.Stat()
if e != nil {
   return buf_o, e
}
buf_o.Grow(bytes.MinRead + int(stat_o.Size()))

内存降至 107 mb，与第一个示例基本相同。

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于Golang的相关知识，也可关注golang学习网公众号。