解析包含“注释”标题块的 CSV 文件

IT行业相对于一般传统行业，发展更新速度更快，一旦停止了学习，很快就会被行业所淘汰。所以我们需要踏踏实实的不断学习，精进自己的技术，尤其是初学者。今天golang学习网给大家整理了《解析包含“注释”标题块的 CSV 文件》，聊聊，我们一起来看看吧！

我正在尝试解析托管在远程位置的 csv 文件，但令人烦恼的是，该文件在文件顶部包含一些自述注释，格式如下：

######
# some readme text,
# some more, comments
###### 
01-02-03,123,foo,http://example.com 
04-05-06,789,baz,http://another.com

我尝试使用以下代码来提取数据中的 url，但由于顶部的注释，它会抛出一个错误，指出 字段数错误 ，大概是它试图将它们解析为 csv 内容。

type myData struct {
  URL string `json:"url"`
}

func doWork() ([]myData, error) {
  rurl := "https://example.com/some.csv"
  out := make([]myData, 0)
  
  resp, err := http.Get(rurl)
  if err != nil {
    return []myData{}, err
  }

  defer resp.Body.Close()
  reader := csv.NewReader(resp.Body)
  reader.Comma = ','
  data, err := reader.ReadAll()
  if err != nil {
    return []myData{}, err
  }

  for _, row := range data {
    out = append(out, myData{URL: row[4]})
  }

  return out, nil
}

func main() {
  data, err := doWork()
  if err != nil {
    panic(err)
  }
  // do something with data
}

有没有办法跳过远程文件的前 n ​​行，或者让它忽略以 # 开头的行

解决方案

哦，实际上我刚刚意识到我可以添加这个：

reader.comment = '#' // ignores the line starting with '#'

这与我当前的代码完美配合，但欣赏其他建议。

嗯，方法很简单：不要尝试将以“#”开头的行解释为 csv 流的一部分；相反，请将整个数据流视为两个流的串联：标头和实际的 csv 负载。

最简单的方法可能是利用 bufio.reader 能够从其底层流中读取行，并且它本身是一个 io.reader ，因此您可以创建一个 csv.reader 来读取它 > 而不是源流。

所以，你可以像这样滚动（不是真正的代码，未经测试）：

import (
  "bufio"
  "encoding/csv"
  "io"
  "strings"
)

func parse(r io.Reader) ([]MyData, error) (
  br := bufio.NewReader(r)

  var line string
  for {
    s, err := br.ReadString('\n')
    if err != nil {
      return nil, err
    }
    if len(s) == 0 || s[0] != '#' {
      line = s
      break
    }
  }

  // At this point the line variable contains the 1st line of the CSV stream.
  // Let's create a "multi reader" which reads first from that line
  // and then — from the rest of the CSV stream.
  cr := csv.NewReader(io.MultiReader(strings.NewReader(line), br))
  cr.Comma = ','
  data, err := cr.ReadAll()
  if err != nil {
    return nil, err
  }

  for _, row := range data {
    out = append(out, myData{URL: row[4]})
  }

  return out, nil
}

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于Golang的相关知识，也可关注golang学习网公众号。