使用 os.Create() 创建一个空的 CSV 文件，然后将其加载到 BigQuery 中

学习知识要善于思考，思考，再思考！今天golang学习网小编就给大家带来《使用 os.Create() 创建一个空的 CSV 文件，然后将其加载到 BigQuery 中》，以下内容主要包含等知识点，如果你正在学习或准备学习Golang，就都不要错过本文啦~让我们一起来看看吧，能帮助到你就更好了！

我正在尝试运行以下流程：

1. 从某处获取数据
2. 创建新的本地 csv 文件，将数据写入该文件
3. 将 csv 上传到 bigquery
4. 删除本地文件

但似乎加载了空数据。 这是代码：

func (c *client) do(ctx context.context) error {
    bqclient, err := bigquerypkg.newbigqueryutil(ctx, "projectid", "datasetid")
    if err != nil {
        return err
    }

    data, err := c.getsomedata(ctx)
    if err != nil {
        return err
    }

    file, err := os.create("example.csv")
    if err != nil {
        return err
    }
    defer file.close()
    // also file need to be delete

    writer := csv.newwriter(file)
    defer writer.flush()

    timestamp := time.now().utc().format("2006-01-02 03:04:05.000000000")
    for _, d := range data {
        csvrow := []string{
            d.id,
            d.name,
            timestamp,
        }
        err = writer.write(csvrow)
        if err != nil {
            log.printf("error writing data to csv: %v\n", err)
        }
    }

    source := bigquery.newreadersource(file)
    source.schema = bigquery.schema{
        {name: "id", type: bigquery.stringfieldtype},
        {name: "name", type: bigquery.stringfieldtype},
        {name: "createdat", type: bigquery.timestampfieldtype},
    }
    if _, err = bqclient.loadcsv(ctx, "tableid", source); err != nil {
        return err
    }

    return nil
}

loadcsv() 看起来像这样：

func (c *Client) LoadCsv(ctx context.Context, tableID string, src bigquery.LoadSource) (string, error) {
    loader := c.bigQueryClient.Dataset(c.datasetID).Table(tableID).LoaderFrom(src)
    loader.WriteDisposition = bigquery.WriteTruncate
    job, err := loader.Run(ctx)
    if err != nil {
        return "", err
    }
    status, err := job.Wait(ctx)
    if err != nil {
        return job.ID(), err
    }

    if status.Err() != nil {
        return job.ID(), fmt.Errorf("job completed with error: %v", status.Err())
    }

    return job.ID(), nil
}

运行此命令后，bigquery 确实创建了架构，但没有数据。 如果我将 os.create() 更改为 os.open() 并且文件已经存在，则一切正常。就像加载 csv 时文件数据尚未写入（？） 原因是什么？

正确答案

我在这里看到的问题是您没有将文件句柄的光标倒回到文件的开头。因此，下一次读取将位于文件的末尾，并且将是 0 字节读取。这就解释了为什么文件中似乎没有内容。

https://pkg.go.dev/os#File.Seek 可以为您处理。

实际上，flush 是不相关的，因为您使用相同的文件句柄来读取文件而不是写入文件，所以您会看到您自己写入的字节，即使没有刷新。如果文件由不同的进程打开或重新打开，则不会出现这种情况。

编辑：op声称这种同花在他们的情况下是必要的，我无法提供证据来反对。冲洗也不会伤害东西。

演示：

package main

import (
    "fmt"
    "io"
    "os"
)

func main() {
    f, err := os.createtemp("", "data.csv")
    if err != nil {
        panic(err)
    } else {
        defer f.close()
        defer os.remove(f.name())
    }
    fmt.fprintf(f, "hello, world")
    fmt.fprintln(os.stderr, "before rewind: ")
    if _, err := io.copy(os.stderr, f); err != nil {
        panic(err)
    }
    f.seek(0, io.seekstart)
    fmt.fprintln(os.stderr, "\nafter rewind: ")
    if _, err := io.copy(os.stderr, f); err != nil {
        panic(err)
    }
    fmt.fprintln(os.stderr, "\n")
}

% go run t.go
Before rewind:

After rewind:
hello, world

到这里，我们也就讲完了《使用 os.Create() 创建一个空的 CSV 文件，然后将其加载到 BigQuery 中》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！