Go实现文件分片上传

本篇文章主要是结合我之前面试的各种经历和实战开发中遇到的问题解决经验整理的，希望这篇《Go实现文件分片上传》对你有很大帮助！欢迎收藏，分享给更多的需要的朋友学习~

Go语言在写HTTP服务程序时，会经常用到文件上传和文件下载，文件上传和文件下载都可以用http包，默认的功能基本上够用了。http包支持文件下载的断点续传和进度显示，文件上传貌似不支持断点续传，不知道是不是要web端来实现。

然后我自己配合web端实现了大文件分片上传，来完成断点续传和进度显示的功能。

基本思想是，在web端将上传的文件进行分片处理，然后向服务端发送上传请求（UploadRequest）包括文件名，MD5，文件大小，和文件总片数。
然后开始一片一片的上传（Upload）。如果暂停了或者断网失败了，就记录当前上传片的片数，下一次上传，重发UploadRequest，chunkPos为续传位置片数，然后从这个记录的片数开始接着上传（Upload）。在服务端，记录首次请求的文件名，MD5，文件大小，文件总片数，然后开始接收每一片，将每一个片保存为一个单独的文件，在接收完最后一个片时，将所有的分片份文件进行合并。保存为对应的文件名。最后再校验MD5码。

对于不同用户的请求，将文件上传的信息存储到session中，当前文件上传暂停后，上传其它文件时，向session增加新文件的信息。暂停后，接着上传最开始的文件，则直接从session中取得该文件的信息，包括文件名，上传到某一个片的信息等。

服务端实现代码：

func UploadRequest(w http.ResponseWriter, r *http.Request) {
    log.WithFields(log.Fields{
        "HTTP": r.Method,
        "FUNC": "UploadRequest",
    }).Info("HTTP REQUEST")

    header := w.Header()
    header.Add("Content-Type", "application/json")

    /* session authentication */
    sess := session.GlobalSessions.SessionCheck(w, r)
    if sess == nil {
        log.Error("sess check error")
        fmt.Fprintf(w, config.FmtStr, "3000", "error", "session check error")
        return
    }

    defer r.Body.Close()
    con, _ := ioutil.ReadAll(r.Body) //获取post的body数据

    log.Info("UploadRequest json: ", string(con))

    var uploadReq uploadRequest
    err := json.Unmarshal([]byte(con), &uploadReq) /* 解析json字符串数据到结构体中 */
    if err != nil {
        log.Error("json unmarshal error")
        fmt.Fprintf(w, config.FmtStr, "2000", "error", "json unmarshal error")
        return
    }

    switch uploadReq.Option {
    case "reUploadFile":
        {
            sess.Set("currentFile", uploadReq)
            err := os.Remove("./tmp/" + uploadReq.FileName + "/" + uploadReq.FileName + "_" + uploadReq.ChunkPos)
            if err != nil {
                log.Error(err)
            }
            fmt.Fprintf(w, config.FmtStr, "1000", "success", "reupload request success")
        }
    case "uploadFile":
        {
            err = os.Mkdir("./tmp/"+uploadReq.FileName, 0777)
            if err != nil {
                log.Info(err)
                fmt.Fprintf(w, config.FmtStr, "3000", "error", "mkdir error")
            } else {
                log.Infof("create dir %s ok\r\n", uploadReq.FileName)
            }
            // 文件上传信息保存，保存到session中，用于分片续传时使用
            sess.Set(uploadReq.FileName, uploadReq)
            sess.Set("currentFile", uploadReq)

            fmt.Fprintf(w, config.FmtStr, "1000", "success", "upload request success")
        }
    case "uploadCancel":
        {
            err = os.RemoveAll("./tmp/" + uploadReq.FileName)
            if err != nil {
                log.Fatal(err)
            }

            sess.Delete(uploadReq.FileName)
            fmt.Fprintf(w, config.FmtStr, "1000", "success", "upload file success")
            return
        }
    default:
        {
            fmt.Fprintf(w, config.FmtStr, "2000", "error", "upload request option error")
        }
    }

}

/* 分片上传功能实现 */
func Upload(w http.ResponseWriter, r *http.Request) {
    log.WithFields(log.Fields{
        "HTTP": r.Method,
        "FUNC": "Upload",
    }).Info("HTTP REQUEST")

    header := w.Header()
    header.Add("Content-Type", "application/json")

    /* session authentication */
    sess := globalSessions.SessionCheck(w, r) //session 检查的接口封装
    if sess == nil {
        log.Error("session check failed")
        fmt.Fprintf(w, config.FmtStr, "3000", "error", "session check failed")
        return
    }
    current_dir := sess.Get("current_dir")
    log.Info("current dir: ", current_dir)
    up_dir := sess.Get("up_dir")
    log.Info("up_dir: ", up_dir)

    // var current_dir string = "./river/test"
    /* 表单上传文件 */
    if r.Method == "GET" {
        crutime := time.Now().Unix()
        h := md5.New()
        io.WriteString(h, strconv.FormatInt(crutime, 10))
        token := fmt.Sprintf("%x", h.Sum(nil))

        t, _ := template.ParseFiles("upload.gtpl")
        t.Execute(w, token)
    } else {
        r.ParseMultipartForm(32  0; i-- {
                    if fileName[i] == '.' {
                        preFileName = fileName[:i] // 文件名前缀 test
                        sufFileName = fileName[i:] // 文件名后缀 .txt
                        fileNameFinal = []byte(string(preFileName) + "_" + time + string(sufFileName))
                        log.Info("fileNameFile: ", fileNameFinal)
                        break
                    }
                }

                fii, err = os.OpenFile(string(fileNameFinal), os.O_WRONLY|os.O_CREATE, 0777) // 此处假设当前目录下已存在test目录
            } else {
                fii, err = os.OpenFile(current_dir.(string)+uploadFileInfo.FileName, os.O_CREATE|os.O_WRONLY|os.O_APPEND, os.ModePerm)
            }
            defer fii.Close()

            if err != nil {
                log.Error(err)
                fmt.Fprintf(w, config.FmtStr, "3000", "error", "Open object file error")
                return
            }
            index, _ := strconv.Atoi(uploadFileInfo.ChunkNum)
            for i := 1; i 
以上就是《Go实现文件分片上传》的详细内容，更多关于golang的资料请关注golang学习网公众号！