golang实现http表单大文件流式上传服务端代码

golang的http标准库的上传文件是一次性将文件全部读到内存中，这样上传小文件还可以，但是大文件就无能为力了。
一开始在网上找到一篇gin实现大文件流式上传的文章。大体思路是手动解析form表单的header和body，然后分片读取上传的文件内容。但是代码量有点多且复杂。有兴趣的同学可以自行百度。

后来在github找到一个库
github.com/albrow/forms

可以看到这个库读取上传文件的方法

1
2
3
4
5
6
7
8
9
10
11
12
func (d Data) GetFileBytes(key string) ([]byte, error) {
    fileHeader, found := d.Files[key]
    if !found {
        return nil, nil
    } else {
        file, err := fileHeader.Open()
        if err != nil {
            return nil, err
        }
        return ioutil.ReadAll(file)
    }
}

最后使用的是ioutil.ReadAll，大文件上传的话就会有问题，要实现流式上传，可以在这个包里加一个方法。以下是我自己加的方法

1
2
3
4
5
6
7
8
9
10
11
12
func (d Data) GetFileReader(key string) (io.Reader, error) {
    fileHeader, found := d.Files[key]
    if !found {
        return nil, nil
    } else {
        file, err := fileHeader.Open()
        if err != nil {
            return nil, err
        }
        return file, nil
    }
}

得到reader后使用io.Copy即可将文件落盘

1
2
3
4
5
6
7
8
9
10
11
12
13
            userData, err := forms.Parse(c.Request)
            if err != nil {
                log.Printf("parse错误：%v", err)
                return
            }
            header := userData.GetFile("file")
            fileReader, err := userData.GetFileReader("file")
            if err != nil {
                log.Printf("获取reader错误：%v", err)
                return
            }
            file, _ := os.Create(header.Filename)
            io.Copy(file, fileReader)