在 Go 项目开发中，依赖包管理是一个非常重要的内容，依赖包处理不好，就会导致编译失败，本文将系统介绍下 Go 的依赖包管理工具。

我会首先介绍下 Go 依赖包管理工具的历史，并详细介绍下目前官方推荐的依赖包管理方案 Go Modules。Go Modules 主要包括了 go mod 命令行工具、模块下载机制，以及两个核心文件 go.mod 和 go.sum。

Go Modules 简介

Go Modules 是 Go 官方推出的一个 Go 包管理方案，基于 vgo 演进而来，具有下面这几个特性：

  • • 可以使包的管理更加简单

  • • 支持版本管理

  • • 允许同一个模块多个版本共存

  • • 可以校验依赖包的哈希值，确保包的一致性，增加安全性

  • • 内置在几乎所有的 go 命令中，包括go get、go build、go install、go run、go test、go list等命令。

  • • 具有 Global Caching 特性，不同项目的相同模块版本，只会在服务器上缓存一份。

    • 在 Go1.14 版本以及之后的版本，Go 官方建议在生产环境中使用 Go Modules。

    因此，以后的 Go 包管理方案会逐渐统一到 Go Modules

    Go 包管理的历史

    在具体讲解 Go Modules 之前，我们先看一下 Go 包管理的历史。从 Go 推出之后，因为没有一个统一的官方方案，所以出现了很多种 Go 包管理方案，比较混乱，也没有彻底解决 Go 包管理的一些问题。Go 包管理的历史如下图所示：

    这张图展示了 Go 依赖包管理工具经历的几个发展阶段:

    Go1.5 版本前：GOPATH

    在 Go1.5 版本之前，没有版本控制，所有的依赖包都放在 GOPATH 下。采用这种方式，无法实现包的多版本管理，并且包的位置只能局限在 GOPATH 目录下。如果 A 项目和 B 项目用到了同一个 Go 包的不同版本，这时候只能给每个项目设置一个 GOPATH，将对应版本的包放在各自的 GOPATH 目录下，切换项目目录时也需要切换 GOPATH，这些都增加了开发和实现的复杂度。

    Go1.5 版本：Vendoring

    Go1.5 推出了 vendor 机制，并在 Go1.6 中默认启用。在这个机制中，每个项目的根目录都可以有一个 vendor 目录，里面存放了该项目的 Go 依赖包。

    在编译 Go 源码时，Go 优先从项目根目录的 vendor 目录查找依赖；如果没有找到，再去 GOPATH 下的 vendor 目录下找；如果还没有找到，就去 GOPATH 下找。这种方式解决了多 GOPATH 的问题，但是随着项目依赖的增多，vendor 目录会越来越大，造成整个项目仓库越来越大。

    在 vendor 机制下，一个中型项目的 vendor 目录有几百 M 的大小一点也不奇怪。

    Go1.9 版本：Dep

    Golang 依赖管理工具混乱的局面最终由官方来终结了：Golang 官方接纳了由社区组织合作开发的 Dep，作为 official experiment。在相当长的一段时间里，Dep 作为标准，成为了事实上的官方包管理工具。

    Go1.11 版本之后：Go Modules

    Go1.11 版本推出了 Go Modules 机制，Go Modules 基于 vgo 演变而来，是 Golang 官方的包管理工具。在 Go1.13 版本，Go 语言将 Go Modules 设置为默认的 Go 管理工具；在 Go1.14 版本，Go 语言官方正式推荐在生产环境使用 Go Modules，并且鼓励所有用户从其他的依赖管理工具迁移过来。

    Go 1.11 发布时候提到：

    This release adds preliminary support for a new concept called “modules,” an alternative to GOPATH with integrated support for versioning and package distribution.

    此版本增加了对称为“模块”的新概念的初步支持，这是 GOPATH 的替代方案，集成了对版本控制和包分发的支持。

    至此，Go 终于有了一个稳定的、官方的 Go 包管理工具， 下面再来介绍下 Go Modules 的使用方法。

    包（package）和模块（module）

    Go 程序被组织到 Go 包中，Go 包是同一目录中一起编译的 Go 源文件的集合。在一个源文件中定义的函数、类型、变量和常量，对于同一包中的所有其他源文件可见。模块是存储在文件树中的 Go 包的集合，并且文件树根目录有 go.mod 文件。go.mod 文件定义了模块的名称及其依赖包，通过导入路径和版本描述一个依赖。

    模块和包的关系更像是集合和元素的关系，包属于模块，一个模块是零个或者多个包的集合。下面的代码段，引用了一些包：

    这里的fmt、http://github.com/spf13/pflag和http://github.com/marmotedu/iam/internal/apiserver都是 Go 包。

    Go 中有 4 种类型的包：

  • • Go 标准包：在 Go 源码目录下，随 Go 一起发布的包。

  • • 第三方包：第三方提供的包，比如来自于 http://github.com 的包。

  • • 匿名包：只导入而不使用的包。通常情况下，我们只是想使用导入包产生的副作用，即引用包级别的变量、常量、结构体、接口等，以及执行导入包的init()函数。

  • • 内部包：项目内部的包，位于项目目录下。

    • 下面的目录定义了一个模块：

    hello 目录下有一个 go.mod 文件，说明了这是一个模块，该模块包含了 hello 包和一个子包 world。该目录中也包含了一个 go.sum 文件，该文件供 Go 命令在构建时判断依赖包是否合法。

    Go Modules 命令

    Go Modules 的管理命令为go mod，go mod有很多子命令，你可以通过go help mod来获取所有的命令。

    下面我来具体介绍下这些命令。

  • • download：下载 go.mod 文件中记录的所有依赖包。

  • • edit：编辑 go.mod 文件。

  • • graph：查看现有的依赖结构。

  • • init：把当前目录初始化为一个新模块。

  • • tidy：添加丢失的模块，并移除无用的模块。默认情况下，Go 不会移除 go.mod 文件中的无用依赖。当依赖包不再使用了，可以使用go mod tidy命令来清除它。

  • • vendor：将所有依赖包存到当前目录下的 vendor 目录下。

  • • verify：检查当前模块的依赖是否已经存储在本地下载的源代码缓存中，以及检查下载后是否有修改。

  • • why：查看为什么需要依赖某模块。

    • Go Modules 开关

    如果要使用 Go Modules，在 Go1.14 中仍然需要确保 Go Modules 特性处在打开状态。

    你可以通过环境变量 GO111MODULE 来打开或者关闭。

    GO111MODULE 有 3 个值：

  • • auto：在 Go1.14 版本中是默认值，在$GOPATH/src下，且没有包含 go.mod 时则关闭 Go Modules，其他情况下都开启 Go Modules。

  • • on：启用 Go Modules，Go1.14 版本推荐打开，未来版本会设为默认值。

  • • off：关闭 Go Modules，不推荐。

    • 所以，如果要打开 Go Modules，建议直接设置export GO111MODULE=on。

    go.mod 和 go.sum 介绍

    go.mod 文件是 Go Modules 的核心文件。下面是一个 go.mod 文件示例：

    go.mod 语句

    go.mod 文件中包含了 4 个语句，分别是 module、require、replace 和 exclude。

  • • module：用来定义当前项目的模块路径。

  • • go：用来设置预期的 Go 版本，目前只是起标识作用。

  • • require：用来设置一个特定的模块版本，格式为<导入包路径> <版本> [// indirect]。

  • • exclude：用来从使用中排除一个特定的模块版本，如果我们知道模块的某个版本有严重的问题，就可以使用 exclude 将该版本排除掉。

  • • replace：用来将一个模块版本替换为另外一个模块版本。格式为 $module => $newmodule ，$newmodule可以是本地磁盘的相对路径，例如http://github.com/gin-gonic/gin => ./gin。也可以是本地磁盘的绝对路径，例如http://github.com/gin-gonic/gin => /home/lk/gin。还可以是网络路径，例如http://golang.org/x/text v0.3.2 => http://github.com/golang/text v0.3.2。

    • 这里需要注意，虽然我们用$newmodule替换了$module，但是在代码中的导入路径仍然为$module。

    replace 在实际开发中经常用到，下面的场景可能需要用到 replace：

    go.mod 版本号

    go.mod 文件中有很多版本号格式，这里，我来详细说明一下。

  • • 如果模块具有符合语义化版本格式的 tag，会直接展示 tag 的值，例如 http://github.com/AlekSi/pointer v1.1.0

  • • 除了 v0 和 v1 外，主版本号必须显试地出现在模块路径的尾部，例如http://github.com/appleboy/gin-jwt/v2 v2.6.3。

  • • 对于没有 tag 的模块，Go 命令会选择 master 分支上最新的 commit，并根据 commit 时间和哈希值生成一个符合语义化版本的版本号，例如http://github.com/asaskevich/govalidator v0.0.0-20200428143746-21a406dcc535。

  • • 如果模块名字跟版本不符合规范，例如模块的名字为http://github.com/blang/semver，但是版本为 v3.5.0（正常应该是http://github.com/blang/semver/v3），go 会在 go.mod 的版本号后加+incompatible表示。

  • • 如果 go.mod 中的包是间接依赖，则会添加// indirect注释，例如http://github.com/golangci/golangci-lint v1.30.0 // indirect。

    • 这里再详细介绍下出现// indirect的情况:

    原则上 go.mod 中出现的都是直接依赖，但是下面的情况只要出现,就会在 go.mod 中添加间接依赖。

    如果模块 A 依赖模块 B，模块 B 依赖 B1 和 B2，但是 B 没有 go.mod 文件，则 B1 和 B2 会记录到 A 的 go.mod 文件中，并在最后加上// indirect。

    go.mod 文件修改方法

    要修改 go.mod 文件，我们可以采用下面这几种方法：

  • • 手动编辑 go.mod 文件，编辑之后可以执行go mod edit -fmt格式化 go.mod 文件

  • • 执行 go mod 子命令修改。

    • 第三种修改方法使用方式如下：

    go.sum介绍

    接下来从go.sum 文件内容、go.sum 文件生成、校验三个方面来介绍 go.sum。

    1、go.sum 文件内容

    go.sum 文件中，每行记录由模块名、版本、哈希算法和哈希值组成，如 [/go.mod] 目前，从 Go1.11 到 Go1.14 版本，只有一个算法 SHA-256，用 h1 表示。

    正常情况下，每个依赖包会包含两条记录，分别是依赖包所有文件的哈希值和该依赖包 go.mod 的哈希值，例如：

    2、go.sum 文件生成

    在 Go Modules 开启时，如果我们的项目需要引入一个新的包，通常会执行go get命令，例如：

    当执行go get http://rsc.io/quote命令后，go get命令会先将依赖包下载到$GOPATH/pkg/mod/cache/download，下载的依赖包文件名格式为$version.zip，例如v1.5.2.zip。

    下载完成之后，go get会对该 zip 包做哈希运算，并将结果存在$version.ziphash文件中，例如v1.5.2.ziphash。如果在项目根目录下执行go get命令，则go get会同时更新 go.mod 和 go.sum 文件。

    3、校验

    在我们执行构建时，go 命令会从本地缓存中查找所有的依赖包，并计算这些依赖包的哈希值，然后与 go.sum 中记录的哈希值进行对比。如果哈希值不一致，则校验失败，停止构建。

    校验失败可能是因为本地指定版本的依赖包被修改过，也可能是 go.sum 中记录的哈希值是错误的。但是 Go 命令倾向于相信依赖包被修改过，因为当我们在 go get 依赖包时，包的哈希值会经过校验和数据库（checksum database）进行校验，校验通过才会被加入到 go.sum 文件中。也就是说，go.sum 文件中记录的哈希值是可信的。

    校验和数据库可以通过环境变量GOSUMDB指定，GOSUMDB的值是一个 web 服务器，默认值是http://sum.golang.org。

    该服务可以用来查询依赖包指定版本的哈希值，保证拉取到的模块版本数据没有经过篡改。如果设置GOSUMDB为off，或者使用go get的时候启用了-insecure参数，Go 就不会去对下载的依赖包做安全校验，这存在一定的安全隐患，所以我建议你开启校验和数据库。如果对安全性要求很高，同时又访问不了http://sum.golang.org，你也可以搭建自己的校验和数据库。

    使用 Go Module

    $GOPATH$GOPATH
    $GOPATH
    test

    main.go:

    test/func.go:

    3、下载依赖包

    4、运行程序

    可以看到，项目的代码在任意的文件夹路径下，也可以正常运行GO程序， 除了版本控制支持之外，这是使用 Go 模块的主要优势之一。

    总结

    Go 依赖包管理是 Go 语言中一个重点的功能。在 Go1.11 版本之前，并没有官方的依赖包管理工具，业界虽然存在多个 Go 依赖包管理方案，但效果都不理想。直到 Go1.11 版本，Go 才推出了官方的依赖包管理工具，Go Modules。

    建议在进行 Go 项目开发时选择的依赖包管理工具，Go Modules 提供了 go mod 命令，来管理 Go 的依赖包。

    go.mod 文件是 Go Modules 的核心文件，Go 会根据 go.mod 文件中记载的依赖包及其版本下载包源码。go.sum 文件用来记录每个依赖包的 hash 值，在构建时，如果本地的依赖包 hash 值与 go.sum 文件中记录的不一致，就会拒绝构建。

    本文使用 文章同步助手 同步