Docker部署微服务

场景介绍

我们使用Docker完成一个微服务的搭建过程

整体架构如下

使用多个微服务进行项目部署测试

整体服务说明

我们总共涉及到三个微服务以及两个中间件

服务名称描述
mysql数据库服务
nacos注册中心
learn-docker-gateway网关服务
learn-docker-webAPI接口服务
learn-docker-storage存储服务

配置文件提取

application.ymlpompom

pom文件定义属性

pomnacosmysql
192.168.64.153:3306192.168.64.153:8848

配置编译选项

build true
src/main/java**/*.xmlsrc/main/resourcestrue

配置文件配置

application.yml@xxx@@@
server:port: @project.server.prot@spring:application:name: learn-docker-storage######################### 数据源连接池的配置信息 #################datasource:type: com.alibaba.druid.pool.DruidDataSourcedriverClassName: com.mysql.jdbc.Driverurl: jdbc:mysql://@db.addr@/employees?useUnicode=true&characterEncoding=UTF-8&serverTimezone=UTCusername: rootpassword: rootinitialSize: 10minIdle: 20maxActive: 100maxWait: 60000#### nacos 配置#######cloud:nacos:server-addr: @nacos.addr@mybatis:mapper-locations: classpath:mapper/*.xmltype-aliases-package: com.heima.module.p

编译测试

配置完后编译项目后,可以进入target目录下查看编译后的配置文件

我们看到maven已经帮我们将配置编译进了配置文件中了

安装MySQL

MySQL简介

​ MySQL 是世界上最受欢迎的开源数据库。凭借其可靠性、易用性和性能,MySQL 已成为 Web 应用程序的数据库优先选择。

查找MySQL镜像

我们可以使用 docker search 镜像名称,命令来搜索镜像

docker search mysql

参数解释

搜索出来的有这么多镜像,怎么选择呢

  • NAME: 镜像仓库源的名称

  • DESCRIPTION: 镜像的描述

  • OFFICIAL: 是否 docker 官方发布

  • stars: 类似 Github 里面的 star,表示点赞、喜欢的意思。

  • AUTOMATED: 自动构建。

根据参数,我们一般选择 官方发布的,并且stars多的。

下载镜像

docker pull 镜像名称
docker pull mysql

注意事项

latestdocker.io/library/

下载指定版本的镜像

我们上面下载的镜像不符合我们的预期,我们需要Mysql5.7的镜像

查找指定镜像

可以登录 https://hub.docker.com 地址搜索镜像

输入需要搜索的镜像名称,并选择对应镜像名称

tag
5.7.33

下载指定版本镜像

5.7.33docker pull
docker pull mysql:5.7.34

我们发现,我们的新拉取的mysql镜像共用了 部分分层

查看镜像

docker images
docker images
5.7.33

MySQL配置

配置MySQL忽略大小写

创建MySQL挂载目录,等会会解释什么是挂载路径

# 创建MySQL配置的文件夹mkdir -p /tmp/etc/mysql# 编辑my.cnf配置文件vi /tmp/etc/mysql/my.cnf

配置MySQL忽略大小写,在我们创建的MySQL配置文件挂载点的目录的my.cnf文件加入如下内容

[mysqld]lower_case_table_names=1

创建MySQL数据目录

因为默认MySQL启动后他的文件是在容器中的,如果我们删除容器,数据也将会消失,我们需要将数据挂载出来。

#创建mysql存储的目录mkdir -p /tmp/data/mysql

启动MySql

docker run
docker run -d -p 3306:3306 -v /tmp/etc/mysql:/etc/mysql/mysql.conf.d/ -v /tmp/data/mysql:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=root --name mysql mysql:5.7.34

到这里MySQL已经后台运行了

参数解释

-dMYSQL_ROOT_PASSWORD=rootENV

检查MySQL运行状态

现在并不能确认MySQL的运行状态,我们需要去看下

查看容器运行状态

docker ps
docker ps

执行命令后,我们看到mysql的服务已经起来了

查看MySQL运行日志

docker logs
docker logs -f mysql
-f

客户端连接MySQL

因为我们已经暴漏端口了,可以使用客户端工具连接MySQL

检查配置的大小写参数是否生效

SHOW VARIABLES LIKE '%case_table%';

查看容器挂载的配置文件

docker exec -ti mysql /bin/bash
# 登录容器docker exec -ti mysql /bin/bash

该命令含义是在mysql容器中以

我们可以看到我们修改的配置文件已经被挂载到了docker内部,这里面用到了exec命令,主要是在deocker容器中运行命令,下面我们介绍下

命令格式

主要是在deocker容器中运行命令

docker exec [options] container command [arg...]

命令参数

名称简写描述
--detach-d后台运行模式,在后台执行命令相关命令
--detach-keys覆盖容器后台运行的一些参数信息
--env-e设置环境变量
--interactive-i展示容器输入信息STDIN
--privileged为命令提供一些扩展权限
--tty-t命令行交互模式
--user-u设置用户名(format: <name|uid>[:<group|gid>])
--workdir-w指定容器内的目录

查看挂载的数据文件

可以看下挂载的数据文件是否存在

cd /tmp/data/mysql/ && ll

我们看到数据文件已经写入了

MySQL准备数据

MySql需要导入一些数据用来操作,我们用MySQL官方提供的数据库来操作

下载并导入数据

下载MySQL测试数据库

到测试数据官网 下载数据库文件

employees.sql
set storage_engine = InnoDB;set default_storage_engine = InnoDB;select CONCAT('storage engine: ', @@storage_engine) as INFO;select CONCAT('storage engine: ', @@default_storage_engine) as INFO;
.....set default_storage_engine = InnoDB;-- set storage_engine = MyISAM;-- set storage_engine = Falcon;-- set storage_engine = PBXT;-- set storage_engine = Maria;select CONCAT('storage engine: ',@@default_storage_engine) as INFO;.....

导入测试数据

下载解压后,在本地执行命令导入到mysql服务器

mysql -uroot -h192.168.64.152 -p < employees.sql

客户端检查数据

在登陆客户端就能看到数据库以及表了

安装部署nacos

​ Nacos是阿里巴巴开源的一款支持服务注册与发现,配置管理以及微服务管理的组件。用来取代以前常用的注册中心(zookeeper , eureka等等),以及配置中心(spring cloud config等等)。Nacos是集成了注册中心和配置中心的功能,做到了二合一。

直接运行服务

可以直接用docker 启动服务,镜像不存在会自动拉取

docker run -d -p 8848:8848 --name nacos --env MODE=standalone nacos/nacos-server

运行容器后可以稍等下,等待nacos启动成功,受环境限制启动可能有些慢

登录页面测试

可以登录服务器测试以下

用户名:nacos 密码:nacos

微服务打包镜像

我们准备将一个微服务打包成Docker镜像,在各种服务器中进行运行,改为服务支持进行查询用户信息

提前说明

learn-docker-storage

访问测试

learn-docker-storage
http://localhost:8003/storage/employe/findByID/10001

打包上传微服务

learn-docker-storage

注意配置项

这里需要检查下maven配置的编译属性是否正确

192.168.64.153:3306192.168.64.153:8848

我们发现是我们容器中启动的地址

上传打包后的微服务

将target目录中打包完成的微服务上传到服务器

创建DockerFile

Dockerfile 是一个用来构建镜像的文本文件,文本内容包含了一条条构建镜像所需的指令和说明。

创建一个Dockerfile文件

vi Dockerfile

具体内容如下

FROM openjdk:8-jdk-alpineVOLUME /tmpADD learn-docker-storage-1.0-SNAPSHOT.jar app.jarEXPOSE 8003ENTRYPOINT ["java","-Djava.security.egd=file:/dev/./urandom","-jar","/app.jar"]

命令解释

  • FORM:定制的镜像都是基于 FROM 的镜像,这里的 openjdk 就是定制需要的基础镜像,后续操作都是基于openjdk

  • VOLUME:挂载一个数据卷,这里因为没有名称,所以是一个默认的数据卷(后面详细解释)

  • ADD:添加一层镜像到当前镜像,这里就是添加SpringBootTest镜像到当前层,并改名app.jar

  • EXPOSE:暴漏端口,因为我们的自己的端口是8080,所以我们暴漏8080

  • ENTRYPOINT:设定容器启动时第一个运行的命令及其参数,这里就是容器以启动就执行 java -jar /app.jar

打包镜像

docker build

构建命令格式

构建一个镜像需要使用以下命令

docker bulid -t 仓库名/镜像名:tag .

参数解释

docker.io.library/.docker build

实战操作

Dockerfile
Dockerfile

当前目录的结构如下

构建镜像

进入Dockerfile的目录,通过如下命令构建镜像

docker build -t learn-docker-storage:0.0.1 .
Successfully

查看我们构建的镜像

docker images
docker images

我们可以看到我们的镜像就在第一个位置

运行镜像

刚才已经打包完成了镜像,现在我们运行我们自己的镜像

# 运行容器docker run -d -p 8003:8003 learn-docker-storage:0.0.1# 查看运行中的容器docker ps
learn-docker-storage:0.0.1

参数解释

  • -d:后台运行

  • -p:映射端口,将宿主机的8080端口映射到docker内部的8080端口上

查看启动日志

docker logs 容器ID
docker logs -f 74c239792266

尝试访问服务

curl
curl http://192.168.64.153:8003/storage/employe/findByID/10001 | python -m json.tool

我们发现服务调用成功了,我们基本实现了微服务改造为docker方式并运行

删除容器

要删除一个容器首先需要将一个容器停止掉

停止容器

docker stop 容器ID
docker stop 3752f7088a04

停止容器后,我们在通过进程查看是看不到容器的,但是容器还是存在我们的服务中的

查看全部容器

docker ps-a
docker ps -a
-a

启动停止的容器

docker start 容器ID
docker start 3752f7088a04

这样就把刚才已经停止的容器启动了

删除容器

docker rm 容器ID-f
docker rm -f 3752f7088a04
docker rm 
docker rm 3752f7088a04

这个时候就把容器给删除掉了

日志挂载优化

存储卷优化

什么是存储卷

“卷”是容器上的一个或多个“目录”,此类目录可绕过联合文件系统与宿主机上的某个目录“绑定(关联)”;

​ 在Docker中,要想实现数据的持久化(所谓Docker的数据持久化即数据不随着Container的结束而结束),需要将数据从宿主机挂载到容器中。

​ Docker管理宿主机文件系统的一部分,默认位于 /var/lib/docker/volumes 目录中;(最常用的方式

存储卷优化写入速度

Docker镜像由多个只读层叠加而成,启动容器时,docker会加载只读镜像层并在镜像栈顶部加一个读写层;

​ 如果运行中的容器修改了现有的一个已经存在的文件,那该文件将会从读写层下面的只读层复制到读写层,该文件版本仍然存在,只是已经被读写层中该文件的副本所隐藏,此即“写时复制(COW)”机制

为了避免这种情况,构建Dockerfile的时候应该加入一个存储卷

Dockerfile增加存储卷

增加存储卷

/logs
FROM openjdk:8-jdk-alpineVOLUME /tmp /logsADD learn-docker-storage-1.0-SNAPSHOT.jar app.jarEXPOSE 8003ENTRYPOINT ["java","-Djava.security.egd=file:/dev/./urandom","-jar","/app.jar"]

构建镜像

0.0.2
#构建镜像docker build -t learn-docker-storage:0.0.2 .# 查看镜像列表docker images

运行容器

通过run命令运行容器

# 运行容器docker run -d -p 8003:8003 learn-docker-storage:0.0.2# 查看运行中的容器docker ps

查看存储卷

docker volume ls
docker volume ls

查看容器信息

docker inspect 容器ID
docker inspect 2041965c3e87|grep Mounts -A20

通过这个命令可以看到数据卷的名称以及宿主机的存储路径,我们可以直接到宿主机打印日志

# 进入文件挂载目录cd /var/lib/docker/volumes/d35de1b7e4631908b05635db4c1f114ab3aafbdf25a9843c068696e66a779c75/_data# 输出日志tail -f learn-docker-storage.log

这样就看到了我们的日志文件

验证存储卷

删除容器检查存储卷释放消失

# 查看运行的容器列表docker ps#删除容器docker rm -f 2041965c3e87#查看所有的容器列表(运行+停止)docker ps -a

我们看到容器已经被删除了,检查我们的存储卷

docker volume ls

发现存储卷还存在,数据还是存在的,并且数据也存在

# 查看存储卷列表docker volume ls# 查看存储卷详情docker inspect 296ccc64d919e86bb8329bf6b08447c2ea6a118458d3fcb86d5c7c9a3177dfe0

重新运行镜像启动一个新的容器

# 运行容器docker run -d -p 8080:8080 e1222496c69f# 查看运行中的容器docker ps

启动容器后查看存储卷列表

# 查看存储卷列表docker volume ls

我们发现有创建了两个存储卷,查看容器详情

docker inspect 2041965c3e87|grep Mounts -A20

我们发现新启动的容器新开了一个匿名存储卷

bind挂载共享存储

什么是bind

​ Bind mounts模式和Volumes非常相似,不同点在于Bind mounts模式是将宿主机上的任意文件或文件夹挂载到容器,而Volumes本质上是将Docker服务管理的一块区域(默认是/var/lib/docker/volumes下的文件夹)挂载到容器。

共享存储

-v
# 级联创建文件夹mkdir -p /tmp/data/logs# 运行容器,指定挂载路径 docker run -d -v /tmp/data/logs:/logs \-p 8003:8003 --name learn-docker-storage \learn-docker-storage:0.0.2
--name
docker inspect
docker inspect learn-docker-storage|grep Mounts -A20

我们发现挂载日志的挂载方式已经变了,由原来的volume变为了bind,并且挂载路径变为了我们自己定义的路径,进入目录查看

# 进入目录并浏览目录文件cd /tmp/data/logs/&&ll# 打印日志详情tail -f learn-docker-storage.log

验证共享存储

我们也按照上面步骤验证下bind方式挂载的存储,先删除容器,检查日志文件是否存在

# 停止并删除容器docker rm -f learn-docker-storage# 查看容器已经被删除了docker ps -a# 进入日志挂载路径查看日志是否村咋cd /tmp/data/logs/&&ll

我们发现容器被删除但是日志文件还存在本地

启动一个新的容器

# 运行容器,指定挂载路径 docker run -d -v /tmp/data/logs:/logs \-p 8003:8003 --name learn-docker-storage \learn-docker-storage:0.0.2# 查看日志文件cat learn-docker-storage.log

我们发现新的容器的日志文件追加进来了

我们发现日志已经追加,我们让不同的容器挂载同一个目录了

volume和bind的区别

对于多个容器需要共享访问同一数据目录,或者需要持久化容器内数据(如数据库)时,我们都是采用挂载目录形式(bind mounts),将宿主机的某一目录挂载到容器内的指定目录,这种方式能解决问题,但这种方式也一直有一些缺点

  • 容器在不同的服务器部署需要根据实际磁盘挂载目录修改路径
  • 不同操作系统的文件和目录权限会搞得你昏头转向,火冒三丈 ?

​ bind mount和volume其实都是利用宿主机的文件系统,不同之处在于volume是docker自身管理的目录中的子目录,所以不存在权限引发的挂载的问题,并且目录路径是docker自身管理的,所以也不需要在不同的服务器上指定不同的路径,你不需要关心路径。

清理volume挂载

volume挂载方式,会生成很多匿名的目录,我们可以找到对应的没有使用的volume进行删除

docker volume ls

通过查看我们发现里面,有很多的volume,我们可以找到没有用的删除

docker volume rm volume_name

还可以通过命令将没有引用的全部volume清除掉,但是这个命令很危险

docker volume prune

这样就将我们服务器上无效的volume清除掉了

网络优化

Docker网络原理

​ Docker使用Linux桥接,在宿主机虚拟一个Docker容器网桥(docker0),Docker启动一个容器时会根据Docker网桥的网段分配给容器一个IP地址,称为Container-IP,同时Docker网桥是每个容器的默认网关。因为在同一宿主机内的容器都接入同一个网桥,这样容器之间就能够通过容器的Container-IP直接通信。

​ Docker网桥是宿主机虚拟出来的,并不是真实存在的网络设备,外部网络是无法寻址到的,这也意味着外部网络无法通过直接Container-IP访问到容器。如果容器希望外部访问能够访问到,可以通过映射容器端口到宿主主机(端口映射),即docker run创建容器时候通过 -p 或 -P 参数来启用,访问容器的时候就通过[宿主机IP]:[容器端口]访问容器。

Docker网络模式

Docker网络模式配置说明
host模式–net=host容器和宿主机共享Network namespace。
container模式–net=container:NAME_or_ID容器和另外一个容器共享Network namespace。 kubernetes中的pod就是多个容器共享一个Network namespace。
none模式–net=none容器有独立的Network namespace,但并没有对其进行任何网络设置,如分配veth pair 和网桥连接,配置IP等。
overlay模式-- driver overlayDocker跨主机通信模式,使用分布式计算机架构后需要使用overlay网络模式
bridge模式–net=bridge(默认为该模式)

host模式

​ 如果启动容器的时候使用host模式,那么这个容器将不会获得一个独立的Network Namespace,而是和宿主机共用一个Network Namespace。容器将不会虚拟出自己的网卡,配置自己的IP等,而是使用宿主机的IP和端口。但是,容器的其他方面,如文件系统、进程列表等还是和宿主机隔离的。

​ 使用host模式的容器可以直接使用宿主机的IP地址与外界通信,容器内部的服务端口也可以使用宿主机的端口,不需要进行NAT,host最大的优势就是网络性能比较好,但是docker host上已经使用的端口就不能再用了,网络的隔离性不好。

Host模式如下图所示

container模式

​ 这个模式指定新创建的容器和已经存在的一个容器共享一个 Network Namespace,而不是和宿主机共享。新创建的容器不会创建自己的网卡,配置自己的 IP,而是和一个指定的容器共享 IP、端口范围等。同样,两个容器除了网络方面,其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过 lo 网卡设备通信。

Container模式示意图

none模式

​ 使用none模式,Docker容器拥有自己的Network Namespace,但是,并不为Docker容器进行任何网络配置。也就是说,这个Docker容器没有网卡、IP、路由等信息。需要我们自己为Docker容器添加网卡、配置IP等。

​ 这种网络模式下容器只有lo回环网络,没有其他网卡。none模式可以在容器创建时通过--network=none来指定。这种类型的网络没有办法联网,封闭的网络能很好的保证容器的安全性。

None模式示意图

overlay模式

​ 容器在两个跨主机进行通信的时候,是使用overlay network这个网络模式进行通信,如果使用host也可以实现跨主机进行通信,直接使用这个物理的ip地址就可以进行通信。overlay它会虚拟出一个网络比如10.0.9.3这个ip地址,在这个overlay网络模式里面,有一个类似于服务网关的地址,然后把这个包转发到物理服务器这个地址,最终通过路由和交换,到达另一个服务器的ip地址。

bridge模式

​ 当Docker进程启动时,会在主机上创建一个名为docker0的虚拟网桥,此主机上启动的Docker容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似,这样主机上的所有容器就通过交换机连在了一个二层网络中。

​ 从docker0子网中分配一个IP给容器使用,并设置docker0的IP地址为容器的默认网关。在主机上创建一对虚拟网卡veth pair设备,Docker将veth pair设备的一端放在新创建的容器中,并命名为eth0(容器的网卡),另一端放在主机中,以vethxxx这样类似的名字命名,并将这个网络设备加入到docker0网桥中。可以通过brctl show命令查看。

​ bridge模式是docker的默认网络模式,不写--net参数,就是bridge模式。使用docker run -p时,docker实际是在iptables做了DNAT规则,实现端口转发功能。可以使用iptables -t nat -vnL查看。

bridge模式如下图所示

我们的网络结构

bridge

我们可以让我们的网络直接接入桥接网络,例如下图

创建网络

查看网络列表

 docker network ls
# 查看网络列表docker network ls

上面就是容器默认几种网络

创建一个桥接网络

bridgedocker network create 网络名称
# 创建一个桥接网络docker network create learn-docker-network# 查看网络列表docker network ls

服务接入网络

停止并删除原有容器

停止和删除我们的微服务以及mysql服务

# 删除当前运行中的容器docker rm -f learn-docker-storage nacos mysql

创建MySQL

因为我们的微服务依赖MySQL先启动MySQL并接入网络,因为MySQL不需要通过宿主机访问,所有也不需要映射端口了,--network 是配置接入哪一个网络

docker run -d \-v /tmp/etc/mysql:/etc/mysql/mysql.conf.d/ \-v /tmp/data/mysql:/var/lib/mysql \-e MYSQL_ROOT_PASSWORD=root \--name mysql --network=learn-docker-network \mysql:5.7.34

这样我们就把我们的MySQL服务启动起来了并且加入了learn-docker-network的网络

创建Nacos

我们的nacos是需要暴漏端口的,因为我们需要外部能够看到nacos页面,但是我们也需要我们的nacos连接到当前网络

docker run -d -p 8848:8848 \--network=learn-docker-network \--name nacos --env MODE=standalone \nacos/nacos-server

查看网络详情

docker network inspect 网络名称
docker network inspect learn-docker-network|grep Containers -A 20

修改微服务配置

因为需要使用自定义网络访问mysql容器以及nacos容器,需要修改微服务数据库连接地址,

​ docker 网络访问 可以通过IP或者通过服务名称都是可以的,这里我们通过服务名称访问,因为我们使用了maven打包的方式,我们只需要将pom文件修改就可以

mysql:3306nacos:8848

修改完成后进行编译项目

mysqlnacos

重新打包服务

将打包的文件上传服务器后按照上面步骤同上面打包,打包版本为 0.0.3

docker build -t learn-docker-storage:0.0.3 .

创建微服务

下面就按部就班的创建微服务就可以,只是注意需要加入网络,这里这个端口需要映射外网访问

docker run -d \-v /tmp/data/logs:/logs \-p 8003:8003 \--name learn-docker-storage \--network=learn-docker-network \learn-docker-storage:0.0.3

测试微服务

到现在微服务已经启动,我们尝试访问以下

curl http://192.168.64.153:8003/storage/employe/findByID/10001 | python -m json.tool

访问测试数据没有问题,到现在我们服务已经搭建完成,并且使用网络进行了优化