docker集群（docker集群部署web项目）

本篇文章给大家谈谈docker集群，以及docker集群部署web项目对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、Docker 搭建 Nginx 集群
• 2、使用 Docker 搭建 Hadoop 集群 和 Spark On Yarn
• 3、使用 Docker Stack 部署多服务集群
• 4、AWS服务建设之路-Docker集群
• 5、如何利用docker-swarm构建数据库集群？
• 6、docker mysql集群

Docker 搭建 Nginx 集群

实现负载均衡其实并不难、只是很多人不敢去尝试而已,简单来说就是:

在nginx里面配置一个upstream，然后把相关的服务器ip都配置进去。然后采用轮询的方案，然后在nginx里面的配置项里，proxy-pass指向这个upstream，这样就能实现负载均衡.

nginx的负载均衡有4种模式：

1)、轮询（默认）

    每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。

2)、weight

    指定轮询几率，weight和访问比率成正比，用于后端服务器性能不均的物闹情况。

3)、ip_hash

    每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题。

4)、fair ， url_hash（第三方）

    按后端服务器的响应时间来分配请求，响应时间短的优先分配。

    高贺docker pull nginx ( docker pull daocloud.io/nginx 这个稍微快点 )

    docker run -itd --name nginx1 -p 8080:80 nginx /bin/bash -- 主

    docker run -itd --name nginx2 nginx /bin/bash

    docker run -itd --name nginx3 nginx /bin/bash

    docker ps 查看

       docker network ls

docker nerwork inspect d530da7ebbd3

       进入nginx1 (主)

            docker exec -it d530da7ebbd3 /bin/bash   

            安装 vim 编辑器 (如有其他、尽可随意)   ---  注意:nginx2、nginx3 均安装 编辑器、下文不再赘述

                        1.  apt update   2.  apt install vim 

            cd /etc/nginx/

            vim nginx.conf

    进入nginx2

                docker exec -it e59de010efff /bin/bash

                    cd /usr/share/nginx/html/

                    vim index.html

                            Welcome to nginx! 后添加: From 172.17.0.3:80 即可

            进入nginx3

                docker exec -it 0f12240cb622 /bin/bash

                    cd /usr/share/nginx/html/

                    vim index.html

                            Welcome to nginx! 后添加: From 172.17.0.4:80 即可

重启三个nginx服务   service nginx restart

此时如果 docker容器会关闭、因此需要再次重启

        docker start d530da7ebbd3

        docker start e59de010efff

        docker start 0f12240cb622

测试结果

补充:

    上述说到 负载均衡有4种模式、

配置分别如下:

轮询模式:

    upstream webname {

    戚蚂派    server192.168.0.1:8080;

        server192.168.0.2:8080;

  }

weight 模式:

    upstream webname {

        server192.168.0.1:8080 weight=2;

        server192.168.0.2:8080 weight=1;

  }

ip_hash模式:

 upstream webname {

    ip_hash;

    server192.168.0.1:8080;

    server192.168.0.2:8080;

  }

其他配置:

设置某一个节点为backup，那么一般情况下所有请求都访问server1，当server1挂掉或者忙的的时候才会访问server2

upstream webname {

    server192.168.0.1:8080;

    server192.168.0.2:8080 backup;

  }

设置某个节点为down，那么这个server不参与负载。

upstream webname {

    server192.168.0.1:8080;

    server192.168.0.2:8080 down;

  }

[img]

使用 Docker 搭建 Hadoop 集群 和 Spark On Yarn

选择 uhopper 定制的一系列hadoop生态镜像来搭建胡悔docker集群，这些镜像具体包括:

上述关于端口映射部分，对裤激正每铅猛个容器端口的说明可 参考

docker-compose up -d

在 /etc/hosts 下配置上述 docker 容器中出现的 hostname，将这些域名都指向本机(宿主机) IP，192.168.1.100 为本机 ip，仅供参考。

core-site.xml 增加指向 namenode 的配置，其中 hdfs://namenode:8020 指向 docker 容器中的 namenode host，因此这里我们需要在 /etc/hosts 中加入此域名，并配置为宿主机 ip

yarn-site.xml

使用 Docker Stack 部署多服务集群

单机模式下，我们可以使用 Docker Compose 来编排多个服务，而在 上一篇文章 中介绍的 Docker Swarm 只能实现对单个服务的简单部署。于是就引出了本文的主角 Docker Stack ，通过 Docker Stack 我们只需对已有的 docker-compose.yml 配置文件稍加改造就可以完成 Docker 集群环境下的肆悉仿多服务编排。

注意：如果有多个 manager 节点，portainer 和 visualizer 可能分别部署在两台机器上，所以ip可能会不一样。

评论区有小伙伴提到，容器间通过服务名 ( 比如文中的 nginx ) 通讯时，对应的 IP 却和容器的实际 IP 对裂纤不上。出现这个情况是陆亩因为负载均衡（ 对外表现为一个服务，内部为多个服务 ）。下面是我做的试验，希望能帮助大家理解。

总结下：

整个请求的调用流程应该就是： 通过服务名 nginx 访问 -- 指向 -- stack 集群网关 ( 10.0.6.5 ) -- 转发 -- stack 集群中，位于当前服务器的负载均衡实例 ( 10.0.6.4 ) -- 分发 -- 最终的应用 。

AWS服务建设之路-Docker集群

最近的项目处于种种原因要放到亚马逊上面，也正好体验一下世界最大云计算平台的服务。于是又开始了漫长的爬坑路。不得不说AWS的管理交互台设计充满了工业气息，新手很难上手，但熟练工会觉得很直观。

简单来说分4步：

ECR是私有镜像仓库，先把自己的镜像上传上来，这一步的坑就在于要上传镜像不能直接 docker login 需要

ECS有一个很重要的概念，任务定义。这个概念类似于 k8s 的 pod。任务定义抽象出了任务这个概念，一项任务可以包含多个docker镜像及对应的参数/环境配置，并且拥有CPU，内存限额。

任务定义拥有版本号，只能创建新版本不能修改以前版本。

而在集群中的调度则是以任务定义为对象。

所以我们为我们每一个服务创建了1个任务定义，一个任务定义包含1个镜像。

这里有3种网络模式供选择：

大部分情况我们都使用桥接模式，少部分情况使用 awsvpc 。主机模式则尽量不要使用，不利于编排。 awsvpc 的具体使用场景会在下文服务发现章节介绍。

动态端口映射 技术，是指将容器在宿主机上的外部端口随机映射，只在桥接模式下有效。

勾上日志配置，ECS就会自动把镜像的标准输出定向到 CloudWatch，就可以去那里查看镜像日志了，当然专业的日志系统还是得ELK。

ECS有2种集群，Fargate 与 EC2 Linux。

Fargate是很酷炫的架构，特别是在资源占用量不稳定，时间不确定的情况下很合适。而且全部使用awsvpc网络模式，所有的服务都可以拥有独立IP，纯正的无服务器架构。只有一个缺点，贵（同样资源量是EC2的3倍价格...

建议创建空集群，再自行添加服务器，不然容易触发一些 keng

上面说了任务定义，那么任务这个概念也很简单，被运行的任务定义。

一个任务可能包含多个容器，这个任务可能是在有限时间内执行完毕就停止的，比如拦册蠢一次性脚本，也可能是无限运行的，比如nginx服务器。

服务这个概念比较复杂，一个服务会管理一个任务定义在运行时的方方面面

服务没有停止功能，只能修改任务数为0。

服务删除后，需要手动停止已经运行的任务。

AWS提供基于Router53(DNS服务)的服务发现，其实很难用，awsvpc模式的很方便，桥接模式下特难用。

在awsvpc模式中 ，因为每个任务都有自己的IP，所以端口可以直接固定，不会存在冲突，配合基于Router53的服务发现可以直接完成完美的服务发现--无论如何更新重启服务，总能通过固定域名访问到服务。但因为一台服务器只能绑定3张网卡，所以只能启动3个awsvpc模式容器。

在桥接模式中 ，每个任务都使用宿主机的ip，以及随机分配的端口，所以服务发现需要带上端口，不然也不能正常发现。AWS提供SRV类型的DNS记录用作服务发现，本身是没有问题，但SRV并不是被广泛接受的记录类型，浏览器与网络库均不能解析SRV记录，所以要访问服务还需要定制DNS解析。

所以我们最终选择使用Eureka作为服务发现简陪服务，使用awsvpc作为补充的服务发现服务，比如将Eureka本身及xxl-job等使用awsvpc部署。

在选用了Eureka之姿尺后，又遇到了问题。因为使用了动态端口映射，所以向Eureka注册的端口不是Spring的监听端口，并且容器内部无法知道宿主机的ip与端口。

这里通过多种方式配合破局：

不过要注意，启用元数据服务，需要修改ECS代理配置，而这个配置是在集群创建时就写入服务器的，所以要修改ECS代理配置，必须要先修改自动伸缩组的初始化脚本，再删除伸缩组内所有服务器，再重新添加服务器。

这样就可以在Eureka中心正确展示服务信息了。

如何利用docker-swarm构建数据库集群？

可以的。

用什么工具无所谓，docker只不过是完成了一个套装的解决方案。软件已经安装好，直接启动带相应的参数就可以了。比如官方postgresql的经典的流复制模式搭建主从和postgresql10的逻辑复制。先启动个容器传入参数启动，数据目录，用户名密码，挂载数据盘，创建publication。一气呵成。再启动一个容器，同样设置数据目录，设置密码，挂载数据盘，创建subscription连接master。同样一气呵成。然后一个逻辑复制的小型集群就搭建好了。

但是我觉得你想问的不是怎么搭建这样一个集群，而是想知道postgresql-xl怎么把海量数据分散到不同的服务节点上去吧？这是sharding技术跟x不xl没有任何关系。postgresql-xl只不过携吵是其本身就是基于postgresql内核的分布式数据库其自运隐谨身就有代理节点，计算节点，数据节点，全局事物节点。跟docker并没有什么关系，docker就是一旁基个可以运行他的一个容器化的虚拟环境而已，可以理解成vps/虚拟机。

像官方版postgresql也可以利用其自带的分区和fdw功能去实现像postgresql-xl那样的把海量数据均衡的分布到无数个服务器节点中去。只是配置和维护稍显繁琐。

docker mysql集群

目的耐慧使用docker安装档弯mysql主从集群

docker pull mysql:5.7.33

mkdir -p mydata/mysql/master/log

mkdir -p mydata/mysql/master/data

mkdir -p mydata/mysql/master/conf

docker run -p 3307:3306 --name mysql-master -v /mydata/mysql/master/log:/var/log/mysql -v /mydata/mysql/master/data:/var/lib/mysql -v /mydata/mysql/master/conf:/etc/mysql -e MYSQL_ROOT_PASSWORD=root -d mysql:5.7.33

docker run -p 3308:3306 --name mysql-slave1 -v /mydata/mysql/slave1/log:/var/log/mysql -v /mydata/mysql/slave1/data:/var/lib/mysql -v /mydata/mysql/slave1/conf:/etc/mysql --link mysql-master:master -e MYSQL_ROOT_PASSWORD=root -d mysql:5.7.33

docker run -p 3309:3306 --name mysql-slave2 -v /mydata/mysql/slave2/log:/var/log/mysql -v /mydata/mysql/slave2/data:/var/lib/mysql -v /mydata/mysql/slave2/conf:/etc/mysql --link mysql-master:master -e MYSQL_ROOT_PASSWORD=root -d mysql:5.7.33

映射文件夹修改配置

vi /mydata/mysql/conf/my.conf

下面是my.conf配置文件内容

[client]

default-character-set=utf8

[mysql]

default-character-set=utf8

[mysqld]

init_connect='SET collation_connection = utf8_unicode_ci'

init_connect='SET NAMES utf8'

character-set-server=utf8

collation-server=utf8_unicode_ci

skip-character-set-client-handshake

skip-name-resolve

再修改my.cnf配置

vi /mydata/mysql/conf/my.cnf

下面是my.cnf配置文件内容行亩闷

[mysqld]

log-bin=/var/lib/mysql/mysql-bin

server-id=1001

expire_logs_days = 30

docker restart mysql

docker exec -it mysql bash

mysql -u root -p

ALTER USER 'root'@'localhost' IDENTIFIED BY 'Lens2022';

grant replication slave on . to 'upstream'@'%' identified by '123456';

flush privileges;

show variables like '%log_bin%';

show master status\G;

stop slave;

change master to master_host='master', master_user='slave', master_password='123456', master_port=3307, master_log_file='mysql-bin.000001', master_log_pos=154, master_connect_retry=30;

start slave;

show slave status\G;

关于docker集群和docker集群部署web项目的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。