2小时躲坑k8s-大型分布式集群环境捷径部署#

课程介绍#

Kubernetes(k8s)一个用于容器集群的自动化部署、扩容以及运维的开源平台。通过Kubernetes,你可以快速有效地响应用户需求;快速而有预期地部署你的应用;极速地扩展你的应用;无缝对接新应用功能;节省资源，优化硬件资源的使用。为容器编排管理提供了完整的开源方案。

Kubernetes解决了什么问题？

服务器环境
服务器资源管理
服务容灾恢复
硬件资源利用
服务资源创建
可视化管理
服务资源监控
资源整合管理

Kubernetes在容器编排可谓是做到了淋漓尽致，解决了之前的种种痛点，但是学习成本也相对较高，需要结合一定的实践，踩一定的坑才能形成自己的理解。

目标#

了解什么是k8s，为什么世界需要它，k8s的工程师又为什么这么抢手。
k8s企业环境部署捷径，多Master/node躲坑快速部署。
基于Kubernetes集群管理,kubeadm，kubectl等常见指令使用。
基于Kubernetes快速启动集群Web应用。

一、Kubernetes概述#

1、什么是k8s#

Kubernetes（K8s）是Google在2014年发布的一个开源项目。

据说Google的数据中心里运行着20多亿个容器，而且Google十年多前就开始使用容器技术。

最初，Google开发了一个叫Borg的系统（现在命名为Omega）来调度如此庞大数量的容器和工作负载。在积累了这么多年的经验后，Google决定重写这个容器管理系统，并将其贡献到开源社区，让全世界都能受益。

这个项目就是Kubernetes。简单地讲，Kubernetes是Google Omega的开源版本。

从2014年第一个版本发布以来，Kubernetes迅速获得开源社区的追捧，包括Red Hat、VMware、Canonical在内的很多有影响力的公司加入到开发和推广的阵营。目前Kubernetes已经成为发展最快、市场占有率最高的容器编排引擎产品。

k8s2

k8s3

2、Kubernetes解决了什么问题#

通过 Kubernetes，分布式系统工具将拥有网络效应。每当人们为 Kubernetes 制作出的新的工具，都会让所有其他工具更完善。因此，这进一步巩固了 Kubernetes 的标准地位。
云提供商并非可替换的商品。不同的云提供的服务会变得越来越独特和不同。如果可以访问不同的云提供商提供的不同服务，那么企业将因此受益。
当多节点应用与单节点应用一样可靠时，我们将看到定价模型的变化。
这就是为什么我会被 Kubernetes 洗脑的原因，它是跨越异构系统的一个标准层。
将来，我们会像讨论编译器和操作系统内核一样讨论 Kubernetes。 Kubernetes 将会是低层级的管路系统，而不在普通应用开发人员的视野之内。

Kubernetes 已成为部署分布式应用的标准方式。在不远的将来，任何新成立的互联网公司都将用到 Kubernetes，无论其是否意识到这点。许多旧应用也正在迁移到 Kubernetes。

2.1 起因：Docker#

单一稳定的一体化模型#

微型化的应用部署模型#

(微服务、分布式、集群、高可用、负载均衡…)

2.2 容器编排？是需要标准的？#

如此多的docker该如何管理(通信、负载均衡、资源共享管理、容灾、监控、健康检查….)？

Mesos

docker swarm

kubernetes

自2016年中，k8s表现出明显优势。

3. kubernetes工程师价值#

二、环境#

2.1 部署软件环境版本#

操作系统: Ubuntu 18.10(本教程采用server版本)

Docker： docker-ce 18.06

Kubernetes: k8s 1.13.1

2.2 Ubuntu搭建研发环境#

我们直接下载Unbuntu18.10-server版本，server版本的好处是没有Desktop,可以节省资源。

1
wget http://mirrors.aliyun.com/ubuntu-releases/18.10/ubuntu-18.10-live-server-amd64.iso

注:也可以从配套资料中获取

2.3 Ubuntu安装过程#

2.3.1 创建虚拟机#

在VMWare 中启动安装虚拟过程

创建新的虚拟机，选择推荐版本的iso文件
选择自定义安装
为此虚拟机选择操作系统 Linux Ubuntu 64位
指定引导固件UEFI 不要选择BIOS
命名为Master
自定设置存储为UbuntuMaster 2CPU 2048MB 20GB硬盘
建议移除声卡和摄像头

2.3.2 图形界面安装方式#

选择英文语言
英文键盘
设置国内镜像源头 http://mirrors.aliyun.com/ubuntu/ 注意末尾的斜线
设置您的用户名和密码，下文使用YOUR_USERNAME YOUR_PASSWORD
切勿选择 microk8s snap stable: v1.14.2 空格选中

ubuntu5

Tab键切换到DONE回车，开始安装过程

ubuntu6

安装结束后点击重启Reboot Now

修改root密码#

安装过程中，输入用户名 YOUR_USERNAME 密码: YOUR_PASSWORD
重新启动后登录用户名 YOUR_USERNAME 密码: YOUR_PASSWORD
确认登录成功后输入sudo passwd 输入上面的YOUR_PASSWORD,然后输入root用户的密码root

1
设置root用户的密码root，是为了教学过程中简单。
2
但是在生产环境下禁止使用弱强度的密码。

ubuntu8

执行exit退出当前登录用户，然后使用root用户重新登录
输入shutdown now停机

2.4 修改主机名#

修改主机名称

使用root用户登录
打开配置文件vim /etc/cloud/cloud.cfg
修改配置preserve_hostname: true

ubuntu9

重启

1
$ shutdown -r now

2.5 配置静态IP(永久有效)(NAT模式)#

使用root用户登录Linux，如下以Node2为例
vim /etc/netplan/50-cloud-init.yaml
参考如下截图修改配置文件

UbuntuMaster 172.16.235.146
UbuntuNode1 172.16.235.147
UbuntuNode2 172.16.235.148

1
network:
2
    ethernets:
3
        ens33:
4
            addresses: [192.168.236.177/24]
5
            dhcp4: false
6
            gateway4: 192.168.236.2
7
            nameservers:
8
                       addresses: [192.168.236.2]
9
            optional: true
10
    version: 2

或者动态获取

2.6 修改hosts#

使用root用户登录

打开hosts文件 vim /etc/hosts
输入如下内容
Terminal window
```
1
192.168.236.177 master
```
这个ip是当前桥接或者NAT分配的IP地址
重启机器shutdown -r now

ip应用启动：#

$netplan apply

三、Docker-CE安装及配置#

3.1 Docker简介#

3. 1.1 docker介绍#

docker是什么 ?

Docker 是一个开源的应用容器引擎，是直接运行在宿主操作系统之上的一个容器，使用沙箱机制完全虚拟出一个完整的操作，容器之间不会有任何接口，从而让容器与宿主机之间、容器与容器之间隔离的更加彻底。每个容器会有自己的权限管理，独立的网络与存储栈，及自己的资源管理能，使同一台宿主机上可以友好的共存多个容器。
docker与虚拟机对比

如果物理机是一幢住宅楼，虚拟机就是大楼中的一个个套间，而容器技术就是套间里的一个个隔断。
- 虚拟化技术不同
  - VMware Workstation、VirtualBoX
  硬件辅助虚拟化：（Hardware-assisted Virtualization）是指通过硬件辅助支持模拟运行环境，使客户机操作系统可以独立运行，实现完全虚拟化的功能。
  - Docker
  操作系统层虚拟化：（OS-level virtualization）这种技术将操作系统内核虚拟化，可以允许使用者空间软件实例被分割成几个独立的单元，在内核中运行，而不是只有一个单一实例运行。这个软件实例，也被称为是一个容器（containers）、虚拟引擎（Virtualization engine）、虚拟专用服务器（virtual private servers）。每个容器的进程是独立的，对于使用者来说，就像是在使用自己的专用服务器。
  
  以上两种虚拟化技术都属于软件虚拟化，在现有的物理平台上实现对物理平台访问的截获和模拟。在软件虚拟化技术中，有些技术不需要硬件支持；而有些软件虚拟化技术，则依赖硬件支持。
- 应用场景不同
  - 虚拟机更擅长于彻底隔离整个运行环境。如: 云服务提供商通常采用虚拟机技术隔离不同的用户。
  - Docker通常用于隔离不同的应用，例如前端，后端以及数据库。
- 资源的使用率不同
  
  虚拟机启动需要数分钟，而Docker容器可以在数毫秒内启动。由于没有臃肿的从操作系统，Docker可以节省大量的磁盘空间以及其他系统资源。
docker的版本
- Docker-CE -> 社区版
  - Stable 版
    - 稳定版, 一个季度更新一次
  - Edge 版
    - 一个月更新一般
- Docker-EE
  - 企业版
  - 收费的

docker1

3.2 配置国内源#

3.2.1 基础准备#

Docker 要求 Ubuntu 系统的内核版本高于 3.10 ，查看本页面的前提条件来验证你的 Ubuntu 版本是否支持 Docker。

1
uname -r
2
4.18.0-21-generic(主版本必须保持一致)

安装curl

1
apt-get update && apt-get install -y curl telnet wget man \
2
apt-transport-https \
3
ca-certificates \
4
software-properties-common vim

查看新版本号
- Ubuntu 18.10
Terminal window
```
1
$ lsb_release -c
2
Codename:  cosmic
```

查看确认国内源

1
  $ cp /etc/apt/sources.list /etc/apt/sources.list.bak
2
  $ cat /etc/apt/sources.list

3.2.2 在线安装Docker-ce(本教程不推荐)#

(建议下面的手动安装方式，因为在线可能会出现版本不一致)

注意： 该国内源目前提供 18.09版本，与k8s不符。k8s推荐安装Docker ce 18.06

安装GPG秘钥和添加国内镜像

1
$ curl -fsSL https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/gpg | sudo apt-key add -

添加国内源头

1
$ add-apt-repository \
2
    "deb https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu \
3
    $(lsb_release -cs) \
4
    stable"

docker2

更新国内源路径

1
apt update

3.安装查看版本指令

1
apt-get install -y apt-show-versions

4.查看docker-ce版本号

1
apt-show-versions -a docker-ce

在线安装Docker-ce

1
   sudo apt-get update && apt-get install -y docker-ce

1
注意到当前安装的版本是 `docker-ce_5%3a18.09.6~3-0~ubuntu-cosmic_amd64.deb`

3.2.3 手动安装Docker(离线安装)#

下载docker-ce_18.06.1\~ce\~3-0\~ubuntu_amd64.deb
上传到上述文件到待安装服务器master
登录待安装服务器，切换到root账户
dpkg -i docker-ce_18.06.1\~ce\~3-0\~ubuntu_amd64.deb

如果提示错误

1
dpkg: error: dpkg frontend is locked by another process

说明已经有其他进程在使用dpkg安装程序

1
sudo rm /var/lib/dpkg/lock

即可。

如果提示错误

1
itcast@master:~/package$ sudo dpkg -i docker-ce_18.06.1~ce~3-0~ubuntu_amd64.deb
2

3
[sudo] password for itcast:
4
Selecting previously unselected package docker-ce.
5
(Reading database ... 100647 files and directories currently installed.)
6
Preparing to unpack docker-ce_18.06.1~ce~3-0~ubuntu_amd64.deb ...
7
Unpacking docker-ce (18.06.1~ce~3-0~ubuntu) ...
8
dpkg: dependency problems prevent configuration of docker-ce:
9
 docker-ce depends on libltdl7 (>= 2.4.6); however:
10
  Package libltdl7 is not installed.
11

12
dpkg: error processing package docker-ce (--install):
13
 dependency problems - leaving unconfigured
14
Processing triggers for man-db (2.8.4-2) ...
15
Processing triggers for systemd (239-7ubuntu10) ...
16
Errors were encountered while processing:
17
 docker-ce

表示当前docker-ce 依赖系统libltd17库，安装就可以了

1
$ apt-get install -y libltdl7

docker version

1
Client:
2
 Version:           18.06.1-ce
3
 API version:       1.38
4
 Go version:        go1.10.3
5
 Git commit:        e68fc7a
6
 Built:             Tue Aug 21 17:24:56 2018
7
 OS/Arch:           linux/amd64
8
 Experimental:      false
9

10
Server:
11
 Engine:
12
  Version:          18.06.1-ce
13
  API version:      1.38 (minimum version 1.12)
14
  Go version:       go1.10.3
15
  Git commit:       e68fc7a
16
  Built:            Tue Aug 21 17:23:21 2018
17
  OS/Arch:          linux/amd64
18
  Experimental:     false

确保版本号是 18.06

3.3 启动Docker-ce#

开机并启动docker

1
sudo systemctl enable docker
2
sudo systemctl start docker

重启，登录确认docker已经运行

1
itcast@ubuntu:~$ sudo docker ps
2
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES

下载Alpine镜像热身一下 Docker

1
~$ sudo docker run -it --rm alpine:latest sh

输出内容如下，我们在Docker容器中测试三个命令，分别是

1
- `date`
2
- `time`
3
- `uname -r`

1
itcast@ubuntu:~$ sudo docker run -it --rm alpine:latest sh
2
Unable to find image 'alpine:latest' locally
3
latest: Pulling from library/alpine
4
e7c96db7181b: Pull complete
5
Digest: sha256:769fddc7cc2f0a1c35abb2f91432e8beecf83916c421420e6a6da9f8975464b6
6
Status: Downloaded newer image for alpine:latest
7
/ # date
8
Mon Jun 10 07:56:01 UTC 2019
9
/ # time
10
BusyBox v1.29.3 (2019-01-24 07:45:07 UTC) multi-call binary.
11

12
Usage: time [-vpa] [-o FILE] PROG ARGS
13

14
Run PROG, display resource usage when it exits
15

16
  -v  Verbose
17
  -p  POSIX output format
18
  -f FMT  Custom format
19
  -o FILE  Write result to FILE
20
  -a  Append (else overwrite)
21
/ # uname -r
22
4.18.0-10-generic

docker3

3.4 创建Docker用户组并添加当前用户#

使用您的用户登录Linux然后执行如下操作，用户组docker可能已经存在。

如果使用普通用户目前是无法使用docker指令的

1
itcast@master:~$ docker ps
2
Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get http://%2Fvar%2Frun%2Fdocker.sock/v1.38/containers/json: dial unix /var/run/docker.sock: connect: permission denied

我们需要将当前的普通用户添加到当前的docker用户组中

1
sudo groupadd docker
2
sudo usermod -aG docker $USER
3
exit

重新登录使用普通用户登录:

1
itcast@master:~$ docker ps
2
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES

就可以使用了。

3.5 申请阿里云镜像加速器#

如果不申请阿里云私人专属镜像加速器，鼓励复制如下本人申请的私人专属镜像加速器，直接使用即可。

1
https://ozcouv1b.mirror.aliyuncs.com

申请步骤如下

在阿里云注册自己账户

找到容器镜像服务，参考网址如下

1
https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors

点开左侧菜单镜像中心—>镜像加速器

右侧加速器地址，即使私人专属的镜像加速器地址，点击复制

粘贴到一个文本文件留存

3.6 docker配置国内镜像加速器#

目的 : 为了下载docker镜像更快

您可以通过修改daemon配置文件/etc/docker/daemon.json来使用加速器。

创建/etc/docker/daemon.json文件，内容如下：

1
{
2
  "registry-mirrors": ["https://ozcouv1b.mirror.aliyuncs.com"]
3
}

重启docker服务

1
# 重载所有修改过的配置文件
2
sudo systemctl daemon-reload
3
# 重启Docker服务
4
sudo systemctl restart docker

四、Kubernetes 安装及部署#

4.1 k8s安装环境准备#

4.1.1 配置并安装k8s国内源#

创建配置文件sudo touch /etc/apt/sources.list.d/kubernetes.list

添加写权限

1
itcast@master:~$ sudo chmod 666 /etc/apt/sources.list.d/kubernetes.list

再添加，内容如下:

1
deb http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial main

执行sudo apt update 更新操作系统源，开始会遇见如下错误

1
tcast@master:~$ sudo apt update
2
Get:1 http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial InRelease [8,993 B]
3
Err:1 http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial InRelease
4
  The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 6A030B21BA07F4FB
5
Hit:2 http://mirrors.aliyun.com/ubuntu cosmic InRelease
6
Hit:3 http://mirrors.aliyun.com/ubuntu cosmic-updates InRelease
7
Hit:4 http://mirrors.aliyun.com/ubuntu cosmic-backports InRelease
8
Hit:5 http://mirrors.aliyun.com/ubuntu cosmic-security InRelease
9
Err:6 https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu cosmic InRelease
10
  Could not wait for server fd - select (11: Resource temporarily unavailable) [IP: 202.141.176.110 443]
11
Reading package lists... Done
12
W: GPG error: http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial InRelease: The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 6A030B21BA07F4FB
13
E: The repository 'http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial InRelease' is not signed.
14
N: Updating from such a repository can't be done securely, and is therefore disabled by default.
15
N: See apt-secure(8) manpage for repository creation and user configuration details.

其中：

1
The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 6A030B21BA07F4FB

签名认证失败，需要重新生成。记住上面的NO_PUBKEY 6A030B21BA07F4FB

添加认证key

运行如下命令，添加错误中对应的key(错误中NO_PUBKEY后面的key的后8位)
Terminal window
```
1
gpg --keyserver keyserver.ubuntu.com --recv-keys BA07F4FB
```
接着运行如下命令，确认看到OK，说明成功，之后进行安装:
Terminal window
```
1
gpg --export --armor BA07F4FB | sudo apt-key add -
```
再次重新sudo apt update更新系统下载源数据列表

1
itcast@master:~$ sudo apt update
2
Hit:1 https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu cosmic InRelease
3
Hit:2 http://mirrors.aliyun.com/ubuntu cosmic InRelease
4
Hit:3 http://mirrors.aliyun.com/ubuntu cosmic-updates InRelease
5
Hit:4 http://mirrors.aliyun.com/ubuntu cosmic-backports InRelease
6
Hit:5 http://mirrors.aliyun.com/ubuntu cosmic-security InRelease
7
Get:6 http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial InRelease [8,993 B]
8
Ign:7 http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial/main amd64 Packages
9
Get:7 http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial/main amd64 Packages [26.6 kB]
10
Fetched 26.6 kB in 42s (635 B/s)
11
Reading package lists... Done
12
Building dependency tree
13
Reading state information... Done
14
165 packages can be upgraded. Run 'apt list --upgradable' to see them.

以上没有报和错误异常，表示成功。

4.1.2 禁止基础设施#

禁止防火墙

1
$ sudo ufw disable
2
Firewall stopped and disabled on system startup

关闭swap

1
# 成功
2
$ sudo swapoff -a
3
# 永久关闭swap分区
4
$ sudo sed -i 's/.*swap.*/#&/' /etc/fstab

禁止selinux

1
# 安装操控selinux的命令
2
$ sudo apt install -y selinux-utils
3
# 禁止selinux
4
$ setenforce 0
5
# 重启操作系统
6
$ shutdown -r now
7
# 查看selinux是否已经关闭
8
$ sudo getenforce
9
Disabled(表示已经关闭)

4.2 k8s系统网络配置#

(1) 配置内核参数，将桥接的IPv4流量传递到iptables的链

创建/etc/sysctl.d/k8s.conf文件

添加内容如下:

1
net.bridge.bridge-nf-call-ip6tables = 1
2
net.bridge.bridge-nf-call-iptables = 1
3
vm.swappiness = 0

(2) 执行命令使修改生效

1
# 【候选】建议执行下面的命令
2
$ sudo modprobe br_netfilter
3
$ sudo sysctl -p /etc/sysctl.d/k8s.conf

4.3 安装k8s#

注意: 切换到root用户 $ su

安装Kubernetes 目前安装版本 v1.13.1

1
$ apt update && apt-get install -y kubelet=1.13.1-00 kubernetes-cni=0.6.0-00 kubeadm=1.13.1-00 kubectl=1.13.1-00

设置为开机重启

1
$ sudo systemctl enable kubelet && systemctl start kubelet
2
$ sudo shutdown -r now

4.4 验证k8s#

使用root用户登录Master主机
执行如下个命令
Terminal window
```
1
kubectl get nodes
```

输出如下

1
$ kubectl get nodes
2
The connection to the server localhost:8080 was refused - did you specify the right host or port?

查看当前k8s版本
Terminal window
```
1
$ kubectl version
```

1
Client Version: version.Info{Major:"1", Minor:"13", GitVersion:"v1.13.1", GitCommit:"eec55b9ba98609a46fee712359c7b5b365bdd920", GitTreeState:"clean", BuildDate:"2018-12-13T10:39:04Z", GoVersion:"go1.11.2", Compiler:"gc", Platform:"linux/amd64"}
2
The connection to the server localhost:8080 was refused - did you specify the right host or port?

五、创建企业Kubernetes多主机集群环境#

5.1 创建两个节点(两个虚拟机)#

在VMWare中创建完整克隆，分别命名为UbuntuNode1和UbuntuNode2

分别对两个完整克隆的虚拟机进行如下操作，修改主机名称和静态IP

使用root用户登录
打开配置文件vim /etc/cloud/cloud.cfg
修改配置preserve_hostname: true
修改/etc/hostname，只有一行 node1或node2

5.2 master和node基础配置#

5.2.1 给node配置hostname#

node1主机

/etc/hostname

1
node1

node2主机

/et/hostname

1
node2

2.确认配置的三台机器的主机名称

1
$ cat /etc/hosts
2
$ shutdown -r now

5.2.2 配置IP地址#

master

/etc/netplan/50-cloud-init.yaml

1
network:
2
    ethernets:
3
        ens33:
4
            addresses: [192.168.236.177/24]
5
            dhcp4: false
6
            gateway4: 192.168.236.2
7
            nameservers:
8
                       addresses: [192.168.236.2]
9
            optional: true
10
    version: 2

重启ip配置

1
netplan apply

node1

/etc/netplan/50-cloud-init.yaml

1
network:
2
    ethernets:
3
        ens33:
4
            addresses: [192.168.236.178/24]
5
            dhcp4: false
6
            gateway4: 192.168.236.2
7
            nameservers:
8
                       addresses: [192.168.236.2]
9
            optional: true
10
    version: 2

重启ip配置

1
netplan apply

node2

/etc/netplan/50-cloud-init.yaml

1
network:
2
    ethernets:
3
        ens33:
4
            addresses: [192.168.236.179/24]
5
            dhcp4: false
6
            gateway4: 192.168.236.2
7
            nameservers:
8
                       addresses: [192.168.236.2]
9
            optional: true
10
    version: 2

重启ip配置

1
netplan apply

5.2.3 修改hosts文件#

注意： (Master、Node1、Node2都需要配置)

使用root用户登录

打开hosts文件 vim /etc/hosts

输入如下内容

1
192.168.236.177 master
2
192.168.236.178 node1
3
192.168.236.179 node2

重启机器shutdown -r now

5.3 配置Master节点#

5.3.1 创建工作目录#

1
$ mkdir /home/itcast/working
2
$ cd /home/itcast/working/

5.3.2 创建kubeadm.conf配置文件#

创建k8s的管理工具kubeadm对应的配置文件，候选操作在home/itcast/working/目录下

使用kubeadm配置文件，通过在配置文件中指定docker仓库地址，便于内网快速部署。

生成配置文件

1
kubeadm config print init-defaults ClusterConfiguration > kubeadm.conf

修改kubeadm.conf 中的如下两项:

imageRepository
kubernetesVersion

1
vi kubeadm.conf
2
# 修改 imageRepository: k8s.gcr.io
3
# 改为 registry.cn-beijing.aliyuncs.com/imcto
4
imageRepository: registry.cn-beijing.aliyuncs.com/imcto
5
# 修改kubernetes版本kubernetesVersion: v1.13.0
6
# 改为kubernetesVersion: v1.13.1
7
kubernetesVersion: v1.13.1

修改kubeadm.conf中的API服务器地址，后面会频繁使用这个地址。

localAPIEndpoint:

1
localAPIEndpoint:
2
  advertiseAddress: 192.168.236.177
3
  bindPort: 6443

注意: 192.168.236.177是master主机的ip地址

配置子网网络

1
networking:
2
  dnsDomain: cluster.local
3
  podSubnet: 10.244.0.0/16
4
  serviceSubnet: 10.96.0.0/12
5
scheduler: {}

这里的10.244.0.0/16 和 10.96.0.0/12分别是k8s内部pods和services的子网网络，最好使用这个地址，后续flannel网络需要用到。

5.3.3 拉取K8s必备的模块镜像#

查看一下都需要哪些镜像文件需要拉取

1
$ kubeadm config images list --config kubeadm.conf
2
registry.cn-beijing.aliyuncs.com/imcto/kube-apiserver:v1.13.1
3
registry.cn-beijing.aliyuncs.com/imcto/kube-controller-manager:v1.13.1
4
registry.cn-beijing.aliyuncs.com/imcto/kube-scheduler:v1.13.1
5
registry.cn-beijing.aliyuncs.com/imcto/kube-proxy:v1.13.1
6
registry.cn-beijing.aliyuncs.com/imcto/pause:3.1
7
registry.cn-beijing.aliyuncs.com/imcto/etcd:3.2.24
8
registry.cn-beijing.aliyuncs.com/imcto/coredns:1.2.6

拉取镜像

1
#下载全部当前版本的k8s所关联的镜像
2
kubeadm config images pull --config ./kubeadm.conf

5.3.4 初始化kubernetes环境#

1
#初始化并且启动
2
$ sudo kubeadm init --config ./kubeadm.conf

更多kubeadm配置文件参数详见

1
kubeadm config print-defaults

k8s启动成功输出内容较多，但是记住末尾的内容

1
Your Kubernetes master has initialized successfully!
2

3
To start using your cluster, you need to run the following as a regular user:
4

5
  mkdir -p $HOME/.kube
6
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
7
  sudo chown $(id -u):$(id -g) $HOME/.kube/config
8

9
You should now deploy a pod network to the cluster.
10
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
11
  https://kubernetes.io/docs/concepts/cluster-administration/addons/
12

13
You can now join any number of machines by running the following on each node
14
as root:
15

16
  kubeadm join 192.168.236.177:6443 --token abcdef.0123456789abcdef --discovery-token-ca-cert-hash sha256:e778d3665e52f5a680a87b00c6d54df726c2eda601c0db3bfa4bb198af2262a8

按照官方提示，执行以下操作。

执行如下命令

1
$ mkdir -p $HOME/.kube
2
$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
3
$ sudo chown $(id -u):$(id -g) $HOME/.kube/config

创建系统服务并启动

1
# 启动kubelet 设置为开机自启动
2
$ sudo systemctl enable kubelet
3
# 启动k8s服务程序
4
$ sudo systemctl start kubelet

5.3.5 验证kubernetes启动结果#

验证输入，注意显示master状态是NotReady，证明初始化服务器成功

1
$ kubectl get nodes
2
NAME     STATUS     ROLES    AGE   VERSION
3
master   NotReady   master   12m   v1.13.1

查看当前k8s集群状态

1
$ kubectl get cs
2
NAME                 STATUS    MESSAGE              ERROR
3
scheduler            Healthy   ok
4
controller-manager   Healthy   ok
5
etcd-0               Healthy   {"health": "true"}

目前只有一个master，还没有node，而且是NotReady状态，那么我们需要将node加入到master管理的集群中来。在加入之前，我们需要先配置k8s集群的内部通信网络，这里采用的是flannel网络。

5.3.6 部署集群内部通信flannel网络#

1
$cd $HOME/working
2
$wget https://raw.githubusercontent.com/coreos/flannel/a70459be0084506e4ec919aa1c114638878db11b/Documentation/kube-flannel.yml

编辑这个文件，确保flannel网络是对的,找到 net-conf.json标记的内容是否正确。

1
 net-conf.json: |
2
    {
3
      "Network": "10.244.0.0/16",
4
      "Backend": {
5
        "Type": "vxlan"
6
      }

这个”10.244.0.0/16”和 ./kubeadm.conf中的podsubnet的地址要一致。

应用当前flannel配置文件

1
itcast@master:~/working$ kubectl apply -f kube-flannel.yml

输出结果如下

1
root@master:~/working# kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/a70459be0084506e4ec919aa1c114638878db11b/Documentation/kube-flannel.yml
2
clusterrole.rbac.authorization.k8s.io/flannel created
3
clusterrolebinding.rbac.authorization.k8s.io/flannel created
4
serviceaccount/flannel created
5
configmap/kube-flannel-cfg created
6
daemonset.extensions/kube-flannel-ds-amd64 created
7
daemonset.extensions/kube-flannel-ds-arm64 created
8
daemonset.extensions/kube-flannel-ds-arm created
9
daemonset.extensions/kube-flannel-ds-ppc64le created
10
daemonset.extensions/kube-flannel-ds-s390x created

安装flannel网络前执行kubectl get nodes输出结果如下

1
itcast@master:~/working$ kubectl get node
2
NAME     STATUS     ROLES    AGE   VERSION
3
master   NotReady   master   10m   v1.13.1

安装flannel网络后执行kubectl get nodes输出结果如下

1
itcast@master:~/working$ kubectl get node
2
NAME     STATUS   ROLES    AGE   VERSION
3
master   Ready    master   10m   v1.13.1

此时master已经是Ready状态了，表示已经配置成功了，那么我们就需要配置node来加入这个集群。

5.4 配置Node#

5.4.1 确认外部环境#

确认关闭swap

1
apt install -y selinux-utils
2
swapoff -a

禁止selinux
Terminal window
```
1
setenforce 0
```
确认关闭防火墙
Terminal window
```
1
ufw disable
```

5.4.2 配置k8s集群的Node主机环境#

启动k8s后台服务

1
# 启动kubelet 设置为开机自启动
2
$ sudo systemctl enable kubelet
3
# 启动k8s服务程序
4
$ sudo systemctl start kubelet

将master机器的/etc/kubernetes/admin.conf传到到node1和node2

1
#将admin.conf传递给node1
2
sudo scp /etc/kubernetes/admin.conf itcast@192.168.236.178:/home/itcast/
3
#将admin.conf传递给node2
4
sudo scp /etc/kubernetes/admin.conf itcast@192.168.236.179:/home/itcast/

1
$ mkdir -p $HOME/.kube
2
$ sudo cp -i $HOME/admin.conf $HOME/.kube/config
3
$ sudo chown $(id -u):$(id -g) $HOME/.kube/config

1
$ mkdir -p $HOME/.kube
2
$ sudo cp -i $HOME/admin.conf $HOME/.kube/config
3
$ sudo chown $(id -u):$(id -g) $HOME/.kube/config

node1和node2分别连接master加入master集群。这里用的是kubeadm join指令

1
$ sudo kubeadm join 192.168.236.177:6443 --token abcdef.0123456789abcdef --discovery-token-ca-cert-hash sha256:e778d3665e52f5a680a87b00c6d54df726c2eda601c0db3bfa4bb198af2262a8

这里要注意，使用的hash应该是master主机 kubeadm init成功之后生成的hash码。

应用两个node主机分别应用flannel网络

将master中的kube-flannel.yml分别传递给两个node节点.

1
#将kube-flannel.yml传递给node1
2
sudo scp $HOME/working/kube-flannel.yml itcast@192.168.236.178:/home/itcast/
3
#将kube-flannel.yml传递给node2
4
sudo scp $HOME/working/kube-flannel.yml itcast@192.168.236.179:/home/itcast/

分别启动flannel网络

1
itcast@node1:~$ kubectl apply -f kube-flannel.yml

1
itcast@node2:~$ kubectl apply -f kube-flannel.yml

查看node是否已经加入到k8s集群中(需要等一段时间才能ready)

1
itcast@node2:~$ kubectl get nodes
2
NAME     STATUS   ROLES    AGE     VERSION
3
master   Ready    master   35m     v1.13.1
4
node1    Ready    <none>   2m23s   v1.13.1
5
node2    Ready    <none>   40s     v1.13.1

六、应用实例#

6.1 创建MySQL实例#

6.1.1 定义描述文件#

1
apiVersion: v1
2
kind: ReplicationController                            #副本控制器RC
3
metadata:
4
  name: mysql                                          #RC的名称，全局唯一
5
spec:
6
  replicas: 1                                          #Pod副本的期待数量
7
  selector:
8
    app: mysql                                         #符合目标的Pod拥有此标签
9
  template:                                            #根据此模板创建Pod的副本（实例）
10
    metadata:
11
      labels:
12
        app: mysql                                     #Pod副本拥有的标签，对应RC的Selector
13
    spec:
14
      containers:                                      #Pod内容器的定义部分
15
      - name: mysql                                    #容器的名称
16
        image: hub.c.163.com/library/mysql              #容器对应的Docker image
17
        ports:
18
        - containerPort: 3306                          #容器应用监听的端口号
19
          targetPort: 3306
20
        env:                                           #注入容器内的环境变量
21
        - name: MYSQL_ROOT_PASSWORD
22
          value: "123456"

6.1.2 加载ReplicationController副本控制器描述文件#

创建好mysql-rc.yaml后，在master节点使用kubectl命令将它发布到k8s集群中。

1
kubectl create -f mysql-rc.yaml

6.1.3 查看启动状态#

通过查看当前的pods列表，是否已经启动成功:

6.1.4 网络异常解决方案(未出现问题可直接跳过)#

注意：如果这里出现了ContainerCreating状态，那么可以尝试如下解决办法:

1
itcast@master:~/working$ kubectl get pods
2
NAME          READY   STATUS              RESTARTS   AGE
3
mysql-tscrh   0/1     ContainerCreating   0          17m

目前mysql-tscrh 描述文件已经创建，但是没有启动成功. 状态是ContainerCreating 没有启动起来.

通过kubectl describe pods 来查看pods的详细状态

1
itcast@master:~/working$ kubectl describe pods mysql
2
Name:               mysql-tscrh
3
Namespace:          default
4
Priority:           0
5
PriorityClassName:  <none>
6
Node:               node1/192.168.236.178
7
Start Time:         Mon, 17 Jun 2019 09:10:35 +0000
8
Labels:             app=mysql
9
Annotations:        <none>
10
Status:             Pending
11
IP:
12
Controlled By:      ReplicationController/mysql
13
Containers:
14
  mysql:
15
    Container ID:
16
    Image:          hub.c.163.com/library/mysql
17
    Image ID:
18
    Port:           3306/TCP
19
    Host Port:      0/TCP
20
    State:          Waiting
21
      Reason:       ContainerCreating
22
    Ready:          False
23
    Restart Count:  0
24
    Environment:
25
      MYSQL_ROOT_PASSWORD:  123456
26
    Mounts:
27
      /var/run/secrets/kubernetes.io/serviceaccount from default-token-q6ggq (ro)
28
Conditions:
29
  Type              Status
30
  Initialized       True
31
  Ready             False
32
  ContainersReady   False
33
  PodScheduled      True
34
Volumes:
35
  default-token-q6ggq:
36
    Type:        Secret (a volume populated by a Secret)
37
    SecretName:  default-token-q6ggq
38
    Optional:    false
39
QoS Class:       BestEffort
40
Node-Selectors:  <none>
41
Tolerations:     node.kubernetes.io/not-ready:NoExecute for 300s
42
                 node.kubernetes.io/unreachable:NoExecute for 300s
43
Events:
44
  Type     Reason                  Age                     From               Message
45
  ----     ------                  ----                    ----               -------
46
  Normal   Scheduled               22m                     default-scheduler  Successfully assigned default/mysql-tscrh to node1
47
  Warning  FailedCreatePodSandBox  22m                     kubelet, node1     Failed create pod sandbox: rpc error: code = Unknown desc = failed to set up sandbox container "58d143373e767c40610587624c667d8e20dd77fa397952406a085f2ae1dc38e6" network for pod "mysql-tscrh": NetworkPlugin cni failed to set up pod "mysql-tscrh_default" network: open /run/flannel/subnet.env: no such file or directory
48
  Warning  FailedCreatePodSandBox  22m                     kubelet, node1     Failed create pod sandbox: rpc error: code = Unknown desc = failed to set up sandbox container "81d12726dbe075c64af48142638e98863231e8201ccc292f0dda1fccfa7fdaec" network for pod "mysql-tscrh": NetworkPlugin cni failed to set up pod "mysql-tscrh_default" network: open /run/flannel/subnet.env: no such file or directory
49
  Warning  FailedCreatePodSandBox  22m                     kubelet, node1     Failed create pod sandbox: rpc error: code = Unknown desc = failed to set up sandbox container "8bd77ee0176d369435ead7bd3c2675b7bbcbdc2b052cf34c784f04053a7d5288" network for pod "mysql-tscrh": NetworkPlugin cni failed to set up pod "mysql-tscrh_default" network: open /run/flannel/subnet.env: no such file or directory
50
  Warning  FailedCreatePodSandBox  22m                     kubelet, node1     Failed create pod sandbox: rpc error: code = Unknown desc = failed to set up sandbox container "0733fc209e085e96f5823a2280b012a609dace41fda967c5ae951005a8699ce6" network for pod "mysql-tscrh": NetworkPlugin cni failed to set up pod "mysql-tscrh_default" network: open /run/flannel/subnet.env: no such file or directory
51
  Warning  FailedCreatePodSandBox  22m                     kubelet, node1     Failed create pod sandbox: rpc error: code = Unknown desc = failed to set up sandbox container "91f337eb334612b2e7426d820ba4b15a9c9c549050517d459508832b69780b5f" network for pod "mysql-tscrh": NetworkPlugin cni failed to set up pod "mysql-tscrh_default" network: open /run/flannel/subnet.env: no such file or directory
52
  Warning  FailedCreatePodSandBox  22m                     kubelet, node1     Failed create pod sandbox: rpc error: code = Unknown desc = failed to set up sandbox container "48cbba9896068a774d9128a6864394e8726a0d857bae61036421ad73f5d6e3dd" network for pod "mysql-tscrh": NetworkPlugin cni failed to set up pod "mysql-tscrh_default" network: open /run/flannel/subnet.env: no such file or directory
53
  Warning  FailedCreatePodSandBox  22m                     kubelet, node1     Failed create pod sandbox: rpc error: code = Unknown desc = failed to set up sandbox container "d259778aa19418a9a429b3175b66afae3d8ffb7324ec9df492b2947dbc153460" network for pod "mysql-tscrh": NetworkPlugin cni failed to set up pod "mysql-tscrh_default" network: open /run/flannel/subnet.env: no such file or directory
54
  Warning  FailedCreatePodSandBox  22m                     kubelet, node1     Failed create pod sandbox: rpc error: code = Unknown desc = failed to set up sandbox container "3d01c00ac9eaac7b2e983402be38c1cf60c4bbd1d454aa45329ce0ca0c2bf792" network for pod "mysql-tscrh": NetworkPlugin cni failed to set up pod "mysql-tscrh_default" network: open /run/flannel/subnet.env: no such file or directory
55
  Warning  FailedCreatePodSandBox  22m                     kubelet, node1     Failed create pod sandbox: rpc error: code = Unknown desc = failed to set up sandbox container "98879cbb0405dac3a24753dd1986070a53fe9ee9f1b819996a903c19286a2bb7" network for pod "mysql-tscrh": NetworkPlugin cni failed to set up pod "mysql-tscrh_default" network: open /run/flannel/subnet.env: no such file or directory
56
  Warning  FailedCreatePodSandBox  7m49s (x838 over 22m)   kubelet, node1     (combined from similar events): Failed create pod sandbox: rpc error: code = Unknown desc = failed to set up sandbox container "60923335b41c2d0412b279bdb6150f9b9b7eae20c4a02549e35509083c01384b" network for pod "mysql-tscrh": NetworkPlugin cni failed to set up pod "mysql-tscrh_default" network: open /run/flannel/subnet.env: no such file or directory
57
  Normal   SandboxChanged          2m49s (x1127 over 22m)  kubelet, node1     Pod sandbox changed, it will be killed and re-created.

会看到一个错误:

1
"mysql-tscrh": NetworkPlugin cni failed to set up pod "mysql-tscrh_default" network: open /run/flannel/subnet.env: no such file or directory

这是缺少/run/flannel/subnet.env文件

解决办法：配置flannel网络#

分别在三台服务器上执行如下步骤

创建目录
Terminal window
```
1
sudo mkdir -p /run/flannel
```

创建环境描述文件

1
$ sudo tee /run/flannel/subnet.env <<-'EOF'
2
FLANNEL_NETWORK=10.244.0.0/16
3
FLANNEL_SUBNET=10.244.0.1/24
4
FLANNEL_MTU=1450
5
FLANNEL_IPMASQ=true
6
EOF

6.1.5 查看mysql实例集群状态#

1
itcast@master:~/working$ kubectl get pods
2
NAME          READY   STATUS              RESTARTS   AGE
3
mysql-tscrh   0/1     Running   0          17m

如果为Running状态，则为mysql集群启动成功。

6.2 创建Tomcat实例#

6.2.1 定义描述文件#

1
apiVersion: v1
2
kind: ReplicationController
3
metadata:
4
  name: myweb
5
spec:
6
  replicas: 5                                       #Pod副本期待数量为5
7
  selector:
8
    app: myweb
9
  template:
10
    metadata:
11
      labels:
12
        app: myweb
13
    spec:
14
      containers:
15
      - name: myweb
16
        image: docker.io/kubeguide/tomcat-app:v1
17
        ports:
18
        - containerPort: 8080
19
        env:
20
        - name: MYSQL_SERVICE_HOST
21
          value: "mysql"
22
        - name: MYSQL_SERVICE_PORT
23
          value: "3306"

6.2.2 加载RC副本描述文件#

1
$ kubectl create -f myweb-rc.yaml
2
replicationcontroller/myweb created
3
$ kubectl get rc
4
NAME    DESIRED   CURRENT   READY   AGE
5
mysql   1         1         0       4m22s
6
myweb   5         5         0       7s
7
$ kubectl get pods
8
NAME          READY   STATUS              RESTARTS   AGE
9
mysql-tp69s   1/1     Running             0          21s
10
myweb-266mz   0/1     ContainerCreating   0          2s
11
myweb-j7nl7   0/1     ContainerCreating   0          2s
12
myweb-s7drm   0/1     ContainerCreating   0          2s
13
myweb-sq4ns   0/1     ContainerCreating   0          2s
14
myweb-t4vlf   0/1     ContainerCreating   0          2s
15
$

注意mysql实例状态 Running

myweb实例状态 ContainerCreating

过几分钟myweb实例状态变成 Running

6.2.3 创建服务副本#

在master服务器

使用root用户登录，并切换到working目录 cd /root/working
创建描述服务描述文件myweb-svc.yaml

1
apiVersion: v1
2
kind: Service
3
metadata:
4
  name: myweb
5
spec:
6
  type: NodePort
7
  ports:
8
    - port: 8080
9
      nodePort: 30001
10
  selector:
11
    app: myweb

6.2.4 部署服务#

1
$kubectl create -f myweb-svc.yaml

6.2.5 验证#

1
$ kubectl get pods
2
NAME          READY   STATUS    RESTARTS   AGE
3
mysql-tp69s   1/1     Running   0          15m
4
myweb-266mz   1/1     Running   0          14m
5
myweb-j7nl7   1/1     Running   0          14m
6
myweb-s7drm   1/1     Running   0          14m
7
myweb-sq4ns   1/1     Running   0          14m
8
myweb-t4vlf   1/1     Running   0          14m

1
itcast@master:~/working$ kubectl get service
2
NAME         TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
3
kubernetes   ClusterIP   10.96.0.1        <none>        443/TCP          19h
4
myweb        NodePort    10.109.234.197   <none>        8080:30001/TCP   25m

已经看到已经有一个myweb服务已经启动

1
itcast@master:~/working$ kubectl describe service myweb
2
Name:                     myweb
3
Namespace:                default
4
Labels:                   <none>
5
Annotations:              <none>
6
Selector:                 app=myweb
7
Type:                     NodePort
8
IP:                       10.109.234.197
9
Port:                     <unset>  8080/TCP
10
TargetPort:               8080/TCP
11
NodePort:                 <unset>  30001/TCP
12
Endpoints:                10.244.0.6:8080,10.244.0.6:8080,10.244.0.7:8080 + 2 more...
13
Session Affinity:         None
14
External Traffic Policy:  Cluster
15
Events:                   <none>

service详情这里的IP就是CLUSTER-IP. CLUSTER-IP是和service绑定的。

service详情这里的Port就是Service的端口号。

service详情这里的NodePort就是Node的真实端口号。

service详情这里的Endpoints就是容器的IP和port。

验证端口号

1
$ netstat -tlp|grep 30001
2
tcp6       0      0 [::]:30001              [::]:*                  LISTEN      4333/kube-proxy
3
$

我们可以打开浏览器，输入master/node1/node2任何一个地址家30001端口都可以，访问tomcat服务。

1
http://192.168.236.177:30001

6.3 创建自定义的Beego 应用web程序集群#

6.3.1 初始化mysql#

找到我们之前创建好的mysql的pod的NAME

1
itcast@master:~$ kubectl get pods
2
NAME          READY   STATUS    RESTARTS   AGE
3
mysql-kjdz8   1/1     Running   2          4d23h
4
myweb-f7rt4   1/1     Running   2          4d23h
5
myweb-jjxbp   1/1     Running   2          4d23h
6
myweb-k8rmt   1/1     Running   2          4d23h
7
myweb-rht8n   1/1     Running   2          4d23h
8
myweb-wsgzw   1/1     Running   2          4d23h

查看当前pod的详细信息

1
itcast@master:~$ kubectl describe pod mysql-kjdz8

得到mysql在subnet内网的IP地址 10.244.1.8 和登录密码

1
IP:                 10.244.1.8
2
 ...
3
 Environment:
4
      MYSQL_ROOT_PASSWORD:  123456

登录mysql实例，创建数据库

1
itcast@master:~$ kubectl exec -it mysql-kjdz8 -- bash

1
root@mysql-kjdz8:/# mysql -u root --password=123456 --default-character-set=utf8

创建数据库，注意大小写

1
CREATE DATABASE IF NOT EXISTS newsWeb  default charset utf8 COLLATE utf8_general_ci;

使用数据库

1
use newsWeb

6.3.2 下载自定义的beego-docker 镜像#

1
itcast@master:~$ docker pull registry.cn-shanghai.aliyuncs.com/itcast-golang/beego-microservices:v4
2
921b31ab772b: Pull complete
3
5dbef71438d6: Pull complete
4
06b82a06d476: Pull complete
5
903fde8a2004: Pull complete
6
5102aca51d1d: Pull complete
7
b0ebda6ce096: Pull complete
8
1a243f1cae73: Pull complete
9
Digest: sha256:7b83e5117d964f348750de76104d6302285410365aaf6e6a0d4f57edab7a0ad5
10
Status: Downloaded newer image for registry.cn-shanghai.aliyuncs.com/itcast-golang/beego-microservices:v4

当然，目前该镜像地址是我们自己打包的，如果你想启动你自己的镜像应用，也需要打包成docker镜像放在阿里云或者其他docker仓库中。

查看docker镜像是否已经下载成功。

1
itcast@master:~$ docker images
2
REPOSITORY                                                            TAG                 IMAGE ID            CREATED             SIZE
3
registry.cn-shanghai.aliyuncs.com/itcast-golang/beego-microservices   v4                  11f6f974f78b        35 minutes ago      23.1MB
4
alpine                                                                latest              055936d39205        6 weeks ago         5.53MB
5
registry.cn-beijing.aliyuncs.com/imcto/kube-controller-manager        v1.13.1             6ca952430d0a        3 months ago        146MB
6
registry.cn-beijing.aliyuncs.com/imcto/kube-proxy                     v1.13.1             a311f9763fcc        3 months ago        80.2MB
7
registry.cn-beijing.aliyuncs.com/imcto/coredns                        1.2.6               782ac1267b76        3 months ago        40MB
8
registry.cn-beijing.aliyuncs.com/imcto/etcd                           3.2.24              399cf402bfe9        3 months ago        220MB
9
registry.cn-beijing.aliyuncs.com/imcto/pause                          3.1                 73ae15a7a613        3 months ago        742kB
10
registry.cn-beijing.aliyuncs.com/imcto/kube-scheduler                 v1.13.1             4b8df70aff4e        3 months ago        79.6MB
11
registry.cn-beijing.aliyuncs.com/imcto/kube-apiserver                 v1.13.1             06924f18fe15        3 months ago        181MB
12
quay.io/coreos/flannel                                                v0.11.0-amd64       ff281650a721        4 months ago        52.6MB

6.3.3 创建beego的RC副本文件#

1
apiVersion: v1
2
kind: ReplicationController
3
metadata:
4
  name: beego
5
spec:
6
  replicas: 5                                       #Pod副本期待数量为5
7
  selector:
8
    app: beego
9
  template:
10
    metadata:
11
      labels:
12
        app: beego
13
    spec:
14
      containers:
15
      - name: beego
16
        image: registry.cn-shanghai.aliyuncs.com/itcast-golang/beego-microservices:v4
17
        ports:
18
        - containerPort: 8080
19
        env:
20
        - name: MYSQL_SERVICE_HOST
21
          value: "10.244.1.8"
22
        - name: MYSQL_SERVICE_PORT
23
          value: "3306"
24
        - name: MYSQL_SERVICE_USER
25
          value: "root"
26
        - name: MYSQL_SERVICE_PASSWORD
27
          value: "123456"
28
        - name: MYSQL_SERVICE_DATABASE
29
          value: "newsWeb"
30
---
31
apiVersion: v1
32
kind: Service
33
metadata:
34
  name: beego
35
spec:
36
  type: NodePort
37
  ports:
38
    - port: 8080
39
      nodePort: 30080
40
  selector:
41
    app: beego
42
~

这里要注意，里面的mysql环境变量IP、端口、数据库用户名密码等，都是我们上面实例获取到的。

这里实际上是在我们创建一个pods容器的时候，指定的一些环境变量。然后beego的应用程序会从系统中这些环境变量去取数据。

目前建立了NodePort端口映射，beegoWeb应用在内网的端口是8080，对外的映射端口是30080.那么30080就是我们外网可以访问的端口号。

6.3.4 装载RC副本文件，创建beego集群实例#

1
$ kubectl apply -f golang-beego.yaml

查看beego的web程序pods是否已经正常启动

1
itcast@master:~/working$ kubectl get pods
2
NAME          READY   STATUS    RESTARTS   AGE
3
beego-2wt7s   1/1     Running   0          2m47s
4
beego-6jp8x   1/1     Running   0          2m47s
5
beego-7bkvl   1/1     Running   0          2m47s
6
beego-qjldn   1/1     Running   0          2m47s
7
beego-vldmh   1/1     Running   0          2m47s
8
mysql-kjdz8   1/1     Running   2          5d
9
myweb-f7rt4   1/1     Running   2          5d
10
myweb-jjxbp   1/1     Running   2          5d
11
myweb-k8rmt   1/1     Running   2          5d
12
myweb-rht8n   1/1     Running   2          5d
13
myweb-wsgzw   1/1     Running   2          5d

也可以查看beego程序的pods的正常输出日志

1
itcast@master:~/working$ kubectl log beego-2wt7s
2
log is DEPRECATED and will be removed in a future version. Use logs instead.
3
2019/06/24 09:19:12 root:123456@tcp(10.244.1.8:3306)/newsWeb?charset=utf8
4
table `user` already exists, skip
5
table `article` already exists, skip
6
table `article_type` already exists, skip
7
table `article_users` already exists, skip
8
2019/06/24 09:19:12.241 [I] [asm_amd64.s:1337]  http server Running on http://:8080

进入其中一个beego容器，查看环境变量是否和我们配置的一致

1
itcast@master:~/working$ kubectl  exec -it beego-2wt7s -- sh
2
/app # env
3
KUBERNETES_SERVICE_PORT=443
4
KUBERNETES_PORT=tcp://10.96.0.1:443
5
BEEGO_PORT_8080_TCP=tcp://10.107.31.251:8080
6
HOSTNAME=beego-2wt7s
7
MYWEB_SERVICE_HOST=10.106.98.4
8
MYWEB_PORT_8080_TCP_ADDR=10.106.98.4
9
SHLVL=1
10
HOME=/root
11
MYWEB_PORT_8080_TCP_PORT=8080
12
MYWEB_PORT_8080_TCP_PROTO=tcp
13
MYWEB_SERVICE_PORT=8080
14
MYWEB_PORT=tcp://10.106.98.4:8080
15
MYWEB_PORT_8080_TCP=tcp://10.106.98.4:8080
16
TERM=xterm
17
KUBERNETES_PORT_443_TCP_ADDR=10.96.0.1
18
MYSQL_SERVICE_PASSWORD=123456
19
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
20
KUBERNETES_PORT_443_TCP_PORT=443
21
MYSQL_SERVICE_HOST=10.244.1.8
22
KUBERNETES_PORT_443_TCP_PROTO=tcp
23
MYSQL_SERVICE_USER=root
24
BEEGO_SERVICE_HOST=10.107.31.251
25
BEEGO_PORT_8080_TCP_ADDR=10.107.31.251
26
MYSQL_SERVICE_PORT=3306
27
KUBERNETES_SERVICE_PORT_HTTPS=443
28
KUBERNETES_PORT_443_TCP=tcp://10.96.0.1:443
29
BEEGO_PORT_8080_TCP_PORT=8080
30
KUBERNETES_SERVICE_HOST=10.96.0.1
31
BEEGO_PORT_8080_TCP_PROTO=tcp
32
PWD=/app
33
MYSQL_SERVICE_DATABASE=newsWeb
34
BEEGO_PORT=tcp://10.107.31.251:8080
35
BEEGO_SERVICE_PORT=8080
36
/app # env | grep MYSQL
37
MYSQL_SERVICE_PASSWORD=123456
38
MYSQL_SERVICE_HOST=10.244.1.8
39
MYSQL_SERVICE_USER=root
40
MYSQL_SERVICE_PORT=3306
41
MYSQL_SERVICE_DATABASE=newsWeb

6.3.5 验证集群是否成功#

注册界面

http://192.168.236.177:30080/register

登陆界面

http://192.168.236.177:30080/login

后端界面

七、k8s架构图#

k8s

2小时躲坑k8s-大型分布式集群环境捷径部署#

课程介绍#

目标#

一、Kubernetes概述#

1、什么是k8s#

2、Kubernetes解决了什么问题#

2.1 起因：Docker#

单一稳定的一体化模型#

微型化的应用部署模型#

2.2 容器编排？是需要标准的？#

3. kubernetes工程师价值#

二、环境#

2.1 部署软件环境版本#

2.2 Ubuntu搭建研发环境#

2.3 Ubuntu安装过程#

2.3.1 创建虚拟机#

2.3.2 图形界面安装方式#

修改root密码#

2.4 修改主机名#

2.5 配置静态IP(永久有效)(NAT模式)#

2.6 修改hosts#

ip应用启动：#

三、Docker-CE安装及配置#

3.1 Docker简介#

3. 1.1 docker介绍#

3.2 配置国内源#

3.2.1 基础准备#

3.2.2 在线安装Docker-ce(本教程不推荐)#

3.2.3 手动安装Docker(离线安装)#

3.3 启动Docker-ce#

3.4 创建Docker用户组并添加当前用户#

3.5 申请阿里云镜像加速器#

3.6 docker配置国内镜像加速器#

四、Kubernetes 安装及部署#

4.1 k8s安装环境准备#

4.1.1 配置并安装k8s国内源#

4.1.2 禁止基础设施#

4.2 k8s系统网络配置#

4.3 安装k8s#

4.4 验证k8s#

五、创建企业Kubernetes多主机集群环境#

5.1 创建两个节点(两个虚拟机)#

5.2 master和node基础配置#

5.2.1 给node配置hostname#

5.2.2 配置IP地址#

5.2.3 修改hosts文件#

5.3 配置Master节点#

5.3.1 创建工作目录#

5.3.2 创建kubeadm.conf配置文件#

5.3.3 拉取K8s必备的模块镜像#

5.3.4 初始化kubernetes环境#

5.3.5 验证kubernetes启动结果#

5.3.6 部署集群内部通信flannel网络#

5.4 配置Node#

5.4.1 确认外部环境#

5.4.2 配置k8s集群的Node主机环境#

六、应用实例#

6.1 创建MySQL实例#

6.1.1 定义描述文件#

6.1.2 加载ReplicationController副本控制器描述文件#

6.1.3 查看启动状态#

6.1.4 网络异常解决方案(未出现问题可直接跳过)#

解决办法：配置flannel网络#

6.1.5 查看mysql实例集群状态#

6.2 创建Tomcat实例#

6.2.1 定义描述文件#

6.2.2 加载RC副本描述文件#

6.2.3 创建服务副本#

6.2.4 部署服务#

6.2.5 验证#

6.3 创建自定义的Beego 应用web程序集群#

6.3.1 初始化mysql#

6.3.2 下载自定义的beego-docker 镜像#

6.3.3 创建beego的RC副本文件#

6.3.4 装载RC副本文件，创建beego集群实例#

6.3.5 验证集群是否成功#

七、k8s架构图#

相关阅读