基于Containerd部署Kubernetes

FeiYi
ContainerdKubernetes

发布于：2021年3月21日
次浏览

字数：1.5k字

时长：7分钟

当Kubernetes 1.20开始准备弃用Docker，相信很多人在k8s 1.20版本出现的时候，都听说了即将弃用docker，不过还没有完全弃用，但这也是未来的趋势了。k8s的底层还是容器。

具体使用docker和弃用docker的前因后果我就不多说了，本文只是为了使用docker以外的CRI（Container Runtime Interface）来部署Kubernetes。这里就进行单机部署了。

建议使用CentOS 7.5版本以上，这里以7.6为例，配置好网络，可以访问外网

当弃用docker后，可以直接使用containerd来做CRI

准备工作

修改主机名

sed -i '$a\192.168.1.12 test' /etc/hosts
hostnamectl set-hostname test

关闭selinux&firewalld

systemctl stop firewalld && systemctl disable firewalld
setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/g' /etc/selinux/config

关闭swap

swapoff -a
sed -i 's/^[^#].*swap*/#&/g' /etc/fstab

Containerd

安装依赖及常用工具

yum install -y yum-utils device-mapper-persistent-data lvm2 wget vim yum-utils net-tools epel-release

添加加载的内核模块

cat <<EOF | sudo tee /etc/modules-load.d/containerd.conf
overlay
br_netfilter
EOF

加载内核模块

modprobe overlay
modprobe br_netfilter

设置内核参数 

cat <<EOF | sudo tee /etc/sysctl.d/99-kubernetes-cri.conf
net.bridge.bridge-nf-call-iptables  = 1
net.ipv4.ip_forward                 = 1
net.bridge.bridge-nf-call-ip6tables = 1
EOF

应用内核参数

sysctl --system

添加docker源

containerd也是在docker源内的

yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo
cat <<EOF | sudo tee /etc/yum.repos.d/docker-ce.repo
[docker]
name=docker-ce
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/x86_64/stable/
enabled=1
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
EOF

安装containerd

yum -y update && yum -y install containerd.io
# 指定版本使用containerd.io-x.x.x
# 需要升级系统则yum -y update

配置containerd

默认是没有配置文件的，可以像k8s一样获取到一些默认配置

mkdir -p /etc/containerd
containerd config default | sudo tee /etc/containerd/config.toml

修改cgroup Driver为systemd

在配置文件中如下位置添加SystemdCgroup = true

sed -i 's/SystemdCgroup = false/SystemdCgroup = true/g' /etc/containerd/config.toml

镜像加速

endpoint位置添加阿里云的镜像源

$ vim /etc/containerd/config.toml
    [plugins."io.containerd.grpc.v1.cri".registry]
      [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
          endpoint = ["https://xxxxxxxx.mirror.aliyuncs.com" ,"https://registry-1.docker.io"]

更改sandbox_image

sed -i 's/k8s.gcr.io/registry.aliyuncs.com\/google_containers/g' /etc/containerd/config.toml

启动服务

systemctl enable containerd && systemctl start containerd

如果你的环境中网络代理去访问外网，containerd也需要单独添加代理

mkdir /etc/systemd/system/containerd.service.d
cat > /etc/systemd/system/containerd.service.d/http_proxy.conf << EOF
[Service]
Environment="HTTP_PROXY=http://<proxy_ip>:<proxy_port>/"
Environment="HTTPS_PROXY=http://<proxy_ip>:<proxy_port>/"
Environment="NO_PROXY=x.x.x.x,x.x.x.x"
EOF

加载配置并重启服务

systemctl daemon-reload && systemctl restart containerd

下载镜像检测containerd是否正常

ctr images pull docker.io/library/nginx:alpine

ctr是containerd自带的命令行客户端

Kubernetes

添加kubernetes源

cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-\$basearch
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
exclude=kubelet kubeadm kubectl
EOF

yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes
# 如果指定版本使用kubeadm-x.x.x
# 因为这里使用的就是准备弃用docker的版本，按最新版本安装即可
cat << EOF >> /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
yum -y install kubeadm kubectl kubelet
# 如果指定版本使用kubeadm-x.x.x
# 因为这里使用的就是准备弃用docker的版本，按最新版本安装即可

启动并设置开机自启

systemctl enable --now kubelet

命令补齐

yum -y install bash-completion
vim .bashrc
# 末尾添加
source <(kubeadm completion bash)
source <(kubectl completion bash)
source .bashrc

设置crictl

使用除docke以外的CRI时，需要使用crictl来进行镜像管理，相当于docker-cli

Containerd 只支持通过 CRI 拉取镜像的 mirror，也就是说，只有通过 crictl 或者 Kubernetes 调用时 mirror 才会生效，通过 ctr 拉取是不会生效的。crictl是k8s内部的镜像管理命令。

cat << EOF >> /etc/crictl.yaml
runtime-endpoint: unix:///var/run/containerd/containerd.sock
image-endpoint: unix:///var/run/containerd/containerd.sock
timeout: 10 
debug: false
EOF

下载镜像

crictl pull nginx:latest

crictl基本上与docker用法一致

初始化集群

导出默认init文件

kubeadm config print init-defaults > kubeadm-init.yaml

修改文件

apiVersion: kubeadm.k8s.io/v1beta2
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 192.168.1.12  # 修改为本机地址
  bindPort: 6443 # apiserver端口号
nodeRegistration:
  criSocket: /var/run/containerd/containerd.sock  # 修改为containerd的sock文件位置
  name: test
  taints:
  - effect: NoSchedule
    key: node-role.kubernetes.io/master
---
apiServer:
  certSANs:  # apiserver下添加certSANs字段，并填写集群中所有节点的hostname、ip以及VIP
  - test
  - 192.168.1.12
  timeoutForControlPlane: 4m0s
controlPlaneEndpoint: "192.168.1.12:6443" # 控制平面apiserver IP及端口号
apiVersion: kubeadm.k8s.io/v1beta2
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns:
  type: CoreDNS
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: k8s.gcr.io  # 如果使用阿里云可以修改为registry.aliyuncs.com/google_containers 
kind: ClusterConfiguration
kubernetesVersion: v1.20.4  # kubernetes版本号
networking:
  dnsDomain: cluster.local
  serviceSubnet: 10.96.0.0/12
  podSubnet: "10.16.0.0/16"  # 即将安装网络插件的ip网段
scheduler: {}
# 使用除docker外的CRI需要指定cgroupDriver
---
apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
cgroupDriver: systemd

预下载镜像

kubeadm config images pull --config=kubeadm-init.yaml

初始化

kubeadm init --config=kubeadm-init.yaml  --upload-certs

设置kubectl默认访问的api

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

查看CRI是否是containerd

kubectl get nodes -o wide
NAME  STATUS    ROLES                  AGE   ...   OS-IMAGE                KERNEL-VERSION         CONTAINER-RUNTIME
test  NotReady  control-plane,master   81s   ...   CentOS Linux 7 (Core)   3.10.0-957.el7.x86_64  containerd://1.4.3

根据自己的需要部署网络插件

博客内容遵循 署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0) 协议

本文永久链接是：https://www.feiyiblog.com/2021/03/21/%E5%9F%BA%E4%BA%8EContainerd%E9%83%A8%E7%BD%B2Kubernetes/

更新于：2022年6月4日

Kubernetes

字数：1.5k字

时长：7分钟

评论




正在载入...
京ICP备-20009585号
PoweredHexo
HostedAliyun
DNSAliyun
ThemeVolantis
UV
PV
BY-NC-SA 4.0