Bare Metal

在 Ubuntu 上重新安裝 Kubernetes

2019-04-26

介紹

Kubeadm 有提供一個指令 reset，不過他只會將有關 Kubernetes 的東西刪除，像是 flannel、cni 的網路設定，則必須要手動刪除。

這裡使用的環境是：

  • Ubuntu 18.04
  • Kubernetes 1.14.1
  • Flannel 0.10.0

Problem

要讓問題重現，只需要在你安裝好 Kubernetes Cluster 之後，重設 Kubernetes 就會發生：

1
2
kubeadm reset -f
kubeadm init

這個時候你的 coredns 會一直在 pending 的狀態，而且 nodes 會一直是 NodReady：

1
2
3
4
5
6
7
8
$ kubectl get nodes
NAME      STATUS     ROLES    AGE   VERSION
akiicat   NotReady   master   65m   v1.14.1

$ kubectl get pod -n kube-system
NAME                      READY   STATUS    RESTARTS   AGE
coredns-fb8b8dccf-2t48c   0/1     Pending   0          42s
coredns-fb8b8dccf-x7f87   0/1     Pending   0          42s

看一下 kubelet 是什麼問題，猜測是之前的 CNI 沒有清除乾淨，而套用到舊的資料

1
2
3
4
$ systemctl status kubelet
...
 4月 25 14:01:40 akiicat kubelet[6416]: W0425 14:01:40.779474    6416 cni.go:213] Unable to update cni config: No networks found in /etc/cni/net.d
 4月 25 14:01:40 akiicat kubelet[6416]: E0425 14:01:40.901231    6416 kubelet.go:2170] Container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized

Step by Step

接下來就一步一步的解決這個問題，首先切換成 root 權限：

1
sudo su -

先把 Kubernetes 重設，-f 參數代表強制執行 reset，不會跳出提示訊息的確認：

1
kubeadm reset -f

停止 kubelet、docker：

1
2
systemctl stop kubelet
systemctl stop docker

完全刪除 cni、flannel 的資料：

1
2
3
4
rm -rf /var/lib/cni/
rm -rf /var/lib/kubelet/*
rm -rf /run/flannel
rm -rf /etc/cni/

移除 cni、flannel 的網路介面卡：

1
2
3
ifconfig cni0 down
brctl delbr cni0
ifconfig flannel.1 down

重新啟動 docker：

1
systemctl start docker

這樣就完成了，最後檢查一下網路介面卡與 IP table 有沒有 flannel、cni：

1
2
ifconfig
route -n

沒有在這上面就成功了。

後續安裝可以參考我寫的這篇文章：Bare Metal 在 Ubuntu 上安裝 Kubernetes

Summary

最後要輸入指令的時候，需要對 Master 跟 Worker 執行不同的指令，以及在不同的權限下執行：

  • Master：代表主結點。
  • Node：代表 Worker 節點或子結點。

[Master, Node] 不管事 master 跟 worker 都要執行 Kubernetes Reset，在執行時要注意權限是否正確：

1
2
3
4
5
6
7
8
9
10
11
12
# root
kubeadm reset -f
systemctl stop kubelet
systemctl stop docker
rm -rf /var/lib/cni/
rm -rf /var/lib/kubelet/*
rm -rf /run/flannel
rm -rf /etc/cni/
ifconfig cni0 down
brctl delbr cni0
ifconfig flannel.1 down
systemctl start docker

[Master] 安裝 Kubernetes：

1
2
# root
kubeadm init --pod-network-cidr 10.244.0.0/16

注意要切換使用者：

1
2
3
4
5
6
# user
mkdir -p $HOME/.kube
sudo cp -f /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml

[Node] 加入 worker 節點：

1
2
3
# root
kubeadm join 192.168.0.11:6443 --token 3c564d.6q2we53btzqmf1ew \
    --discovery-token-ca-cert-hash sha256:a5480dcd68ec2ff27885932ac80d33aaa0390d295d4834032cc1eb554de3d5d2

Reference

MetalLB 在 Kubernetes Bare Metal 上安裝 Layer 2 Load Balancer

2019-04-19

準備

假設你已經先裝好 Kubernetes cluster 了，由於是 bare metal，你必須把 Kubernetes 裝載三台不同電腦上，或是使用三個 Raspberry Pi，然後使用 kubeadm 指令串起來。

Cluster Addresses

我們現在有三台電腦，它的名稱與 IP 分別是：

  • Master：192.168.1.100

  • Node1：192.168.1.101

  • Node2：192.168.1.102

    當你在安裝電腦時，名稱與 IP 必須是唯一的，否則在 join 的時候會出現錯誤。

這裡使用的 IP 是 DHCP 所分配的 IP，IP 的範圍是 192.168.1.100—192.168.1.150，如果你有足夠的 public IP address，可以分別對每台電腦做設定。

假設我申請了 17.95.16.0-17.95.16.32，就可以把 IP 設定成這樣：

  • Master：17.95.16.1
  • Node1：17.95.16.2
  • Node2：17.95.16.3

雖然只用了三個，但我們保留剩下的 17.95.16.10-17.95.16.32 讓 Load Balancer 來分配這些網址

Metallb

安裝 metallb 的步驟非常的簡單：

1
kubectl apply -f https://raw.githubusercontent.com/google/metallb/v0.7.3/manifests/metallb.yaml

然後查看目前的狀態，是否有一個 controller 跟多個 speaker：

1
2
3
4
5
$ kubectl get pods -n metallb-system
NAME                         READY   STATUS    RESTARTS   AGE
controller-cd8657667-2znm8   1/1     Running   0          22h
speaker-m95vd                1/1     Running   0          22h
speaker-shq8s                1/1     Running   0          22h

因為我們還沒有提供 load balance 的網址給他，所以接下來要設定 ConfigMap

Configure

架設我們想提供 load balance 的網址是 192.168.1.240-192.168.1.250，看一下我們的設定檔：

1
2
3
4
5
6
7
8
9
10
11
12
apiVersion: v1
kind: ConfigMap
metadata:
  namespace: metallb-system
  name: config
data:
  config: |
    address-pools:
    - name: my-ip-space
      protocol: layer2
      addresses:
      - 192.168.1.240-192.168.1.250

我們把 protocol: layer2 套用在 192.168.1.240-192.168.1.250 這個網段上

如果想要使用外網的話，直接把網段的範圍改成外網即可

MetalLB 提供了 layer2 跟 bgp 兩種 protocol，這裡使用 layer2，如果使用 bgp 的話還需要另外做設定，可以參考官方文件。

套用上面的 ConfigMap：

1
kubectl apply -f https://raw.githubusercontent.com/google/metallb/v0.7.3/manifests/example-layer2-config.yaml

查看 Log：

1
kubectl logs -l component=speaker -n metallb-system

測試

執行一些簡單的容器，然後使用 LoadBalancer 暴露它：

1
2
kubectl run hello-world --image=k8s.gcr.io/echoserver:1.10 --port=8080 --replicas=3
kubectl expose deployment hello-world --type=LoadBalancer

查看 pods 是否有在運行

1
2
3
4
5
6
7
8
$ kubectl get pods
NAME                                 READY   STATUS             RESTARTS   AGE
pod/hello-world-6cdb64fdcd-7bfgq   1/1     Running            0          17s
pod/hello-world-6cdb64fdcd-82mtv   1/1     Running            0          17s
pod/hello-world-6cdb64fdcd-rhxp2   1/1     Running            0          17s
$ kubectl get service
NAME          TYPE           CLUSTER-IP      EXTERNAL-IP      PORT(S)          AGE
hello-world   LoadBalancer   10.106.40.173   192.168.1.240    8080:30700/TCP   11s

我們現在有外部 IP 了！馬上測試看看能不能連得到：

1
2
3
$ curl 192.168.1.240:8080
Hostname: hello-world-1-6cdb64fdcd-7bfgq
...

如果有看到跟請求 http 有關的資訊的話，就代表你成功了。

Reference

Bare Metal 在 Ubuntu 上安裝 Kubernetes

2019-04-18

Docker

在安裝 Kubernetes 前要先安裝好 Docker，可以參考這篇：

在 Ubuntu 18.04 上安裝 Docker CE

Kubeadm

kubeadm 負責管理節點，可以透過方便的指令將電腦加入 cluster，在這裡我們先定義：

  • Master：代表主結點，負責控制與分發任務
  • Node：代表子結點，負責執行 Master 所分發的任務

[Master, Node] 安裝 Kubeadm 需要 root 權限：

1
sudo su -

[Master, Node] 安裝 kubeadm：

1
2
3
4
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
echo "deb http://apt.kubernetes.io/ kubernetes-xenial main" > /etc/apt/sources.list.d/kubernetes.list
apt update
apt install -y kubeadm

apt 安裝 kubeadm 完後會連同 kubelet 跟 kubectl 一起安裝。

[Master] 在 Master 節點上初始化 Kubernetes：

1
kubeadm init --pod-network-cidr 10.244.0.0/16

因為我們是使用 flannel，所以必須加上 --pod-network-cidr。

我們這邊選擇 flannel 的是因為 flannel 支援 arm。

如果要透過 WIFI 連接網路的話，需要加上 --apiserver-advertise-address=<wifi-ip-address> 參數到 kubeadm init 指令上。

執行 kubeadm init 之後會有一行 kubeadm join，如果弄丟的話，可以執行下面指令獲得：

1
kubeadm token create --print-join-command

[Node] 然後把其他的 node 加進來：

1
2
kubeadm join 192.168.0.11:6443 --token 3c564d.6q2we53btzqmf1ew \
    --discovery-token-ca-cert-hash sha256:a5480dcd68ec2ff27885932ac80d33aaa0390d295d4834032cc1eb554de3d5d2

[Master, Node] 離開 root：

1
exit

Kubectl

[Master] 回到使用者模式後執行：

1
2
3
mkdir -p $HOME/.kube
sudo cp -f /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

將 admin.conf 放置到 ~/.kube/config 就會自動抓取設定檔。

[Master] 安裝 flannel，相關文件在 CoreOS 上：

1
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml

[Master] 查看目前節點：

1
2
3
4
$ kubectl get nodes
NAME            STATUS   ROLES    AGE   VERSION
akiicat         Ready    master   77m   v1.14.1
akiicat-node2   Ready    <none>   51s   v1.14.1

測試

執行一些簡單的容器：

1
kubectl run kuard --image=gcr.io/kuar-demo/kuard-amd64:blue --replicas=3

查看 pods 是否有在運行

1
2
3
4
5
$ kubectl get pods
NAME                         READY   STATUS             RESTARTS   AGE
kuard-6cdb64fdcd-7bfgq       1/1     Running            0          17s
kuard-6cdb64fdcd-82mtv       1/1     Running            0          17s
kuard-6cdb64fdcd-rhxp2       1/1     Running            0          17s

使用 LoadBalancer 暴露它：

1
kubectl expose deployment kuard --type=LoadBalancer --port=80 --target-port=8080

查看 Service

1
2
3
4
5
6
7
8
9
10
11
12
$ kubectl describe service/kuard
Name:                     kuard
...
Type:                     LoadBalancer
IP:                       10.109.141.84
Port:                     <unset>  8080/TCP
TargetPort:               8080/TCP
NodePort:                 <unset>  30034/TCP
Endpoints:                10.244.1.5:8080,10.244.1.6:8080,10.244.1.7:8080
Session Affinity:         None
External Traffic Policy:  Cluster
Events:                   <none>

使用 curl 連到 pod 的 endpoint：

1
2
3
$ curl 10.244.1.5:8080
Hostname: kuard-1-6cdb64fdcd-7bfgq
...

Trouble Shooting

Swap Error

當你用 root 權限執行 kubeadm init 時，會出現 ERROR Swap 的錯誤：

1
2
3
4
5
6
7
8
9
# kubeadm init --pod-network-cidr 10.244.0.0/16
[init] Using Kubernetes version: v1.14.1
[preflight] Running pre-flight checks
[preflight] WARNING: Couldn't create the interface used for talking to the container runtime: docker is required for container runtime: exec: "docker": executable file not found in $PATH
error execution phase preflight: [preflight] Some fatal errors occurred:
	[ERROR FileContent--proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables does not exist
	[ERROR FileContent--proc-sys-net-ipv4-ip_forward]: /proc/sys/net/ipv4/ip_forward contents are not set to 1
	[ERROR Swap]: running with swap on is not supported. Please disable swap
[preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`

如果啟用 swap 的話，當你記憶體不夠用的時候，OS 會先把暫時沒有用的資料存到硬碟裡，又稱作為 swap out。相反，OS 需要用到剛剛存在硬碟裡的資料，則會把資料再載入回記憶體裡面，又稱作為 swap in。

使用 Kubenetes 的時候需要停用 swap 這個功能：

1
swapoff -a

相關討論在 Github 的 issue 上。

上面的設定在重新開機之後就會失效 swap，要將 swap 完全關掉的話，需編輯 /etc/fstab 這個檔案，將 mount point 在 / 的項目註解掉：

1
2
# /etc/fstab
# UUID=10e56f7b-7b40-4b10-8029-642badc59ce9  /    ext4    errors=remount-ro 0       1

exec format error

由於 CPU 有分 Intel 跟 Arm 的架構，這個問題會發生是因為 Docker image files 是基於某個特定的架構。也就是說，在 Intel 上建立的 Docker file 只能在 Intel 上執行；在 Arm32 上建立的 Docker file 只能在 Arm32 上執行。

所以當你使用 kubectl logs 查看某個 pod 出現如下的錯誤時：

1
2
$ kubectl logs pod/kuard-777c5775cd-lg7kc
standard_init_linux.go:207: exec user process caused "exec format error"

確認你的 Docker image 有支援你 CPU 的架構

Stackoverflow 上的討論

Reference

© 2025 Akiicat 學習筆記 - Powered by Hexo - Theme Chan