Kubectl

修改 Kubernetes Kube Proxy IPVS scheduler mode

2020-02-29

由於 kube-proxy 在 ipvs scheduler 的模式是 rr，這篇會教學如何在 kubernetes cluster 裡面改變 ipvs scheduler 的模式。

環境

目前有三台 node 所組成的 kubernetes cluster

1
2
3
4
5
# kubectl get nodes -o wide
NAME    STATUS   ROLES    AGE    VERSION   INTERNAL-IP     EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION      CONTAINER-RUNTIME
node1   Ready    master   5d7h   v1.16.6   192.168.0.121   <none>        Ubuntu 16.04.5 LTS   4.15.0-88-generic   docker://18.9.7
node2   Ready    master   5d7h   v1.16.6   192.168.0.146   <none>        Ubuntu 16.04.5 LTS   4.15.0-88-generic   docker://18.9.7
node3   Ready    <none>   5d7h   v1.16.6   192.168.0.250   <none>        Ubuntu 16.04.5 LTS   4.15.0-88-generic   docker://18.9.7

Kubernetes 裡面有一個 hello world deployment，並使用 NodePort 暴露 8080 port 的位置。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# kubectl get all
NAME                         READY   STATUS    RESTARTS   AGE
pod/hello-868dc85486-8lvps   1/1     Running   0          3d2h
pod/hello-868dc85486-j2q7x   1/1     Running   0          3d2h
pod/hello-868dc85486-n2lvt   1/1     Running   0          3d2h
pod/hello-868dc85486-njcfn   1/1     Running   0          3d2h

NAME                 TYPE           CLUSTER-IP      EXTERNAL-IP     PORT(S)          AGE
service/kubernetes   ClusterIP      10.233.0.1      <none>          443/TCP          5d8h
service/node-port    NodePort       10.233.2.107    <none>          8080:31191/TCP   35h

NAME                    READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/hello   4/4     4            4           3d2h

NAME                               DESIRED   CURRENT   READY   AGE
replicaset.apps/hello-868dc85486   4         4         4       3d2h

使用 ipvsadm 查看 ipvs 的 scheduler 模式，目前的模式是 rr。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  169.254.25.10:31191 rr
  -> 10.233.90.16:8080            Masq    1      0          0         
  -> 10.233.92.16:8080            Masq    1      0          0         
  -> 10.233.92.17:8080            Masq    1      0          0         
  -> 10.233.96.12:8080            Masq    1      0          0         
TCP  172.17.0.1:31191 rr
  -> 10.233.90.16:8080            Masq    1      0          0         
  -> 10.233.92.16:8080            Masq    1      0          0         
  -> 10.233.92.17:8080            Masq    1      0          0         
  -> 10.233.96.12:8080            Masq    1      0          0         
TCP  192.168.0.121:31191 rr
  -> 10.233.90.16:8080            Masq    1      0          0         
  -> 10.233.92.16:8080            Masq    1      0          0         
  -> 10.233.92.17:8080            Masq    1      0          0         
  -> 10.233.96.12:8080            Masq    1      0          0
TCP  10.233.90.0:31191 rr
  -> 10.233.90.16:8080            Masq    1      0          0         
  -> 10.233.92.16:8080            Masq    1      0          0         
  -> 10.233.92.17:8080            Masq    1      0          0         
  -> 10.233.96.12:8080            Masq    1      0          0 
...

下一節將說明如何修改 ipvs scheduler 的方法。

方法

首先，IPVS scheduler 的設定是在 kube-proxy 的 ConfigMap 裡面。

1
kubectl edit cm kube-proxy -n kube-system

將 data.config.conf.ipvs.scheduler 裡的參數修改成其他的 scheduler 模式：

1
2
3
4
data:
  config.conf:
    ipvs:
      scheduler: sh

在 Service: IPVS proxy mode 裡面有提供以下的 scheduler 的模式：

  • rr: round-robin
  • lc: least connection (smallest number of open connections)
  • dh: destination hashing
  • sh: source hashing
  • sed: shortest expected delay
  • nq: never queue

或參考 IPVS wiki

刪除原有的 kube-proxy 的 pod，daemonset.apps/kube-proxy 會自動重新建立新的 kube-proxy Pod。

1
kubectl delete -n kube-system $(kubectl get all -n kube-system | grep pod/kube-proxy | cut -d ' ' -f 1)

再次使用 ipvsadm 查看 ipvs 的 scheduler 就會是修改後的狀態。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  169.254.25.10:31191 sh
  -> 10.233.90.16:8080            Masq    1      0          0         
  -> 10.233.92.16:8080            Masq    1      0          0         
  -> 10.233.92.17:8080            Masq    1      0          0         
  -> 10.233.96.12:8080            Masq    1      0          0         
TCP  172.17.0.1:31191 sh
  -> 10.233.90.16:8080            Masq    1      0          0         
  -> 10.233.92.16:8080            Masq    1      0          0         
  -> 10.233.92.17:8080            Masq    1      0          0         
  -> 10.233.96.12:8080            Masq    1      0          0         
TCP  192.168.0.121:31191 sh
  -> 10.233.90.16:8080            Masq    1      0          0         
  -> 10.233.92.16:8080            Masq    1      0          0         
  -> 10.233.92.17:8080            Masq    1      0          0         
  -> 10.233.96.12:8080            Masq    1      0          0
TCP  10.233.90.0:31191 sh
  -> 10.233.90.16:8080            Masq    1      0          0         
  -> 10.233.92.16:8080            Masq    1      0          0         
  -> 10.233.92.17:8080            Masq    1      0          0         
  -> 10.233.96.12:8080            Masq    1      0          0

Reference

管理多個 Kubernetes Cluster：建立、切換、合併 context

2019-04-24

用途

要存取某個 Kubernetes 的 cluster，必須先設定好 Kubernetes 的 context，context 裡面會描述要如何存取到你的 Kubernetes 的 cluster。

當你今天有兩個 Kubernetes 的 cluster 的時候，分別是正式版的 cluster 跟測試用的 cluster，很頻繁在這兩個 cluster 作切換，這時候只需要分別對兩個不同的 context 就可以了，然後利用 kubectl 提供的指令，就能在不同的 cluster 作切換。

雖然目前還用不到兩個 cluster，但我還是建議先設定這個檔案，因為在還沒有設定這個檔案前，你可能會需要 ssh 遠端回你的主機才能使用 kubectl 指令，不過你可以在本地端設定這份檔案，就不需要遠端回你的主機了。

能夠有這些方便的功能，都是建立在你已經在本地端建立好你的設定檔。

Context

在 Kubernetes 裡面，切換不同的 cluster 是以 context 為單位，一個 context 裡面必需要三個元件，分別是 User、Server、Certification。這三個東西說起來也很直觀，有個使用者 (User) 必須要有憑證 (Certification) 才能連到某個 Cluster (Server)。

底下是一個 Context 所包含的內容：

1
2
3
4
5
6
7
8
9
                                    +---------------+
                                +---+ Certification |
                  +---------+   |   +---------------+
              +---+ Cluster +---+
+---------+   |   +---------+   |   +--------+
| Context +---+                 +---+ Server |
+---------+   |   +------+          +--------+
              +---+ User |
                  +------+

Server 跟 Certification 會一起放在 Cluster 底下，這麼做的好處是，如果今天有兩個不同的使用者，想要連到同一個 Cluster，則不需要重新輸入一次 Certification 跟 Server。

通常設定檔會放在 $HOME/.kube/ 底下，然後檔名命名為 config，不需要副檔名，當你使用 kubectl 指令的時候，預設就會使用這個設定檔。

這裡提供一個設定檔的範例，裡面的架構就如同上面的圖，可以對照著看，我也加了些註解：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
# $HOME/.kube/config
apiVersion: v1
kind: Config
preferences: {}
current-context: kubernetes-admin@kubernetes # 預設使用哪個 Context

clusters:
- cluster:
    certificate-authority: .minikube/ca.crt
    server: https://192.168.99.100:8443
  name: minikube         # Cluster 的名稱，可在 Context 使用
- cluster:
    certificate-authority-data: LS0tLS1CRUdJTiBDRVJUSUZJQ0FURS0tLS...
    server: https://17.82.125.39:6443
  name: kubernetes
  
contexts:
- context:
    cluster: minikube    # 選則某個 Cluseter
    user: minikube       # 選則某個 User
  name: minikube         # 這個 Context 的名稱
- context:
    cluster: kubernetes
    user: kubernetes-admin
  name: kubernetes-admin@kubernetes
- context:
    cluster: kubernetes
    user: kubernetes-admin
    namespace: kube-system  # 指定 namesapce，若不指定預設為 default
  name: kubernetes-system@kubernetes

users:
- name: kubernetes-admin
  user:
    client-certificate-data: LS0tLS1CRUdJTiBDRVJUSUZJQ0...
    client-key-data: LS0tLS1CRUdJTiBSU0EgUF...
- name: minikube         # User 的名稱，可在 Context 使用
  user:
    client-certificate: .minikube/client.crt
    client-key: .minikube/client.key

如果路徑正確，檔名正確，設定內容正確，就能看一下我們目前狀態：

1
2
3
4
5
$ kubectl config get-contexts
CURRENT   NAME                           CLUSTER      AUTHINFO           NAMESPACE
*         kubernetes-admin@kubernetes    kubernetes   kubernetes-admin   
          kubernetes-system@kubernetes   kubernetes   kubernetes-admin   kube-system
          minikube                       minikube     minikube

第二欄 NAME 就是 context 的名稱，透過 use-context 指令就能夠在不同的設定檔作切換：

1
kubectl config use-context <context-name>

像是這樣：

1
2
3
4
5
6
7
8
$ kubectl config use-context minikube
Switched to context "minikube".

$ kubectl config get-contexts
CURRENT   NAME                           CLUSTER      AUTHINFO           NAMESPACE
          kubernetes-admin@kubernetes    kubernetes   kubernetes-admin   
          kubernetes-system@kubernetes   kubernetes   kubernetes-admin   kube-system
*         minikube                       minikube     minikube

路徑

尋找設定檔的優先順序：

  1. 優先使用環境變數 $KUBECONFIG 所設定的路徑
  2. 如果沒有設定 $KUBECONFIG 環境變數，則使用 ${HOME}/.kube/config

假設想要使用其他的設定檔 /tmp/admin.conf，那可以這樣輸入：

1
export KUBECONFIG=/tmp/admin.conf

這看起來並不是非常好用，如果你要切換某個 context 的時候，還需要設定 KUBECONFIG 的路徑，如果能把所有 context 整合在一起就會好用多了。

Merge

Kubernetes 目前並沒有 kubectl config merge 的指令，不過在未來可能會有，有興趣的話可以參考這篇 Github 上的討論。

暫時性

目前解決方法是用冒號 : 將不同的檔案串在一起，放在越前面的檔案，順位越高：

1
export KUBECONFIG=${HOME}/.kube/config:/tmp/admin.conf

或是在每次輸入指令前都加上 KUBECONFIG 的設定：

1
KUBECONFIG=${HOME}/.kube/config:/tmp/admin.conf kubectl config get-contexts

永久性

直接寫進 bashrc，每當開啟終端機的時候都會套用環境變數：

1
2
# ~/.bashrc
export KUBECONFIG=${HOME}/.kube/config:/tmp/admin.conf

一勞永逸地做法，把新的檔案跟 ${HOME}/.kube/config 合併：

1
KUBECONFIG=${HOME}/.kube/config:/tmp/admin.conf kubectl config view --flatten > mergedkub && mv mergedkub ${HOME}/.kube/config

另外還有腳本：

1
2
3
4
# ~/.bashrc
function kmerge() {
  KUBECONFIG=~/.kube/config:$1 kubectl config view --flatten > ~/.kube/mergedkub && mv ~/.kube/mergedkub ~/.kube/config
}

使用方法：

1
$ kmerge /tmp/admin.conf

Reference

© 2025 Akiicat 學習筆記 - Powered by Hexo - Theme Chan