『壹』 k8s為什麼需要軟路由
使用RouterOS, 搭建虛擬路由器，並且配置多個網關互通。配置步驟如下。
基礎配置
1. RouterOS 伺服器，設置如下
『貳』 如何配置kubernetes dns
創建一個簡單的 Pod 來用作測試環境
使用以下內容創建一個名為 busybox.yaml 的文件：
busybox.yaml
apiVersion: v1
kind: Pod
metadata:
name: busybox
namespace: default
spec:
containers:
- name: busybox
image: busybox
command:
- sleep
- "3600"
imagePullPolicy: IfNotPresent
restartPolicy: Always
然後使用此文件創建一個 pod 並驗證其狀態：
$ kubectl create -f busybox.yaml
pod "busybox" created
$ kubectl get pods busybox
NAME READY STATUS RESTARTS AGE
busybox 1/1 Running 0 <some-time>
一旦該 pod 運行，您就可以在環境中執行 nslookup。如果您看到如下所示的內容，則 DNS 工作正常。
$ kubectl exec -ti busybox -- nslookup kubernetes.default
Server: 10.0.0.10
Address 1: 10.0.0.10
Name: kubernetes.default
Address 1: 10.0.0.1
如果 nslookup 命令失敗，請檢查以下內容：
首先檢查本地 DNS 配置
看一看 resolv.conf 文件。（有關更多信息，請參閱從節點繼承 DNS和 下面的已知問題）
$ kubectl exec busybox cat /etc/resolv.conf
驗證搜索路徑和名稱伺服器是否設置如下（請注意，搜索路徑可能因不同的雲提供商而異）：
search default.svc.cluster.local svc.cluster.local cluster.local google.internal c.gce_project_id.internal
nameserver 10.0.0.10
options ndots:5
以下錯誤表明 kube-dns 附加組件或相關服務存在問題：
$ kubectl exec -ti busybox -- nslookup kubernetes.default
Server: 10.0.0.10
Address 1: 10.0.0.10
nslookup: can't resolve 'kubernetes.default'
或者
$ kubectl exec -ti busybox -- nslookup kubernetes.default
Server: 10.0.0.10
Address 1: 10.0.0.10 kube-dns.kube-system.svc.cluster.local
nslookup: can't resolve 'kubernetes.default'
檢查 DNS pod 是否正在運行中
使用 kubectl get pods 命令驗證 DNS pod 是否正在運行中。
$ kubectl get pods --namespace=kube-system -l k8s-app=kube-dns
NAME READY STATUS RESTARTS AGE
...
kube-dns-v19-ezo1y 3/3 Running 0 1h
如果您看到沒有 pod 正在運行中，或者 pod 已失敗/已完成，那麼在當前環境中，默認情況下可能不會部署 DNS 插件，您將不得不手動部署它。
檢查 DNS pod 中的錯誤
使用 kubectl logs 命令查看 DNS 守護程序的日誌。
$ kubectl logs --namespace=kube-system $(kubectl get pods --namespace=kube-system -l k8s-app=kube-dns -o name) -c kubedns
$ kubectl logs --namespace=kube-system $(kubectl get pods --namespace=kube-system -l k8s-app=kube-dns -o name) -c dnsmasq
$ kubectl logs --namespace=kube-system $(kubectl get pods --namespace=kube-system -l k8s-app=kube-dns -o name) -c sidecar
看看有沒有可疑的日誌。字母 『W『、』E『、』F』 表示警告、錯誤和失敗。請搜索具有這些日誌級別的條目，並使用kubernetes 問題來報告意外錯誤。
DNS服務起來了嗎？
通過使用 kubectl get service 命令驗證 DNS 服務已啟動。
$ kubectl get svc --namespace=kube-system
NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGE
...
kube-dns 10.0.0.10 <none> 53/UDP,53/TCP 1h
...
如果您已經創建了該服務，或者應該在默認情況下創建它，但它沒有出現，請參閱調試服務以獲取更多信息。
DNS endpoints 是否暴露？
您可以使用 kubectl get endpoints 命令驗證是否暴露了了 DNS endpoints。
$ kubectl get ep kube-dns --namespace=kube-system
NAME ENDPOINTS AGE
kube-dns 10.180.3.17:53,10.180.3.17:53 1h
如果您沒有看到 endpoints，請參閱調試服務文檔中的 endpoints 部分 。
有關其他 Kubernetes DNS 示例，請參閱 Kubernetes GitHub 倉庫中的cluster-dns 示例。
已知問題
Kubernetes 安裝不會將節點的 resolv.conf 文件配置為默認使用集群 DNS，因為該過程本身就是發行版的。最終可能會這么實現。
Linux 的 libc 不可能擺脫（見 2005 年的這個 bug）只有 3 個 DNSnameserver記錄和 6 個 DNSsearch記錄的限制。Kubernetes 需要消耗 1 個nameserver記錄和 3 條search記錄。這意味著如果本地安裝已經使用了 3 個nameserver或使用了多於 3 條search，那麼其中一些設置將會丟失。作為部分解決方法，節點可以運行dnsmasq，它將提供更多nameserver條目，但沒有更多的search條目。您也可以使用 kubelet--resolv-conf標志。
如果您使用 Alpine 3.3 或更低版本作為您的基本鏡像，由於 Alpine 的某些已知問題，DNS 可能無法正常工作。
kubernetes 調試 DNS 解析
『叄』 k8s部署fabric,用minikube部署的k8s集群環境，kube-dns出現了問題
1. 安裝kubectl
curl -LO https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl && chmod +x kubectl && sudo mv kubectl /usr/local/bin/
1
下載指定版本，例如下載v1.9.0版本
curl -LO https://storage.googleapis.com/kubernetes-release/release/v1.9.0/bin/linux/amd64/kubectl && chmod +x kubectl && sudo mv kubectl /usr/local/bin/
1
2. 安裝minikube
minikube的源碼地址：https://github.com/kubernetes/minikube
2.1 安裝minikube
以下命令為安裝latest版本的minikube。
curl -Lo minikube https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64 && chmod +x minikube && sudo mv minikube /usr/local/bin/
1
安裝指定版本可到https://github.com/kubernetes/minikube/releases下載對應版本。
『肆』 如何入門k8s
Kubernetes（簡稱K8S） 是Google開源的分布式的容器管理平台，方便我們在伺服器集群中管理我們容器化應用。
節點（Master node and Worker node）
節點通常指的就是伺服器，在k8s中有兩種節點：管理節點（Master Node）和工作節點（Worker Node）
管理節點（Master Node）：負責管理整個k8s集群，一般由3個管理節點組成HA的架構。
工作節點（Worker Node）：主要負責運行容器。命名空間(Namespace)
k8s命名空間主要用於隔離集群資源、隔離容器等，為集群提供了一種虛擬隔離的策略；默認存在3個名字空間，分別是默認命名空間 default、系統命名空間 kube-system 和 kube-public。Object
k8s 對象(Object)是一種持久化存儲並且用於表示集群狀態的實體。k8s 對象其實就是k8s自己的配置協議，總之我們可以通過定義一個object讓k8s根據object定義執行一些部署任務、監控任務等等。POD
Pod是 Kubernetes 部署應用或服務的最小的基本單位。一個Pod 封裝多個應用容器（也可以只有一個容器）、存儲資源、一個獨立的網路 IP 以及管理控制容器運行方式的策略選項。副本集(Replica Set，RS)
是一種控制器，負責監控和維護集群中pod的副本(replicas)數，確保pod的副本數是我們期望的樣子。部署(Deployment)
表示對k8s集群的一次更新操作，是k8s集群中最常用的Object，主要用於部署應用。支持滾動升級。服務(service)
是對應用的抽象，也是k8s中的基本操作單元，一個服務背後由多個pod支持，服務通過負載均衡策略將請求轉發到容器中。Ingress
是一種網關服務，可以將k8s服務通過http協議暴露到外部。無狀態應用 & 有狀態應用
無狀態應用指的是應用在容器中運行時候不會在容器中持久化存儲數據，應用容器可以隨意創建、銷毀；如果一個應用有多個容器實例，對於無狀態應用，請求轉發給任何一個容器實例都可以正確運行。例如：web應用
有狀態應用指的是應用在容器中運行時候需要穩定的持久化存儲、穩定的網路標識、固定的pod啟動和停止次序。例如：mysql資料庫
『伍』 kubernetes集群怎麼訪問外部的服務mysql，redis
k8s訪問集群外獨立的服務最好的方式是採用Endpoint方式(可以看作是將k8s集群之外的服務抽象為內部服務)，以mysql服務為例：
創建mysql-endpoints.yaml
apiVersion: v1
kind: Endpoints
metadata:
name: mysql-test
namespace: default
subsets:
- addresses: - ip: 10.1.0.32 ports:
- port: 3306多個埠的話可以在此處列出123456789101112
創建mysql-service.yaml
apiVersion: v1kind: Servicemetadata:
name: mysql-testspec:
ports:
- port: 3306同樣多埠需要列出
『陸』 如何進行K8S存儲系統
在K8S運行的服務，從簡單到復雜可以分成三類：無狀態服務、普通有狀態服務和有狀態集群服務。下面分別來看K8S是如何運行這三類服務的。
無狀態服務，K8S使用RC（或更新的Replica Set）來保證一個服務的實例數量，如果說某個Pod實例由於某種原因Crash了，RC會立刻用這個Pod的模版新啟一個Pod來替代它，由於是無狀態的服務，新啟的Pod與原來健康狀態下的Pod一模一樣。在Pod被重建後它的IP地址可能發生變化，為了對外提供一個穩定的訪問介面，K8S引入了Service的概念。一個Service後面可以掛多個Pod，實現服務的高可用。
普通有狀態服務，和無狀態服務相比，它多了狀態保存的需求。Kubernetes提供了以Volume和Persistent Volume為基礎的存儲系統，可以實現服務的狀態保存。
有狀態集群服務，與普通有狀態服務相比，它多了集群管理的需求。K8S為此開發了一套以Pet Set為核心的全新特性，方便了有狀態集群服務在K8S上的部署和管理。具體來說是通過Init Container來做集群的初始化工作，用Headless Service來維持集群成員的穩定關系，用動態存儲供給來方便集群擴容，最後用Pet Set來綜合管理整個集群。
要運行有狀態集群服務要解決的問題有兩個,一個是狀態保存，另一個是集群管理。我們先來看如何解決第一個問題：狀態保存。Kubernetes有一套以Volume插件為基礎的存儲系統，通過這套存儲系統可以實現應用和服務的狀態保存。
K8S的存儲系統從基礎到高級又大致分為三個層次：普通Volume，Persistent Volume和動態存儲供應。
1.普通Volume
最簡單的普通Volume是單節點Volume。它和Docker的存儲卷類似，使用的是Pod所在K8S節點的本地目錄。
第二種類型是跨節點存儲卷，這種存儲卷不和某個具體的K8S節點綁定，而是獨立於K8S節點存在的，整個存儲集群和K8S集群是兩個集群，相互獨立。
跨節點的存儲卷在Kubernetes上用的比較多，如果已有的存儲不能滿足要求，還可以開發自己的Volume插件，只需要實現Volume.go里定義的介面。如果你是一個存儲廠商，想要自己的存儲支持Kubernetes上運行的容器，就可以去開發一個自己的Volume插件。
2.persistent volume
它和普通Volume的區別是什麼呢？
普通Volume和使用它的Pod之間是一種靜態綁定關系，在定義Pod的文件里，同時定義了它使用的Volume。Volume是Pod的附屬品，我們無法單獨創建一個Volume，因為它不是一個獨立的K8S資源對象。
而Persistent Volume簡稱PV是一個K8S資源對象，所以我們可以單獨創建一個PV。它不和Pod直接發生關系，而是通過Persistent Volume Claim，簡稱PVC來實現動態綁定。Pod定義里指定的是PVC，然後PVC會根據Pod的要求去自動綁定合適的PV給Pod使用。
『柒』 如何在Kubernetes中部署一個高可用的PostgreSQL集群環境
雖然 kubernetes 社區一直在努力使得有狀態應用成為一等公民，也推出了 statefulset 控制器支持 pod 的順序部署，穩定的域名訪問和存儲訪問。但鑒於 MySQL 部署運維的多樣性和復雜性，在 kubernetes 上部署 MySQL 仍然要面臨眾多挑戰。
1、業務流量入口的配置方式
傳統虛擬機環境下，我們通過虛IP的方式，讓業務應用都配置事先定義的一個虛IP為鏈接資料庫的地址，然後由高可用服務保證虛IP始終能被路由到master資料庫。在kubernetes中，出現了一層網路插件屏蔽了底層網路拓撲，高可用服務管理虛IP的方式需要隨之適應調整，比如通過service結合標簽完成虛IP的漂移，但service本身是kubernetes提供的一項功能，其可靠性和性能都取決於kubernetes服務的穩定。以性能來說，service是kubeproxy組件通過配置iptables實現的，當iptables規則較多時不可避免的會產生時延，需要我們針對性的解決。
2、容器隔離帶來的監控視野問題
在 kubernetes 中，如果將 MySQL 製作為 container 運行在一個 pod 中，container 會將 MySQL 進程和運行環境隔離在一個單獨的 namespace 中。監控組件在獲取 MySQL 的一些 metirc 時，可能不得不進入與 MySQL 同一個 namespace 中，在部署和設計監控組件時需要考慮到這些限制。
3、存儲在 kubernetes 中，支持配置各種不同的存儲。
如果使用本地存儲 local persistent volume，則需要綁定 MySQL 在一個固定的節點，這就完全浪費了 kubernetes 靈活調度的天然優勢；而如果使用遠程共享存儲，確實是將 MySQL 進程與其存儲完全解耦，使得 MySQL 進程可以在任意節點調度，然而考慮到高 I/O 吞吐量的情況，就不是那麼美好了。設計時需要考量遠程存儲是否能夠滿足 MySQL 的帶寬要求。
4、高可用/備份恢復
kubernetes 提供的 statefulset 控制器只能提供最基本的部署，刪除功能，無法實現完善的 MySQL 集群高可用/備份恢復操作。對於有狀態應用的部署，仍需要定製開發，所以多數公司提供了定製的 operator 來完成應用容器的管理。比如 etcd operator，MySQL operator，後文將為大家詳述我測試使用 MySQL operator 的一些記錄。
『捌』 Linux裡面k8s有幾種網路模式
1、單機網路模式：Bridge 、Host、Container、None
2、多機網路模式：一類是 Docker 在 1.9 版本中引入Libnetwork項目，對跨節點網路的原生支持；一類是通過插件（plugin）方式引入的第三方實現方案，比如 Flannel，Calico 等等。
『玖』 如何訪問k8s集群內部署的mysql服務
雖然 kubernetes 社區一直在努力使得有狀態應用成為一等公民，也推出了 statefulset 控制器支持 pod 的順序部署，穩定的域名訪問和存儲訪問。但鑒於 MySQL 部署運維的多樣性和復雜性，在 kubernetes 上部署 MySQL 仍然要面臨眾多挑戰。
1、業務流量入口的配置方式
傳統虛擬機環境下，我們通過虛IP的方式，讓業務應用都配置事先定義的一個虛IP為鏈接資料庫的地址，然後由高可用服務保證虛IP始終能被路由到master資料庫。在kubernetes中，出現了一層網路插件屏蔽了底層網路拓撲，高可用服務管理虛IP的方式需要隨之適應調整，比如通過service結合標簽完成虛IP的漂移，但service本身是kubernetes提供的一項功能，其可靠性和性能都取決於kubernetes服務的穩定。以性能來說，service是kubeproxy組件通過配置iptables實現的，當iptables規則較多時不可避免的會產生時延，需要我們針對性的解決。
2、容器隔離帶來的監控視野問題
在 kubernetes 中，如果將 MySQL 製作為 container 運行在一個 pod 中，container 會將 MySQL 進程和運行環境隔離在一個單獨的 namespace 中。監控組件在獲取 MySQL 的一些 metirc 時，可能不得不進入與 MySQL 同一個 namespace 中，在部署和設計監控組件時需要考慮到這些限制。
3、存儲在 kubernetes 中，支持配置各種不同的存儲。
如果使用本地存儲 local persistent volume，則需要綁定 MySQL 在一個固定的節點，這就完全浪費了 kubernetes 靈活調度的天然優勢；而如果使用遠程共享存儲，確實是將 MySQL 進程與其存儲完全解耦，使得 MySQL 進程可以在任意節點調度，然而考慮到高 I/O 吞吐量的情況，就不是那麼美好了。設計時需要考量遠程存儲是否能夠滿足 MySQL 的帶寬要求。
4、高可用/備份恢復
kubernetes 提供的 statefulset 控制器只能提供最基本的部署，刪除功能，無法實現完善的 MySQL 集群高可用/備份恢復操作。對於有狀態應用的部署，仍需要定製開發，所以多數公司提供了定製的 operator 來完成應用容器的管理。比如 etcd operator，MySQL operator，後文將為大家詳述我測試使用 MySQL operator 的一些記錄。
『拾』 如何在K8S平台部署微服務
使用Rancher來運行Kubernetes有很多優勢。大多數情況下能使用戶和IT團隊部署和管理工作更加方便。Rancher自動在Kubernetes後端實現etcd 的HA，並且將所需要的服務部署到此環境下的任何主機中。在設置訪問控制，可以輕易連接到現有的LDAP和AD基礎構架。Rancher還可以自動實現容器聯網以及為Kubernetes提供負載均衡服務。通過使用Rancher，你將會在幾分鍾內有擁有Kubernetes的HA實現。
命名空間
現在我們的集群已經運行了，讓我們進入並查看一些基本的Kubernetes資源吧。你可以訪問Kubernetes集群也可以直接通過kubectl CLI訪問，或者通過Rancher UI 訪問。Rancher的訪問管理圖層控制可以訪問集群，所以你需要在訪問CLI前從Rancher UI那裡生成API密匙。
我們來看下第一個Kubernetes資源命名空間，在給定的命名空間中，所有資源名稱必須有唯一性。此外,標簽是用來連接劃定到單個命名空間的資源。這就是為什麼同一個Kubernetes集群上可以用命名空間來隔離環境。例如，你想為應用程序創建Alpha, Beta和生產環境，以便可以測試最新的更改且不會影響到真正的用戶。最後創建命名空間，復制下面的文本到namespace.yaml文件，並且運行 kubectl -f namespace.yaml 命令，來創建一個beta命名空間。
kind: Namespace
apiVersion: v1
metadata:
name: beta
labels:
name: beta
當然你還可以使用頂部的命名空間菜單欄從Rancher UI上創建、查看和選擇命名空間。
你可以使用下面的命令，用kubectl來為CLI交互設置命名空間：
$ kubectl config set-context Kubernetes --namespace=beta.
為了驗證目前context是否已經被設置好，你可以使用config view命令，驗證一下輸出的命名空間是否滿足你的期望。
$ kubectl config view | grep namespace command namespace: beta
Pods
現在我們已經定義好了命名空間，接下來開始創建資源。首先我們要看的資源是Pod。一組一個或者多個容器的Kubernetes稱為pod，容器在pod 里按組來部署、啟動、停止、和復制。在給定的每個主機種類里，只能有一個Pod,所有pod里的容器只能在同一個主機上運行，pods可以共享網路命名空間,通過本地主機域來連接。Pods也是基本的擴展單元,不能跨越主機,因此理想狀況是使它們盡可能接近單個工作負載。這將消除pod在擴展或縮小時產生的副作用，以及確保我們創建pods不太耗資源而影響到主機。
我們來給名為mywebservice的pod定義，在規范命名web-1-10中它有一個容器並使用nginx容器鏡像，然後把埠為80下的文本添加至pod.yaml文檔中。
apiVersion: v1
kind: Pod
metadata:
name: mywebservice
spec:
containers:
- name: web-1-10
image: nginx:1.10
ports:
- containerPort: 80
使用kubetl create命令創建pod，如果您使用set-context command設置了您的命名空間，pods將會在指定命名空間中被創立。在通過運行pods命令去驗證pod狀態。完成以後，我們可以通過運行kubetl delete命令刪除pod。
$ kubectl create -f ./pod.yaml
pod "mywebservice" created
$ kubectl get pods
NAME READY STATUS RESTARTS AGE
mywebservice 1/1 Running 0 37s
$ kubectl delete -f pod.yaml
pod "mywebservice" deleted
在Rancher UI 中查看pod，通過頂端的菜單欄選擇 Kubernetes > Pods 。