在過去微軟的 Kubernets 容器叢集運作架構中，無論是 Azure 公有雲環境中的 AKS（Azure Kubernetes Service），或是整合超融合運作架構的 AKS-HCI，都是一開始就必須部署完整，並具備高可用性的 Kubernetes 容器叢集環境，然而對於硬體資源不多的邊緣運算環境來說，這些完整的 AKS 解決方案硬體需求太過龐大並不適合。因此，微軟在 2023 年 3 月正式推出 AKS EE（Edge Essentials）的 GA 版本 ，便是滿足邊緣運算以及小型運作環境的容器叢集解決方案。

簡單來說，AKS EE 是簡化版的 Kubernetes 部署環境，並且能夠運作在硬體資源少的邊緣運算環境中，同時支援運作 Linux 和 Windows 容器（如圖 1 所示），以便滿足不同的容器工作負載需求。

原則上，AKS EE 的硬體需求極低，然而在建構和部署 AKS EE 容器叢集環境之前，仍建議管理人員應該預先確認，使用的主機作業系統以及硬體資源，是否支援並滿足建構和部署 AKS EE 運作環境，軟硬體需求如下：

在 AKS EE 容器叢集運作架構中，會為每個節點主機建立 VM 虛擬主機，舉例來說，Linux 節點主機將會採用由微軟客製化後的 Linux 發行版本 CBL-Mariner，而 Windows 節點主機則採用 Windows Server 2022 Datacenter Server Core 版本，並且 AKS EE 叢集將會管理 VM 虛擬主機的生命週期、組態設定、安全性更新（如圖 2 所示）。

在 AKS EE 容器叢集網路環境方面，將會採用 Hyper-V 網路堆疊架構進行連接，舉例來說，建構 K8s 或 K3s 容器叢集環境中，系統將會自動建立 Hyper-V Internal 類型的 vSwitch 虛擬交換器，並且部署的 Linux 和 Windows 節點主機，預設便會連接至此 vSwitch 虛擬交換器，以便進行通訊作業。

在 AKS EE 單一主機容器叢集環境中，預設情況下，實體主機的 IP 位址將為 192.168.0.1，而部署的 Linux 節點主機兼 Kubernetes 控制平台，則會指派 192.168.0.2 的 IP 位址，當部署 Windows 節點主機時則指派 192.168.0.3 的 IP 位址（如圖 3 所示），而服務 IP 位址的第一個 IP 位址則是 192.168.0.4，當然也會透過 NAT 轉譯機制，讓 Linux 和 Windows 節點主機能夠透過實體主機網路，連線至網際網路環境，以便下載容器印象檔進行部署容器工作負載的動作。

原則上，只要採用上述支援的硬體需求主機，便能建構和部署 AKS EE 叢集。倘若，企業和組織內並沒有多餘的主機可供建立測試環境，那麼可以考慮在 Azure 雲端環境中，建立支援巢狀虛擬化技術的 VM 虛擬主機，並採用上述支援的作業系統即可進行部署和測試。值得注意的是，採用支援巢狀虛擬化技術的 Azure VM 虛擬主機，建構和部署 AKS EE 叢集環境，僅適用於開發人員測試用途，並不適合真正用於營運環境。

在選擇 Azure VM 虛擬主機 Size 時，通常採用 D 或 E 系列即可支援巢狀虛擬化技術。然而，建議管理人員在選擇 Azure VM Size 之前，應該先確認是否支援巢狀虛擬化技術，避免後續實作時發生錯誤而必須重新建立測試主機。舉例來說，本文選擇 Standard_E4d_v5 的 VM 虛擬主機，可以看到此系列 VM 虛擬主機有支援巢狀虛擬化功能（如圖 5 所示）。

在 AKS EE 運作架構中，支援 主流的 K8s和 更精簡的 K3s，管理人員可以視需求部署其中一個。值得注意的是，採用 K3s 時則 CNI 網路外掛程式將會採用 Flannel，若採用 K8s 時則會改為採用 Calico 。在本文中，將會以部署 K3s 容器叢集為例。

此外，雖然 AKS EE 運作架構，同時支援 K8s 和 K3s 容器叢集環境，但請勿同時安裝 K8s 和 K3s，倘若想要測試不同的容器叢集環境，必須先將現有安裝的 AKS EE 版本移除並重新啟動後，再嘗試安裝另一個版本的容器叢集環境。

由於，AKS EE 容器叢集環境，同時支援 Linux 和 Windows 擔任節點主機，然而預設的 K8s 或 K3s 安裝程式，僅包含 Linux 節點主機相關檔案。因此，為了能夠部署 Windows 節點主機，必須額外下載 Windows 節點主機檔案（AksEdgeWindows-1.2.414.0.zip），以便後續能夠部署 Windows 容器。

下載完成後，請將 K3s 安裝程式和解壓後的 Windows 節點主機檔案，放置在同一個資料夾內或路徑中，並以系統管理員身份開啟 PowerShell，然後執行「msiexec.exe /i AksEdge-k3s-1.25.8-1.2.414.0.msi ADDLOCAL=CoreFeature,WindowsNodeFeature」指令（如圖 7 所示），安裝 K3s 容器叢集並準備進行混合部署。

部署 AKS EE 容器叢集的方式，是先透過指令建立 JSON 組態設定檔案，然後再執行指令搭配客製化後的 JSON 組態設定檔案，進行 AKS EE 容器叢集的部署作業。

首先，請執行「New-AksEdgeConfig -DeploymentType SingleMachineCluster -NodeType LinuxAndWindows -outFile .\aksedge-config.json | Out-Null」PowerShell 指令，產生名稱為「aksedge-config.json」的 JSON 組態設定檔案。

其中 -NodeType參數，支援使用「Linux、Windows、LinuxAndWindows」參數值，值得注意的是，由於 Kubernetes 控制平面是採用 Linux 所撰寫的，所以部署的第一台節點主機必須為 Linux 節點才行。

下列為 aksedge-config.json組態設定檔案內容中，相關重要參數的描述說明：

依照上述說明和建議修改 JSON 組態設定檔案內容後，即可執行「New-AksEdgeDeployment -JsonConfigFilePath .\aksedge-config.json」指令，執行 AKE EE K3s 容器叢集的部署作業。本文實作環境花費 10 分鐘，成功建構 AKS EE K3s 容器叢集，並且部署 Linux 和 Windows 節點主機（如圖 10 所示）。

部署 K3s 容器叢集和節點主機成功後，在正式部署容器之前，管理人員應先驗證容器叢集運作情況，避免屆時遭遇非預期的錯誤。

由於，預設情況下系統僅安裝 Hyper-V PowerShell Cmdlet，管理人員可以手動安裝 Hyper-V 管理員伺服器功能，以方便檢查和驗證 Linux 及 Windows 節點主機運作情況，以及 vSwitch 虛擬交換器等相關組態設定。

安裝完成後，開啟 Hyper-V 管理員中的虛擬交換器管理員，可以看到系統已經自動建立一個名稱為「aksedgesw-int」的 vSwitch 虛擬交換器，並且連接類型為「Internal Only」，同時使用「192.168.0.1」的 IP 位址，同時在 Hyper-V 管理員中，可以看到二台 VM 虛擬主機，名稱分別為「aksee-lab01-ledge」和「aksee-lab01-wedge」，就是剛才系統所部署的 Linux 和 Windows 節點主機（如圖 11 所示），並且使用「192.168.0.2」和「192.168.0.3」IP 位址。

首先，部署 Linux 容器和應用程式，在本文實作環境中，將採用微軟的 azure-vote-front容器映像檔為範例，這個展示用的容器映像檔存放在微軟公開的 ACR（Azure Container Registry）當中，並且在部署的 linux-sample.yaml當中，預設已經指定 nodeSelector 為 linux，也就是將會部署在 Linux 節點主機當中。

這個投票範例應用程式，是由 .NET 撰寫的前後端而成的應用程式，其中後端採用的是 Key-Value 儲存的 Redis 。管理人員要執行部署作業也很簡單，只要在 PowerShell 指令視窗中，執行「kubectl apply -f https://raw.githubusercontent.com/Azure/AKS-Edge/main/samples/others/linux-sample.yaml」指令，系統將會解析 linux-sample.yaml 檔案內容，並且執行部署作業和建立定義的 Kubernetes 物件，此時將會看到系統建立「azure-vote-back」和「azure-vote-front」容器叢集服務的資訊。

接著執行「kubectl get pods -o wide」指令，確認部署的容器是否已經為運作狀態，請查看 STATUS 欄位狀態，倘若狀態為 ContainerCreating 時，請稍等幾分鐘待運作狀態轉換為 Running 時，即表示容器已經順利啟動並正常運作中。

由於此範例投票程式，在 linux-sample.yaml 檔案中，已經定義為 azure-vote-front 前端容器，部署 Kubernetes LoadBalancer 負載平衡服務，所以管理人員可以透過「kubectl get services」指令，確認服務 IP 位址是否已經套用生效，請查看 EXTERNAL-IP 欄位，這個欄位一開始會顯示為 Pending，稍待一小段時間後便會顯示服務 IP 位址，本文實作環境為 192.168.0.4（如圖 13 所示）。

值得注意的是，倘若先前部署 K3s 容器叢集時，在 aksedge-config.json 組態設定檔案內容中，並未指定 -ServiceIPRangeSize 參數的服務 IP 位址範圍時，那麼管理人員必須採用「Get-AksEdgeNodeAddr -NodeType Linux」指令，查詢 Linux 節點主機的 IP 位址，搭配容器的 Listen Port 才能順利連線至 Linux 投票範例應用程式頁面。

在本文實作環境中，查詢後得知 Linux 節點主機的 IP 位址為「192.168.0.2」，而前端容器 Linux 投票範例應用程式的通訊埠為 30241，所以開啟瀏覽器並鍵入 IP 位址加通訊埠「https://192.168.0.2:30241」（如圖 15 所示），便能順利連線 Linux 投票範例應用程式頁面。

在部署 Windows 容器和應用程式方面，將會部署 ASP .NET 範例應用程式，在部署的 win-sample.yaml當中，預設已經指定 nodeSelector 為 windows，表示屆時 Windows 容器將會部署在 Windows 節點主機中。

請在 PowerShell 指令視窗中，執行「kubectl apply -f https://raw.githubusercontent.com/Azure/AKS-Edge/main/samples/others/win-sample.yaml」指令，系統將會解析 win-sample.yaml 檔案內容，並且執行部署作業和建立定義的 Kubernetes 物件，此時將會看到系統建立名稱為「sample」的容器叢集服務資訊。

執行「kubectl get pods -o wide」指令，確認部署的 Windows 容器是否已經為運作狀態，請查看 STATUS 欄位狀態，倘若狀態為 ContainerCreating 時，請稍等幾分鐘待運作狀態轉換為 Running 時，即表示容器已經順利啟動並正常運作中。值得注意的是，由於 ASP .NET 容器映像檔空間較大，必須視主機的網際網路連線頻寬而定，所以 Windows 容器必須要一些時間才能轉換為運作中的狀態，管理人員可以在指令結尾加上「--watch」參數即時觀察容器運作狀態，本文實作環境 Windows 容器下載到順利運作共花費 9 分 45 秒。

確認 Windows 容器順利運作後，執行「kubectl get services」指令，可以看到由於範例 Windows 容器的 Kubernetes 服務類型為「NodePort」，所以系統並不會透過服務 IP 位址進行派發的動作，請執行「Get-AksEdgeNodeAddr -NodeType Windows」指令，查詢 Windows 節點主機的 IP 位址，搭配容器的 Listen Port 才能順利連線至 Windows 範例應用程式頁面（如圖 16 所示）。

當 Linux 和 Windows 節點主機上，運作數量越來越多的容器時，管理人員可以透過部署 Metrics-Server 容器，快速查詢所有容器的資源耗用情況。

請執行「kubectl apply -f https://raw.githubusercontent.com/Azure/AKS-Edge/main/samples/others/metrics-server.yaml」指令，系統將會解析 metrics-server.yaml 檔案內容，並且執行部署作業和建立定義的 Kubernetes 物件，此時將會看到系統建立名稱為「metrics-server」的系統容器服務資訊。

執行「kubectl get pods -A」指令，查看系統中所有容器包括系統用容器，接著執行「kubectl top pods -A」指令，即可條列出所有容器的工作負載和資源耗用情況（如圖 18 所示）。

至此，管理人員已經初步體驗部署 K3s 容器叢集，Linux 和 Windows 節點主機，以及 Linux 和 Windows 範例容器和應用程式。倘若，希望移除 K3s 容器叢集測試環境，改為部署 K8s 容器叢集之前，請先依照順序將相關工作負載和節點主機移除，最後才移除容器叢集。

首先，倘若仍有容器和應用程式運作時，請使用「kubectl delete -f」指令，搭配部署時使用的 YAML 檔，將已經部署運作的容器和應用程式進行移除，使用「kubectl get pods -o wide」指令，確認目前已經沒有容器運作中，使用「kubectl get pods -A -o wide」指令，可以看到僅剩系統用途的容器運作中（如圖 19 所示）。

執行移除節點主機的動作，在本文實作環境中，雖然同時擁有 Linux 和 Windows 節點主機，但是 K3s 容器叢集的控制平台，是由 Linux 節點主機同時擔任，所以僅能先移除 Windows 節點主機，或是同時移除 Linux 和 Windows 節點主機，不能僅移除 Linux 節點主機。

執行「kubectl get nodes」指令，可以看到目前有 Linux 和 Windows 節點主機正在運作中，執行「Remove-AksEdgeNode -NodeType Windows」指令，僅先移除 Windows 節點主機，待節點主機移除動作完成後，再次執行「kubectl get nodes」指令，可以看到目前系統中僅剩 Linux 節點主機（如圖 20 所示）。