CentOS 7.5 安裝 OpenStack Queens

前言

本文為日前在 OpenInfra Days Taiwan 2018大會上，進行線上實際展示的 SOP 實作內容，有興趣的朋友可以參考看看，或參考 OpenStack Docs: Kolla-Ansible Quick Start 官方文件說明。

簡單來說，我們可以透過 OpenStack 中的 Kolla Project，透過 Kolla / Kolla-Ansible將 OpenStack 運作元件打包成 Container的方式，然後搭配 Ansible 進行自動化佈署的動作，達到快速佈建 OpenStack Queens運作環境的目的。

建立支援 Nested Virtualization 的 CentOS  7.5 虛擬主機

本文，將實作在 CentOS 7.5 主機中安裝 OpenStack Queens 運作環境，當然這台 CentOS 7.5 主機可以在「地端」也可以在「雲端」環境中。值得注意的是，這台 CentOS 7.5 主機必須要支援「巢狀式虛擬化技術」(Nested Virtualization)，屆時才能順利建立 OpenStack Queens運作環境。

有關地端主機啟用 Nested Virtualization 機制的詳細資訊，請參考站內文章 網管人雜誌 133 期 - 實作 Hyper-V 巢狀虛擬化測試研發效率大提升。


有關 Microsoft Azure 雲端主機啟用 Nested Virtualization 機制的詳細資訊，請參考站內文章 ASDK Journey (2) - 實戰 Azure Stack Development Kit on Azure。


在 Microsoft Azure雲端環境中，需要支援 CentOS 7.5主機啟用 Nested Virtualization 機制時，請記得選擇的 VM 虛擬主機必須是「Dv3 或 Ev3」系列才行。舉例來說，本文採用 D16s v3系列的 VM 虛擬主機。

由於本文並非著重於 Microsoft Azure 議題，所以如何建立 CentOS 虛擬主機就不詳述。請透過下列的 Azure CLI 指令，先在東南亞的資料中心建立資源群組，然後再建立具備 Nested Virtualization 機制的 CentOS 7.5 虛擬主機，並且給予「kollaopenstackqueens.southeastasia.cloudapp.azure.com」的 DNS 名稱，以便屆時方便登入 OpenStack Horizon 頁面。
# Create Resource Group in Azure SouthEast Asia DataCenter
$ az group create --name RG-KollaDemo --location southeastasia

# Create CentOS 7.5 Virtual Machine
$ az vm create \
--resource-group RG-KollaDemo \
--name Kolla-OpenStackQueens \
--image OpenLogic:CentOS:7.5:latest \
--size Standard_D16s_v3 \
--public-ip-address-dns-name kollaopenstackqueens \
--admin-username weithenn \
--admin-password OpenInfraDaysTaiwan2018

# Open CentOS 7.5 NSG port 80 traffic
$ az vm open-port --port 80 --resource-group RG-KollaDemo --name Kolla-OpenStackQueens

CentOS 7.5 基礎設定

有關 CentOS 的基礎設定就不再贅述，有興趣的朋友可以參考站內文章 CentOS 7.4 攻略 - 基礎設定系列文章。順利建立 CentOS 虛擬主機可以透過 SSH 登入，也可以從 Azure Cloud Shell進行登入 (但是，必須注意 20 分鐘 Idle 自動登出的情況)：
$ : > /home/weithenn/.ssh/known_hosts
$ ssh weithenn@kollaopenstackqueens.southeastasia.cloudapp.azure.com
$ sudo yum -y update
$ curl -sSL https://get.docker.com | sh
$ systemctl start docker
$ systemctl enable docker
$ usermod -aG docker $(whoami)
$ docker version


事實上，採用 Kolla-Ansible也會自動幫 CentOS 主機安裝 Docker，只是會採用舊版的 Docker 1.13，所以我先手動幫 CentOS 主機安裝最新版本的 Docker 18.06。有關 CentOS 安裝 Docker 的詳細作法，請參考站內文章 CentOS 7.5 安裝 Docker 18.06 容器環境。

安裝 Ansible 及相關 Dependencies

請執行下列相關指令，以便為 CentOS 7.5 主機安裝 Ansible及 Dependencies，其它詳細資訊請參考 OpenStack Docs: Quick Start - Install dependencies官方文件。
$ yum -y install epel-release
$ yum -y install python-pip
$ pip install -U pip
$ yum -y install python-devel libffi-devel gcc git openssl-devel libselinux-python
$ yum -y install ansible
$ pip install -U ansible


接著，修改 Ansible 組態設定檔「/etc/ansible/ansible.cfg」，在 [defaults]下加上 3 個參數選項。
[defaults]
host_key_checking=False
pipelining=True
forks=300

安裝及組態設定 Kolla-Ansible

請執行下列相關指令，以便為 CentOS 7.5 主機安裝 Kolla-Ansible。其它詳細資訊請參考 OpenStack Docs: Quick Start - Install Kolla-ansible官方文件。
# Install Kolla-Ansible
$ cd /opt ; git clone https://github.com/openstack/kolla-ansible -b stable/queens
$ pip install -r kolla-ansible/requirements.txt --ignore-installed
$ cd /opt/kolla-ansible ; python setup.py install

# Configuration Files: global.yml, passwords.yml
$ cp -r /opt/kolla-ansible/etc/kolla /etc/kolla/

# Inventory Files: all-in-one, multimode
$ cp /opt/kolla-ansible/ansible/inventory/* /etc/kolla/


預設情況下，記錄各項 OpenStack 運作元件的密碼為空值，在測試環境中我們可以使用指令「kolla-genpwd」快速產生各項隨機密碼，在本文實作環境中將稍後登入 Horizon 密碼修改為「OpenInfraDaysTaiwan2018」。其它詳細資訊請參考 OpenStack Docs: Quick Start - Kolla Passwords官方文件。
# Generator Kolla passwords - /etc/kolla/passwords.yml
$ kolla-genpwd
$ vi /etc/kolla/passwords.yml
keystone_admin_password: OpenInfraDaysTaiwan2018


接著，調整 Kolla-Ansible 的通用組態設定檔「/etc/kolla/globals.yml」，請依照你的運作環境進行相對應的調整，其它詳細資訊請參考 OpenStack Docs: Quick Start - Kolla globals.yml官方文件。
# Required to deploy Kolla-Ansible - /etc/kolla/globals.yml
$ cd /etc/kolla ; cp globals.yml globals.yml.orig
$ sed -i 's,#kolla_base_distro: "centos",kolla_base_distro: "centos",g' /etc/kolla/globals.yml
$ sed -i 's,#kolla_install_type: "binary",kolla_install_type: "source",g' /etc/kolla/globals.yml
$ sed -i 's,#openstack_release: "",openstack_release: "queens",g' /etc/kolla/globals.yml
$ sed -i 's,kolla_internal_vip_address: "10.10.10.254",kolla_internal_vip_address: "10.0.0.4",g' /etc/kolla/globals.yml
$ sed -i 's,#docker_registry: "172.16.0.10:4000",docker_registry: "",g' /etc/kolla/globals.yml
$ sed -i 's,#docker_namespace: "companyname",docker_namespace: "kolla",g' /etc/kolla/globals.yml
$ sed -i 's,#network_interface: "eth0",network_interface: "eth0",g' /etc/kolla/globals.yml
$ sed -i 's,#neutron_external_interface: "eth1",neutron_external_interface: "docker0",g' /etc/kolla/globals.yml
$ sed -i 's,#enable_haproxy: "yes",enable_haproxy: "no",g' /etc/kolla/globals.yml
$ egrep "^[^#]" /etc/kolla/globals.yml

佈署 OpenStack Queens

前置作業完成後，接著就是重頭戲透過 Kolla-Ansible執行佈署 OpenStack Queens了，請執行下列指令進行「Bootstrap Servers」的動作，此動作大約花費 1 分鐘的時間。其它詳細資訊請參考 OpenStack Docs: Quick Start - Deployment官方文件。
# Bootstrap Servers (1 min, ok=39, changed=21)
$ kolla-ansible -i all-in-one bootstrap-servers



請執行下列指令進行「Pre-Deployment Checks」的動作，此動作大約花費 1 分鐘的時間。其它詳細資訊請參考 OpenStack Docs: Quick Start - Deployment 官方文件。
# Pre-deployment checks (1 min, ok=58, changed=1)
$ kolla-ansible -i all-in-one prechecks


請執行下列指令進行「Download Docker Images」的動作，此動作大約花費 10 ~ 15 分鐘的時間，完成後可以看到 CentOS 主機已經下載許多 Kolla on CentOS 上的 Docker Images。其它詳細資訊請參考 OpenStack Docs: Quick Start - Deployment 官方文件。
# Download docker images (10~15 min, ok=26, changed=11)
$ kolla-ansible -i all-in-one pull
$ docker images



請執行下列指令進行「OpenStack Queens Deployment」的動作，此動作大約花費 10 ~ 15 分鐘的時間，完成後可以看到啟動許多 OpenStack 運作元件容器，並且這些容器的虛擬網路都是採用 Docker Host。其它詳細資訊請參考 OpenStack Docs: Quick Start - Deployment 官方文件。
# OpenStack Queens deployment (10~15 min, ok=225, changed=141)
$ kolla-ansible -i all-in-one deploy
$ docker ps ; docker network ls ; docker volume ls
$ docker inspect mariadb | grep NetworkMode

使用 OpenStack Queens

佈署作業完成後，便可以進行 OpenStack Queens 運作環境的初始化作業及開始使用。請開啟瀏覽器連結至「http://kollaopenstackqueens.southeastasia.cloudapp.azure.com」網址，即可看到 OpenStack Horizon Dashboard登入畫面。其它詳細資訊請參考 OpenStack Docs: Quick Start - Using OpenStack官方文件。
# Install basic OpenStack CLI clients, openrc file
$ pip install python-openstackclient python-glanceclient python-neutronclient
$ kolla-ansible post-deploy
$ . /etc/kolla/admin-openrc.sh

# Create example networks, images
$ . /opt/kolla-ansible/tools/init-runonce

# OpenStack Horizon dashboard
Horizon 網址： http://kollaopenstackqueens.southeastasia.cloudapp.azure.com
登入帳號： admin
登入密碼： OpenInfraDaysTaiwan2018

刪除 OpenStack Queens 測試環境

當測試作業完畢或環境玩爛需要打掉重練時，可以透過 Kolla-Ansible內建的相關管理 Script 來處理運作環境。舉例來說，執行 stop-containers可將所有容器停止運作、執行 cleanup-containers刪除停止的容器、執行 cleanup-images刪除下載的容器映像檔、執行 cleanup-host為刪除 CentOS 主機上相關組態設定。
# Destroy OpenStack Queens environment
$ docker ps
$ /opt/kolla-ansible/tools/stop-containers
$ docker ps -a
$ /opt/kolla-ansible/tools/cleanup-containers
$ docker images
$ /opt/kolla-ansible/tools/cleanup-images --all
$ /opt/kolla-ansible/tools/cleanup-host





由於本文是在 Microsoft Azure公有雲環境上進行實作，最後也可以透過簡單的 Azure CLI 刪除整個測試環境。
# Delete Kolla OpenStack Queens environment
$ az group delete --name RG-KollaDemo --yes --no-wait
$ : > /home/weithenn/.ssh/known_hosts

參考資源

• OpenStack Docs: Quick Start
• Kolla - Project Update - YouTube
• Kolla talk at OpenStack Summit 2017 in Sydney
• OpenStack Kolla Project - Deploying OpenStack in minutes - YouTube
• Making OpenStack Production Ready with Kubernetes and OpenStack-Salt - Part 1 | Mirantis
• OpenStack Releases: OpenStack Releases