인프런 일프로님의 쿠버네티스 어나더 클래스 강의를 수강하며, 저희 사내 환경에 맞게 쿠버네티스를 설치하는 내용을 다루도록 하겠습니다.
환경
PC: Windows 10
IDE: vscode
HCI: Proxmox VE v8.1.4
IaC: Terraform
OS: Rocky linux 8.10
우선, 제가 구축할 환경은 아래와 같습니다. (빨간색 점선 부분이 추가 부분)
강의에서는 VirtualBox를 사용하였으나, 현재 저는 사내 데스크탑에 Proxmox 서버를 구축해 둔 관계로, 제공해주신 스크립트를 Proxmox에 맞춰 변경하는 작업이 필요합니다. 저는 굳이 VirtualBox를 사용하지 않기 때문에, Terraform을 이용하여 스크립트를 다시 작성하도록 하겠습니다.
Terraform은 아래의 과정을 수행합니다.
- 템플릿을 기반으로 VM 생성 (CPU, 메모리, SSH Key 등..)
- SSH key를 이용하여 서버에 접속한 후 쉘 스크립트로 쿠버네티스 설치 진행
1. Proxmox Template 생성
제가 작성한 아래 게시물의 링크를 참조합니다.
2. Proxmox API Key 생성
Proxmox 관리 UI 접속 이후 아래 과정을 따릅니다.
- Datacenter 클릭 -> API Tokens 클릭 -> Add 클릭 -> Token ID에 식별할 수 있는 값 자유롭게 입력 -> Priveilege Separation 체크 해제 -> Add 버튼 클릭
이후 표출되는 Secret 값을 복사한 후 잘 저장해둡니다. (생성 시에만 확인 가능)
3. Terraform 코드 작성
일프로님이 작성하신 Vagrant 스크립트를 기반으로 하여 테라폼으로 배포할 수 있도록 스크립트를 아래와 같이 작성하였습니다. 테라폼을 제대로 처음 작성해보는 관계로 코드가 좋지 않을 수 있어 양해 부탁드립니다.
스크립트를 그대로 사용하실 경우 유의하실 점은
- terraform.tfvars 파일을 자신의 환경에 맞게 적절히 수정
- ssh private key와 public key를 모두 같은 폴더에 넣고 파일명에 맞춰 terraform.tfvars 내 변수 수정
- install_k8s.sh 의 경우 파일명을 그대로 유지하며 같은 폴더에 넣을 것
윈도우와 vscode 환경에서 테라폼 구성 시에는 잘 모르시겠다면 아래 제가 진행하다가 작성한 링크를 참고해주세요.
https://ratril.tistory.com/category/IaC/Terraform
A. backend.tf
terraform {
required_providers {
proxmox = {
source = "Telmate/proxmox"
version = "3.0.1-rc4"
}
}
backend "local" {
}
}
B. provider.tf
provider "proxmox" {
pm_api_url = var.proxmox_endpoint
pm_api_token_id = var.proxmox_api_token_id
pm_api_token_secret = var.proxmox_api_secret
pm_tls_insecure = true # TLS 검증 비활성화
# debug
pm_log_enable = true
pm_log_file = "terraform-plugin-proxmox.log"
pm_debug = true
pm_log_levels ={
_default = "debug"
_capturelog = ""
}
}
C. main.tf
# 마스터 노드 설정
resource "proxmox_vm_qemu" "master_node" {
name = "k8s-master"
target_node = "vm"
vmid = 600
cores = 4
memory = 6144
scsihw = "virtio-scsi-pci"
bootdisk = "order=scsi0"
clone = var.template_name
os_type = "cloud-init"
cpu = "host"
ipconfig0 = "ip=${var.k8s_ip},gw=${var.k8s_gw}"
sshkeys = file("${path.module}/${var.pub_ssh_key}")
disks {
ide {
ide2 {
cloudinit {
storage = "main-hdd"
}
}
}
scsi {
scsi0 {
disk {
size = 50
storage = "main-hdd"
iothread = true
discard = true
}
}
}
}
# 네트워크 설정
network {
model = "virtio"
bridge = "vmbr0"
tag = 56
firewall = false
link_down = false
}
# 시리얼 포트 추가
serial {
id = 0
type = "socket"
}
connection {
host = replace(var.k8s_ip, "/24", "")
type = "ssh"
user = "rocky"
private_key = file(var.pri_ssh_key)
}
# install_k8s.sh 파일 업로드 및 실행
provisioner "file" {
source = "install_k8s.sh" # 로컬의 스크립트 경로
destination = "/tmp/install_k8s.sh" # 원격 VM 내 저장 경로
}
provisioner "remote-exec" {
inline = [
"chmod +x /tmp/install_k8s.sh", # 실행 권한 부여
"/tmp/install_k8s.sh" # 스크립트 실행
]
}
}
D. variables.tf
variable "proxmox_endpoint" {
description = "Proxmox API endpoint URL"
}
variable "proxmox_api_token_id" {
description = "Proxmox API token id"
}
variable "proxmox_api_secret" {
description = "Proxmox password or API token"
}
variable "proxmox_node" {
description = "Proxmox node name"
}
variable "template_name" {
description = "Proxmox template name"
type = string
}
variable "pub_ssh_key" {
description = "Public SSH Key file Name"
}
variable "pri_ssh_key" {
description = "Private SSH Key file Name"
}
variable "k8s_ip" {
description = "K8s Master Node IP and subnet"
}
variable "k8s_gw" {
description = "K8s Master Node GW"
}
F. terraform.tfvars (직접 환경에 맞는 변수를 입력하셔야 합니다)
proxmox_endpoint = "https://[Proxmox IP]:8006/api2/json"
proxmox_api_token_id = "[계정명]@pam![토큰 ID] ex)root@pam!terraform"
proxmox_api_secret = "[토큰 secret]"
proxmox_node = "[proxmox node명 입력] ex)pxe"
template_name = "[proxmox template 이름 입력] ex) rocky-8-10-server-template"
pri_ssh_key = "[ssh private key 파일명 입력] ex) proxmox_key"
pub_ssh_key = "[ssh public key 파일명 입력] ex) proxmox_key.pub"
k8s_ip = "[k8s 마스터 노드 IP/Subnet 입력] ex)192.168.56.30/24"
k8s_gw = "[k8s 마스터 노드 gw 입력] ex)192.168.56.1"
G. install_k8s.sh
(테라폼 숙련도 이슈로 root 권한 자체로 스크립트 실행하는 방법을 몰라 일프로님의 스크립트에서 sudo 명령어를 추가 및 이외 수정 작업 진행)
* kubectl 명령어에서는 앞에 sudo 입력 시 아래 에러 표출됨
[rocky@k8s-master ~]$ sudo kubectl create -f [URL]
The connection to the server localhost:8080 was refused - did you specify the right host or port?
#!/bin/bash
echo '======== [4] Rocky Linux 기본 설정 ========'
echo '======== [4-1] 패키지 업데이트 ========'
# 강의와 동일한 실습 환경을 유지하기 위해 Linux Update 주석 처리
# yum -y update
echo '======== [4-2] 타임존 설정 ========'
sudo timedatectl set-timezone Asia/Seoul
echo '======== [4-3] Disk 확장 / Bug: soft lockup 설정 추가========'
sudo yum install -y cloud-utils-growpart
sudo growpart /dev/sda 4
sudo xfs_growfs /dev/sda4
sudo echo 0 > /proc/sys/kernel/hung_task_timeout_secs
sudo echo "kernel.watchdog_thresh = 20" >> /etc/sysctl.conf
echo '======== [4-4] tc 관련 패키지 설치 ========'
sudo yum install -y yum-utils iproute-tc
echo '======= [4-4] hosts 설정 =========='
sudo cat << EOF >> /etc/hosts
192.168.56.30 k8s-master
EOF
echo '======== [5] 방화벽 해제 ========'
sudo systemctl stop firewalld && systemctl disable firewalld
echo '======== [5] Swap 비활성화 ========'
sudo swapoff -a && sed -i '/ swap / s/^/#/' /etc/fstab
echo '======== [6] 컨테이너 런타임 설치 ========'
sudo touch /etc/modules-load.d/k8s.conf
sudo cat <<EOF |sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF
sudo modprobe overlay
sudo modprobe br_netfilter
sudo touch /etc/sysctl.d/k8s.conf
sudo cat <<EOF |sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1
EOF
sudo sysctl --system
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
sudo yum install -y containerd.io-1.6.21-3.1.el8
sudo systemctl daemon-reload
sudo systemctl enable --now containerd
sudo bash -c "containerd config default > /etc/containerd/config.toml"
sudo sed -i 's/ SystemdCgroup = false/ SystemdCgroup = true/' /etc/containerd/config.toml
sudo systemctl restart containerd
echo '======== [7] kubeadm 설치 ========'
sudo cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://pkgs.k8s.io/core:/stable:/v1.27/rpm/
enabled=1
gpgcheck=1
gpgkey=https://pkgs.k8s.io/core:/stable:/v1.27/rpm/repodata/repomd.xml.key
exclude=kubelet kubeadm kubectl cri-tools kubernetes-cni
EOF
sudo setenforce 0
sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
sudo yum install -y kubelet-1.27.2-150500.1.1.x86_64 kubeadm-1.27.2-150500.1.1.x86_64 kubectl-1.27.2-150500.1.1.x86_64 --disableexcludes=kubernetes
sudo systemctl enable --now kubelet
echo '======== [8] kubeadm으로 클러스터 생성 ========'
sudo kubeadm init --pod-network-cidr=20.96.0.0/16 --apiserver-advertise-address 192.168.56.30
sudo mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
kubectl create -f https://raw.githubusercontent.com/k8s-1pro/install/main/ground/k8s-1.27/calico-3.26.4/calico.yaml
kubectl create -f https://raw.githubusercontent.com/k8s-1pro/install/main/ground/k8s-1.27/calico-3.26.4/calico-custom.yaml
kubectl taint nodes k8s-master node-role.kubernetes.io/control-plane-
echo '======== [9] 쿠버네티스 편의기능 설치 ========'
sudo echo "source <(kubectl completion bash)" >> ~/.bashrc
sudo echo 'alias k=kubectl' >>~/.bashrc
sudo echo 'complete -o default -F __start_kubectl k' >>~/.bashrc
kubectl create -f https://raw.githubusercontent.com/k8s-1pro/install/main/ground/k8s-1.27/dashboard-2.7.0/dashboard.yaml
kubectl create -f https://raw.githubusercontent.com/k8s-1pro/install/main/ground/k8s-1.27/metrics-server-0.6.3/metrics-server.yaml
4. Terraform으로 배포 진행
A. vscode를 연 뒤 테라폼 코드를 저장한 폴더를 열고 Open in integrated Terminal 버튼을 클릭합니다.
B. 아래 명령어를 입력하여 테라폼으로 배포를 시작합니다.
> terraform init
Initializing the backend...
Initializing provider plugins...
- Reusing previous version of telmate/proxmox from the dependency lock file
- Using previously-installed telmate/proxmox v3.0.1-rc4
Terraform has been successfully initialized!
You may now begin working with Terraform. Try running "terraform plan" to see
any changes that are required for your infrastructure. All Terraform commands
should now work.
If you ever set or change modules or backend configuration for Terraform,
rerun this command to reinitialize your working directory. If you forget, other
commands will detect it and remind you to do so if necessary.
> terraform plan
각종 정보 확인..
> terraform apply
Plan: 1 to add, 0 to change, 0 to destroy.
Do you want to perform these actions?
Terraform will perform the actions described above.
Only 'yes' will be accepted to approve.
Enter a value: -> yes 입력 후 진행
C. 완료되었는지 확인합니다. 정상적일 경우 아래와 같이 메세지가 표기됩니다.
D. 쿠버네티스 대시보드로 접속하여 잘 설치되었는지 확인합니다. ex) https://192.168.56.30:30000
(테라폼 완료 후에도 약간의 시간 소요되니 대기 필요)
