EKS 클러스터 활용 - VPC CNI custom networking 활용

0. VPC CIDR 대역 2개로 설정 및 secondary subnet 세팅

 

 

1. 필수 설정 (1) aws-node DaemonSet 필수 옵션 수정

AWS_VPC_K8S_CNI_CUSTOM_NETWORK_CFG: Custom 네트워크 설정 및 Pod IP 대역 분리

ENABLE_PREFIX_DELEGATION: Pod 할당량이 defult 로 설정되는 것 방지

# aws-node DaemonSet 설정 수정
$ kubectl edit daemonset aws-node -n kube-system

# 수정 내용 (false -> true)
- name: AWS_VPC_K8S_CNI_CUSTOM_NETWORK_CFG
  value: "true"
  ..
- name: ENABLE_PREFIX_DELEGATION
  value: "true"

 

2. 필수 설정 (2) ENIConfig 설정

ENIConfig yaml 파일 2개 생성 (a/c 존 각각 1개씩)

cat >ap-northeast-1a.yaml <<EOF
apiVersion: crd.k8s.amazonaws.com/v1alpha1
kind: ENIConfig
metadata: 
  name: ap-northeast-1a
spec: 
  securityGroups: 
    - sg-0078bd7076f5c4606
  subnet: subnet-0ff040f9019b0c81c
EOF
---
cat >ap-northeast-1c.yaml <<EOF
apiVersion: crd.k8s.amazonaws.com/v1alpha1
kind: ENIConfig
metadata: 
  name: ap-northeast-1c
spec: 
  securityGroups: 
    - sg-0078bd7076f5c4606
  subnet: subnet-033f56813c701891e
EOF

$ kubectl get ENIConfigs

 

 

3. 필수 설정 (3) aws-node DaemonSet 필수 옵션 적용

ENI_CONFIG_LABEL_DEF=topology.kubernetes.io/zone: 클러스터에 생성된 모든 새로운 Amazon EC2 노드에 가용 영역의 ENIConfig를 자동으로 적용

$ kubectl set env daemonset aws-node -n kube-system ENI_CONFIG_LABEL_DEF=topology.kubernetes.io/zone

(* 필수설정 (1), (2) 이후, 해당 설정을 하지 않을 경우, pod ip 가 secondary ip 로 정상 할당 되지 않음)

 

 

 

4. 노드 롤링 업데이트

ENIConfig 설정 후 새 노드 올려야 secondary ip 할당이 적용된다.

새 노드 업데이트 전 노드 상태

 

 

관리형 노드그룹의 경우, Launch Template version 을 새로 생성 후 노드그룹 Launch Template 에서 2버전으로 수정해주면 자동 롤링업데이트가 된다.

 

 

기존 노드 2대에서, 새 노드 2대가 생성 및 pod 배포 후 기존 노드 2대는 자동 삭제된다.

노드 교체되는 과정

 

5. 노드 업데이트 후

노드에 secondary ip 할당 확인 (기존에는 10.0.X.X 대역 2개 할당)

 

secondary ip 로 올라온 nginx pod 및 coredns pod

 

 

 

* 참고 docs

1. 사용자 지정 네트워킹

사용자 지정 네트워킹 - Amazon EKS

 

2. Amazon EKS 노드의 보조 네트워크 인터페이스 사용자 지정

Amazon EKS 노드의 보조 네트워크 인터페이스 사용자 지정 - Amazon EKS