$$config title: [쿠버네티스] 쿠버네티스, 카프카 설치 및 이메일 통신 keywords: - IT - ... $$ # 1. 개발 환경 - 가상머신을 통한 centos7가 설치되어 있음 - 유저 계정 ``` id : user password : pass sudo 권한 부여 ``` - cpu, ram (ram은 2GB 이상의 RAM필요) ``` cpu 2개 ram 8GB (8192MB) hdd 400GB ``` - hostname ``` master300 ``` - hosts ``` 192.168.0.15 master300 ``` # 2. 쿠버네티스 설치 - [공식사이트](https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/) - 본 쿠버네티스 설치 과정은 공식홈페이지를 참고하여 만들었습니다. ## (1) 고유 식별자 확인 - MAC 주소 및 product_uuid가 모든 노드에 대해 고유한지 확인합니다. ```bash ip link sudo cat /sys/class/dmi/id/product_uuid ``` - 일부 가상 머신은 동일한 값을 가질 수 있지만 하드웨어 장치는 고유한 주소를 가질 가능성이 매우 높습니다. - Kubernetes는 이러한 값을 사용하여 클러스터의 노드를 고유하게 식별합니다. 이러한 값이 각 노드에 고유하지 않으면 설치 프로세스가 실패 할 수 있습니다. ## (2) 포트 열기 - [공식사이트 포트 확인](https://kubernetes.io/docs/reference/ports-and-protocols/) - nat 방식은 보통 모든 포트를 개방하고 앞단에서 통제 - 모든 포트 개방 (firewalld 종료) ```bash systemctl stop firewalld systemctl disable firewalld ``` ## (3) 스왑 비활성화 - root 유저에서 실행 ```bash swapoff -a && sed -i '/swap/s/^/#/' /etc/fstab ``` ## (4) 컨테이너 런타임 설치 및 설정 - [containerd 설치 및 도커 설치](https://docs.docker.com/engine/install/centos/) - [containerd 설정](https://kubernetes.io/docs/setup/production-environment/container-runtimes/) - 기본적으로 Kubernetes는 컨테이너 런타임 인터페이스(CRI)를 사용하여 선택한 컨테이너 런타임과 인터페이스합니다. - CRI는 containerd를 사용 - 도커 설치 및 containerd 설치 ```bash sudo yum install -y yum-utils sudo yum-config-manager \ --add-repo \ https://download.docker.com/linux/centos/docker-ce.repo ``` ```bash sudo yum install docker-ce docker-ce-cli containerd.io docker-compose-plugin ``` ```bash sudo systemctl start docker sudo systemctl enable docker sudo systemctl start containerd sudo systemctl enable containerd ``` - IPv4 전달 및 iptables가 브리지된 트래픽을 볼 수 있도록 허용 ```bash cat < /etc/containerd/config.toml ``` ```bash sudo vi /etc/containerd/config.toml ``` ``` # 수정 [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc] ... [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options] SystemdCgroup = true ``` ```bash sudo systemctl restart containerd ``` ## (5) kubeadm, kubelet 및 kubectl 설치 - [공식홈 kubeadm, kubelet 및 kubectl 설치](https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/#installing-kubeadm-kubelet-and-kubectl) ```bash cat < /dev/null echo 'alias k=kubectl' >>~/.bashrc echo 'complete -o default -F __start_kubectl k' >>~/.bashrc source /usr/share/bash-completion/bash_completion # 터미널 다시 접속 ``` # 7. 주키퍼 카프카 설치 - [공홈 strimzi](https://strimzi.io/docs/operators/latest/quickstart.html) - [github strimzi download](https://github.com/strimzi/strimzi-kafka-operator/releases) - strimzi 다운로드 ```bash yum install wget yum install tar wget https://github.com/strimzi/strimzi-kafka-operator/releases/download/0.31.0/strimzi-0.31.0.tar.gz tar -zxvf strimzi-0.31.0.tar.gz ``` - strimzi 설치 ```bash kubectl create ns kafka sed -i 's/namespace: .*/namespace: kafka/' install/cluster-operator/*RoleBinding*.yaml kubectl create ns my-kafka-project ``` ```bash vi install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml ``` ```bash # 060-Deployment-strimzi-cluster-operator.yaml 수정 # ... env: - name: STRIMZI_NAMESPACE value: my-kafka-project # ... ``` ```bash kubectl create -f install/cluster-operator/020-RoleBinding-strimzi-cluster-operator.yaml -n my-kafka-project kubectl create -f install/cluster-operator/031-RoleBinding-strimzi-cluster-operator-entity-operator-delegation.yaml -n my-kafka-project kubectl create -f install/cluster-operator/ -n kafka ``` - storage class 등록 ```bash cat << EOF | kubectl apply -f - kind: StorageClass apiVersion: storage.k8s.io/v1 metadata: name: local-storage provisioner: kubernetes.io/no-provisioner volumeBindingMode: WaitForFirstConsumer EOF ``` ```bash sudo mkdir -p /data/z1 sudo mkdir -p /data/k1 sudo chmod 777 /data ``` ```bash kubectl patch storageclass local-storage -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}' ``` - 주키퍼, 카프카 설치 ```bash cat << EOF | kubectl create -n my-kafka-project -f - apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: replicas: 1 listeners: - name: plain port: 9092 type: internal tls: false - name: tls port: 9093 type: internal tls: true authentication: type: tls - name: external port: 9094 type: loadbalancer tls: false configuration: bootstrap: annotations: external-dns.alpha.kubernetes.io/hostname: bootstrap.itseasy.site. alternativeNames: - bootstrap.itseasy.site brokers: - broker: 0 annotations: external-dns.alpha.kubernetes.io/hostname: broker0.itseasy.site. advertisedHost: broker0.itseasy.site storage: type: jbod volumes: - id: 0 type: persistent-claim size: 10Gi deleteClaim: false config: offsets.topic.replication.factor: 1 transaction.state.log.replication.factor: 1 transaction.state.log.min.isr: 1 default.replication.factor: 1 min.insync.replicas: 1 zookeeper: replicas: 1 storage: type: persistent-claim size: 10Gi deleteClaim: false entityOperator: topicOperator: {} userOperator: {} EOF ``` - pv 생성 ```bash cat << EOF | kubectl apply -f - apiVersion: v1 kind: PersistentVolume metadata: name: z1-local-pv spec: capacity: storage: 10Gi accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Retain storageClassName: local-storage local: path: /data/z1 nodeAffinity: required: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - master200 EOF ``` ```bash cat << EOF | kubectl apply -f - apiVersion: v1 kind: PersistentVolume metadata: name: k1-local-pv spec: capacity: storage: 10Gi accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Retain storageClassName: local-storage local: path: /data/z1 nodeAffinity: required: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - master200 EOF ``` # 8. 주키퍼 카프카 테스트 - 토픽 생성 ```bash cat << EOF | kubectl create -n my-kafka-project -f - apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaTopic metadata: name: my-topic labels: strimzi.io/cluster: "my-cluster" spec: partitions: 3 replicas: 1 EOF ``` - 카프카 바이너리 다운로드([링크](https://kafka.apache.org/downloads)) ```bash wget https://downloads.apache.org/kafka/3.2.1/kafka_2.12-3.2.1.tgz tar -zxvf kafka_2.12-3.2.1.tgz yum install java-17 ``` - virtualbox가 아닌 host에서 `/etc/hosts`에서 127.0.0.1 부분에 `broker0.itseasy.site`추가 ```bash sudo vim /etc/hosts ``` ``` # 수정 전 127.0.0.1 localhost # 수정 후 127.0.0.1 localhost broker0.itseasy.site ``` - producer, consumer 테스트 ```bash # 셸 2개 생성 # 셸1 bin/kafka-console-producer.sh --bootstrap-server broker0.itseasy.site:9094 --topic my-topic # 셸2 bin/kafka-console-consumer.sh --bootstrap-server broker0.itseasy.site:9094 --topic my-topic --from-beginning ```