$$config title: 인프라 - 카프카 keywords: - IT - 인프라 - 카프카 $$ ![img](https://i.postimg.cc/dQRWQsYw/Combination-vertical-backendschool-1.png) --- --- # 수업 - [주소 : https://slog.gg/p/11073](https://slog.gg/p/11073) # 관련링크 - [멋사 KDT 1기 수업페이지 - slog.gg/p/6656](https://slog.gg/p/6656) - [실전배포 - slog.gg/p/3045](https://slog.gg/p/3045) - [CentOS 7 웹서버 세팅 - slog.gg/p/1380](https://slog.gg/p/1380) - [인프라 - CentOS9 - slog.gg/p/9340](https://slog.gg/p/9340) - [인프라 - 도커 - slog.gg/p/10274](https://slog.gg/p/10274) - [인프라 - 젠킨스 - slog.gg/p/10451](https://slog.gg/p/10451) - [인프라 - 쿠버네티스 - slog.gg/p/10588](https://slog.gg/p/10588) - [인프라 - GITHUB-ACTIONS - slog.gg/p/10987](https://slog.gg/p/10987) - [인프라 - 쿠버네티스, GITHUB-ACTIONS, 스프링부트 무중단 배포 - slog.gg/p/10965](https://slog.gg/p/10965) # 강의 # 1강 - [영상 - 22 11 08, ken 11073, 1강, 개요](https://youtu.be/72RII4AHuuI) ## 필수시청영상 - [영상 - 최범균 - kafka 조금 아는 척하기 1 (개발자용)](https://youtu.be/0Ssx7jJJADI) - [영상 - 최범균 - kafka 조금 아는 척하기 2 (개발자용) - 프로듀서](https://youtu.be/geMtm17ofPY) - [영상 - 최범균 - kafka 조금 아는 척하기 3 (개발자용) - 컨슈머](https://youtu.be/xqrIDHbGjOY) # 2강 - [영상 - 22 10 08, ken 11073, 2강, 쿠버네티스 설치 및 세팅 완료상태까지 진행, ken 10588 수업의 16강까지 진행](https://youtu.be/8XArplbXDtY) ## ken 10588 수업의 16강 - [https://slog.gg/p/10965/#16강](https://slog.gg/p/10965/#16강) ## 강사의 환경 정보 - 리눅스 사용자 : root - 쿠버네티스 마스터 노드 IP : 192.168.0.21 - 도메인 a 레코드 : lldj.site, lldj2.site, ..., lldj10.site - 192.168.0.21 IP로 연결 - C:\Windows\System32\drivers\etc 파일에서 설정 # 3강 주키퍼 카프카 설치 - [영상 - 22 10 08, ken 11073, 3강, strimzi 로 주키퍼, 카프카 설치, 1부](https://youtu.be/7CcXMDZLupk) - [영상 - 22 10 08, ken 11073, 3강, strimzi 로 주키퍼, 카프카 설치, 2부](https://youtu.be/Z1TcMAmcubw) ## strimzi 개요 - 쿠버네티스 환경에서 주키퍼와 카프카를 쉽게 운영할 수 있도록 도와주는 툴 - [strimzi - 공식사이트](https://strimzi.io/docs/operators/latest/quickstart.html) - [strimzi - 릴리즈](https://github.com/strimzi/strimzi-kafka-operator/releases) ## strimzi 다운로드 후 압축풀기 ``` mkdir -p /kube/kafka cd /kube/kafka yum install wget -y yum install tar -y wget https://github.com/strimzi/strimzi-kafka-operator/releases/download/0.31.0/strimzi-0.31.0.tar.gz tar -zxvf strimzi-0.31.0.tar.gz cd strimzi-0.31.0 ``` ## strimzi 설치 ``` kubectl create ns kafka sed -i 's/namespace: .*/namespace: kafka/' install/cluster-operator/*RoleBinding*.yaml kubectl create ns my-kafka-project ``` ``` vim install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml ``` ``` # 060-Deployment-strimzi-cluster-operator.yaml 수정 # ... env: - name: STRIMZI_NAMESPACE value: my-kafka-project # ... ``` ``` kubectl create -f install/cluster-operator/020-RoleBinding-strimzi-cluster-operator.yaml -n my-kafka-project kubectl create -f install/cluster-operator/031-RoleBinding-strimzi-cluster-operator-entity-operator-delegation.yaml -n my-kafka-project kubectl create -f install/cluster-operator/ -n kafka ``` ## storage class 등록 ``` cat << EOF | kubectl apply -f - kind: StorageClass apiVersion: storage.k8s.io/v1 metadata: name: local-storage provisioner: kubernetes.io/no-provisioner volumeBindingMode: WaitForFirstConsumer EOF ``` ``` mkdir -p /data/z1 mkdir -p /data/k1 chmod 777 /data ``` ``` kubectl patch storageclass local-storage -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}' ``` ## 주키퍼, 카프카 설치 ``` cat << EOF | kubectl apply -n my-kafka-project -f - apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: replicas: 1 listeners: - name: plain port: 9092 type: internal tls: false - name: tls port: 9093 type: internal tls: true authentication: type: tls - name: external port: 9094 type: nodeport tls: false configuration: bootstrap: nodePort: 30000 brokers: - broker: 0 nodePort: 30001 storage: type: jbod volumes: - id: 0 type: persistent-claim size: 10Gi deleteClaim: false config: offsets.topic.replication.factor: 1 default.replication.factor: 1 min.insync.replicas: 1 zookeeper: replicas: 1 storage: type: persistent-claim size: 10Gi deleteClaim: false entityOperator: topicOperator: {} userOperator: {} EOF ``` ## pv 생성 ``` cat << EOF | kubectl apply -f - apiVersion: v1 kind: PersistentVolume metadata: name: z1-local-pv spec: capacity: storage: 10Gi accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Retain storageClassName: local-storage local: path: /data/z1 nodeAffinity: required: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - master EOF ``` ``` cat << EOF | kubectl apply -f - apiVersion: v1 kind: PersistentVolume metadata: name: k1-local-pv spec: capacity: storage: 10Gi accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Retain storageClassName: local-storage local: path: /data/z1 nodeAffinity: required: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - master EOF ``` ## 카프카 테스트 토픽 생성 ``` cat << EOF | kubectl create -n my-kafka-project -f - apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaTopic metadata: name: my-topic labels: strimzi.io/cluster: "my-cluster" spec: partitions: 3 replicas: 1 EOF ``` ## 카프카가 잘 실행되는지 확인 ``` kubectl get all -n my-kafka-project ``` ## my-topic 토픽이 잘 생성되었는지 확인 ``` kubectl get kafkatopics.kafka.strimzi.io -n my-kafka-project ``` ## my-topic 토픽 제거 ``` kubectl delete kafkatopics.kafka.strimzi.io my-topic -n my-kafka-project ``` # 4강 HOST OS에 confluent 설치 후 테스트 - [영상 - 22 10 04, ken 11073, 4강, HOST OS에 confluent 설치 후 테스트](https://youtu.be/RK1rGLL49JM) ## 카프카 local install - [https://packages.confluent.io/archive/](https://packages.confluent.io/archive/) - `confluent 7.3` 버전으로 진행 ## 폴더로 이동 ``` cd /kube/kafka ``` ## 다운로드 및 압축풀기 ``` wget https://packages.confluent.io/archive/7.3/confluent-7.3.0.tar.gz tar -zxvf confluent-7.3.0.tar.gz ``` ## openjdk 17 설치 ``` yum install java-17-openjdk java-17-openjdk-devel -y ``` ## confluent path 작업 ``` vim ~/.bashrc ``` ``` ... export CONFLUENT_HOME=/kube/kafka/confluent-7.3.0 export PATH=.:$PATH:$CONFLUENT_HOME/bin ``` ``` source ~/.bashrc ``` ## confluent path 확인 ``` echo $CONFLUENT_HOME ``` ### producer, consumer 테스트 ``` kafka-console-producer --bootstrap-server 127.0.0.1:30000 --topic my-topic kafka-console-consumer --bootstrap-server 127.0.0.1:30000 --topic my-topic --from-beginning ``` # 5강 - [영상 - 22 10 09, ken 11073, 5강, 유용한 명령어](https://youtu.be/TKzbOwOoeVs) ## my-cluster-kafka-0 설정 확인 - kubectl -n my-kafka-project edit configmaps my-cluster-kafka-0 ## 토픽 리스트 - kafka-topics --bootstrap-server 127.0.0.1:30000 --list ## 토픽 상세보기 - kafka-topics --bootstrap-server 127.0.0.1:30000 --describe --topic my-topic ## 토픽 삭제 - kafka-topics --bootstrap-server 127.0.0.1:30000 --delete --topic my-topic # 6강 - [영상 - 22 10 09, ken 11073, 6강, 스프링 카프카로 간단한 구현하는 프로듀서, 컨슈머 예제, 1부, 개념](https://youtu.be/_B_u-4u1_fs) - [영상 - 22 10 09, ken 11073, 6강, 스프링 카프카로 간단한 구현하는 프로듀서, 컨슈머 예제, 2부, 구현](https://youtu.be/DaEHnPPOn5I) - [리포지터리 - github.com/jhs512/kafka_exam_1_1](https://github.com/jhs512/kafka_exam_1_1) - [GIT](https://github.com/jhs512/kafka_exam_1_1/commit/520b8063b6d01da0c08bdca8d9977cf4e3b5c782) - [리포지터리 - github.com/jhs512/kafka_exam_1_2](https://github.com/jhs512/kafka_exam_1_2) - [GIT](https://github.com/jhs512/kafka_exam_1_2/commit/24db1c55dbbf9aad2bc2ace3063eb45a42b1b8ce)