$$config title: Elasticsearch keywords: - IT - ELK $$ # Elasticsearch - 실시간에 가까운 (near real-time) 속도로 색인된 데이터의 검색, 집계가 가능 - 역파일 색인(inverted file index)라는 구조로 데이터를 저장 - JSON 문서 기반 Elasticsearch는 내부적으로는 역파일 색인 구조로 데이터를 저장하고 있으나, 사용자의 관점에서는 JSON 형식으로 데이터를 전달 - REATFul API - 모든 데이터 조회, 입력, 삭제를 http 프로토콜을 통해 Rest API로 처리 - multitenancy ``` Elasticsearch의 데이터들은 Index라는 논리적인 집합 단위로 구성되며 서로 다른 저장소에 분산되어 저장된다. ``` ``` # 클러스터 - 클러스터는 하나 이상의 노드(서버)가 모인 것이며, 이를 통해 전체 데이터를 저장하고 모든 노드를 포괄하는 통합 색인화 및 검색 기능을 제공 - 클러스터의 이름은 어떤 노드가 어느 클러스터에 포함되기 위해 이름에 의해 클러스터의 구성원이 되도록 설정하기 때문에 중요함 # 노드 - 노드는 클러스터에 포함된 단일 서버 - 데이터를 저장하고 클러스터의 색인화 및 검색 기능에 참여함 ``` ``` # 디스커버리 (Discovery) - 노드가 처음 실행될 때 같은 서버, 또는 discovery.seed_hosts: [] 에 설정된 네트워크 상의 다른 노드들을 찾아 하나의 클러스터로 바인딩 하는 과정 1. discovery.seed_hosts 설정에 있는 주소 순서대로 노드가 있는지 여부 확익 -> 노드가 존재하는 경우 > cluster.name 확인 -> 일치하면 > 같은 클러스터로 바인딩 > 종료 -> 일치 X > 1로 돌아가서 다음 주소 확인 반복 -> 노드가 존재하지 않는경우 > 1로 돌아가서 다음 주소 확인 반복 2. 주소가 끝날 떄 까지 노드를 찾지 못한 경구 -> 스스로 새로운 클러스터 시작 ``` ## elasticsearch 설정 - elasticsearch 에 대한 설정들은 대부분 elasticsearch.yml파일에서 설정한다. ``` # cluster.name: "<클러스터명>" - 클러스터명을 설정한다. - elasticsearch의 노드들은 클러스터명이 같으면 같은 클러스터로 묶이고 클러스터명이 다르면 동일한 물리적 장비나 바인딩이 가능한 네트워크상에 있더라도 서로 다른 클러스터로 바인딩 된다. # node.name: "<노드명>" - 노드들을 구분짓는 노드의 이름을 설정한다. - 설정하지 않으면 7.0 버전부터는 호스트명 , 6.x 이하 버전에서는 프로세스 UUID의 첫 7글자가 노드명 # node.attr.: "" - 노드별 속성을 부여하기 위한 일종의 네임 스페이스 지정 - 이 설정으로 hot / warm 아키텍쳐를 구성하거나 물리장비 구성에 따라 샤드 배치를 임의적으로 조절하는 등의 설정이 가능 [elastic에서 hot / warm 방법은 권장하지 않음] # path.data: [ "<경로>" ] - 색인된 데이터를 저장하는 경로 지정 - 배열 형태로 여러개의 경로값의 입력이 가능하기 때문에 한 서버에서 여러 디스크를 사용 가능 # path.logs: "<경로>" - Elasticsearch 실행 로그를 저장하는 경로를 지정 - 디폴트는 Elastcisearch가 설치된 홈 경로 아래의 logs 디렉토리 # bootstrap.memory_lock: true - elasticsearch가 사용중인 힙메모리 영역을 다른 자바 프로그램이 간섭 못하도록 미리 점유하는 설정 - 항상 true로 놓고 사용하는것을 권장 # network.host: - Elasticsearch가 실행되는 서버의 ip 주소 - 디폴트는 루프백(127.0.0.1)[localhost] - 루프백인 경우에는 elasticsearch 노드가 개발 모드로 실행이 된다. - 실제 IP 주소로 변경하게 되면 그 때부터는 운영모드로 실행이 되며 노드를 시작할 때 부트스트랩 체크를 하게 된다. - 서버의 내/외부 주소를 모두 지정하는데 내/외부 에서 접근하는 주소를 다르게 설정이 가능 - network.bind_host : 내부망 - network.publish_host : 외부망 - network.host 설정에 사용되는특별한 변수값이 따로 있음 - _local_ : 루트백 주소 localhost 와 같다. 디폴트값 - _site_ : 로컬 네트워크 주소로 설정. 실제 클러스터링 구성 시 주로 설정하는 값 - _global_ : 네트워크 외부에서 바라보는 주소로 설정 - 실제로 클러스터 구성 시 설정을 network.host: _site_로 해놓으면 서버의 네트워크 주소가 바뀌어도 설정 파일은 변경하지 않아도 되어 편리함 # http.port : <포트번호> - 클라이언트와 통신할 http 포트 설정 - 디폴트는 9200 # transport.port: <포트번호> - elasticsearch 노드들끼리 서로 통신하기 위한 tcp 포트 설정 - 디폴트는 9300 # discovery.seed_hosts: [ "<호스트-1>", "<호스트-2>", ... ] - 클러스터 구성을 위해 바인딩 할 원격 노드의 IP 또는 도메인 주소를 배열 형태로 입력 - 주소만 적으면 디폴트 값으로 9300 ~9305 포트값을 검색 - 디폴트 값 범위 밖의 설정된 포트번호이면 포트번호까지 같이 적어줘야한다. - 이렇게 원격에 있는 노드들을 찾아 바인딩 하는 과정을 '디스커버리' 라고 한다. - 7.0 부터 사용가능 # cluster.initial_master_nodes: [ "<노드-1>", "<노드-2>" ] - 클러스터가 최초 실행 될 때 명시된 노드들을 대상으로 마스터 노드를 선출한다. ``` ``` # node.master: true - 마스터 후보 노드 여부를 설정 false인 경우 이 노드는 마스터 노드로 선출이 불가능 - 모든 클러스터는 1개의 마스터 노드가 존재, 마스터 노드가 다운되거나 끊어진 경우 남은 마스터 후보 노드들 중 새로운 마스터 노드가 선출됨 # node.data: true - 노드가 데이터를 저장하도록 함 false면 저장안함 # node.ingest: true - 데이터 색인 시 전처리 작업인 ingest pipleline 작업의 수행을 할 수 있는지 여부를 지정 - false면 이 노드에서는 ingest pipleline 작업실행 불가 # node.ml: true - 이 노드가 머신러닝 작업 수행을 할 수 있는지 여부를 지정 - false면 머신러닝 작업이 수행되지 X ``` ``` # 해당 노드를 전용 마스터 노드로 설정하는 예시 node.master: true node.data: false node.ingest: false node.ml: false 만약 앞에 모든 설정을 false로 하면되면 오직 클라이언트와 통신만 하는 역할로 사용이 가능하다 이런 노드를 `코디네이트 온리 노드`라고 부른다. ``` ### 각 역할 별 H/W - Master : 클러스터 상태 관리가 주 역할 , 하드웨어 성능이 크게 중요하지 않다. - Data : Client 요청 처리를 위한 빈번한 I/O 작업과 연산작업이 필요하기에 고사양의 H/W 구성 필요, 가능하면 전용노드 구성 - Ingest : 데이터 수집이 목적으로 연산량을 위한 고사양의 CPU - Coordinator : API 요청 부하 분산, 역할 , 무거운 집계 요청이 잦을 땐 CPU를 많이 할당하는것을 추천 ``` # Elasticsearch 실행 시 커맨드 명령에 -E <옵션>=<값> 을 이용해서 환경 설정이 가능 ex) $ bin/elasticsearch -E cluster.name=my-cluster -E node.name="node-1" ``` ## 인덱스와 샤드 - Index & Shards - elasticsearch 에서는 '단일 데이터 단위'를 '도큐먼트(document)' 라 한다 - 이 '도큐먼트를 모아놓은 집합'을 '인덱스(Index)' 라고 한다. - 인디시즈(indices)라고 표현하기도 한다 - 데이터를 저장하는 행위를 색인 이라고 표현 --- - 인덱스는 기본적으로 '샤드(shard)'라는 단위로 분리되고 각 노드에 분산되어 저장됨 ``` 샤딩(sharding) : 하나의 거대한 데이터베이스나 네트워크 시스템을 여러 개의 작은 조각으로 나누어 분산 저장하여 관리하는 것 이는 단일의 데이터를 다수의 데이터베이스로 쪼개어 나누는 걸 말하는데, 단일의 데이터베이스에서 저장가기 너무 클 때 데이터를 구간별로 쪼개어 나눔으로써 노드에 무겁게 가지고 있던 데이터를 빠르게 검증할 수 있어 빠른 트랜젝션 속도를 향상시킬 수 있다. 샤드(Shards): 샤딩을 통해 나누어진 블록들의 구간 ``` ## 프라이머리 샤드(Primary Shard)와 복제본(Replica) - 인덱스 생성 시 별도의 설정을 안하면 7.0부터는 디폴트로 1개의 샤드로 인덱스가 구성 - 클러스터에 노드를 추가하면 샤드들이 각 노드들로 분산되고 디폴트로 1개의 본제본을 생성 - 처음 생성된 샤드를 '프라이머리 샤드(Primary Shard)' 복제본을 레플리카(Replica)라고 한다. ``` ex) 클러스터가 4개의 노드 인덱스가 5개의 샤드로 구성 이 안에는 프라이머리 샤드와 복제폰, 총 10개의 샤드들이 전체 노드에 골고루 분배되어 저장됨 [노드가 1개만 있는 경우 프라이머리 샤드만 존재하고 본제본은 생성되지 않는다, 아무리 작은 노드여도 데이터의 가용성과 무결성을 위해 최소 3개의 노드로 구성할 것을 권장] ``` - 같은 샤드와 본제본은 동일한 데이터를 담고 있으며 반드시 서로 다른 노드에 저장이 된다. - 만약 한개의 노드가 시스템 다운이나 네트워크 단절로 사라지면 다른곳에 샤드가 남아있어 데이터는 유실없이 사용가능 - 처음에 유실된 노드가 복구되기를 기다림 - 타임아웃이 지나 더 유실된 노드가 복구되지 않을거라 판단하면 유실된 샤드 를 남은 노두에 복제를 시작한다. - 그리고 다시 총 10개의 데이터로 유지 ``` 프라이머리 샤드가 유실된 경우에는 새로 프라이머리 샤드를 생성하지 않고 남아있던 복제본이 먼저 프라이머리 샤드로 승격이 되고 노드에 새로 복제본을 생성 ``` ### 샤드 개수 설정 - 샤드의 개수는 인덱스를 처음 생성 시 지정할 수 있다. - 프라이머리 샤드 수는 인덱스를 처음 생성할 떄 지정 , '인덱스를 재색인 하지 않는 이상 바꿀 수 없다.' ## 마스터 노드 (Master Node) - Elasticsearch 클러스터는 하나 이상의 노드들로 이루어진다. - 이중 하나의 노드는 인덱스의 메타 데이터, 샤드의 위치와 같은 클러스터 상태(Cluster Status)정보를 관리하는 마스터 노드의 역할을 수행 - 클러스터마다 하나의 마스터 노드가 존재 - 마스터 노드의 역할을 수행할 수 있는 노드가 없다면 클러스터는 작동이 정지 ``` 클러스터가 커져서 노드와 샤드들의 개수가 많아지게 되면 모든 노드들이 마스터 노드의 정보를 계속 공유하는 것은 부담이 될 수 있다. 이 때 마스터 노드의 역할을 수행 할 후보 노드들만 따로 설정해서 유지하는 것이 전체 클러스터 성능에 도움이 될 수 있다. ``` ## 데이터 노드 (Data Noded) - 실제로 색인된 데이터를 저장하고 있는 노드 ## Split Brain - 마스터 후보 노드를 하나만 놓게 되면 그 마스터 노드가 유실되었을 때 클러스터 전체가 작동을 정지 할 위험이 있다. - 최소한의 백업용 마스터 후보 노드들은 3개 이상의 홀수 개를 놓는 것을 권장 - 관련 링크 [Split Brain](https://bryan.wiki/290) ``` # 마스터 후보 노드를 2개 혹은 짝수로 운영하는 경우 - 만약 두개의 마스터 노드가 네트워크 단절로 인해 분리가 되면 서로 다른 클러스터로 구성되어 계속 동작하는 경우가 있다. - 이후 네트워크가 복구된 후에 하나의 클러스터로 다시 합쳐졌을 떄 데이터 정합성에 문제가 생기고 데이터 무결성이 유지될 수 없게 된다. 이런 문제를 'Split Brain' 이라고 한다 ``` - 7.0 부터는 iscovery.zen.minimum_master_nodes 설정이 사라지고 대신 node.master: true 인 노드가 추가되면 클러스터가 스스로 minimum_master_nodes 값을 변경하도록 되어있음 최초 마스터 후보값만 설정하면 된다 해당 설정을 하고 네트워크가 단절되면 minimun_master_nodes가 2 이상인 클러스터만 살아있고 그렇지 않은 클러스터는 동작을 멈추게 된다. ``` 마스터 노드 2 데이타 노드 2 클러스터/ 마스터노드 1 데이터 노드 1 인 클러스터가 있을 때 데이터 노드 1인 데이터 노드는 네트워크가 복구될 떄 까지 동작하지 않고 노드가 불리되기 이전 상태 그대로 유지 나중에 클러스터가 복구 되었을 때 데이타 노드 2에 추가되거나 변경 삭제된 데이터의 정도들면 데이터노드 1로 업데이트 되며 데이터 정합성에는 문제가 없게된다. ``` - 이처럼 최소 마스터 후보 노드 설정은 (전체 마스터 후보 노드)/2+1 로 설정해야 한다. # Elasticsearch의 데이터 처리 - REST API - CRUD - _bulk API - _search API # Logstash - 입력 기능에서 다양한 데이터 저장소로부터 데이터를 입력 받고 필터 기능을 통해 데이터를 확장, 변경, 필터링 및 삭제 등의 처리를 통해 가공을 합니다. 그 후 출력 기능을 통해 다양한 데이터 저장소로 데이터를 전송 # Kibana - Discover - 검색 창에 질의문을 통해 데이터를 간편하게 검색, 필터링 할 수 있다 - 검색된 데이터의 원본 문서를 확인하거나 보고 싶은 필드만 선택해서 테이블 형태로 조회가 가능 - Visualization - 데이터의 시각화 - Dashboard ``` 1. 색인 (indexing): 데이터가 검색될 수 있는 구조로 변경하기 위해 원본 문서를 검색어 토큰들로 변환하여 저장하는 일련의 과정 2. 인덱스 (index, indices) : 색인 과정을 거친 결과물, 또는 색인된 데이터가 저장되는 저장소 도큐먼트들의 논리적인 집합을 표현하는 단위 3. 검색(search) : 인덱스에 들어있는 검새겅 토큰들을 포함하고 있는 문서를 찾아가는 과정 4. 질의(query) : 사용자가 원하는 문서를 찾거나 집계 결과를 출력하기 위해 검색 시 입력하는 검색어 또는 검색 조건 5. 클러스터 : 하나 이상의 노드(서버)가 모인 것, 이를 통해 전체 데이터를 저장하고 모든 노드를 포괄하는 통합 색인화 및 검색 기능을 제공 - 클러스터는 고유한 이름으로 식별되고 기본 이름은 "elasticsearch" - 이 이름은 중요하다 - 어떤 노드가 클러스터에 포함되기 위해서는 이름에 의해 클러스터의 구성원이 되도록 설정되기 때문 ```

게시글 상세