ElasticSearch는 데이터 중심 비즈니스에서 필수적인 검색 및 분석 도구로 자리잡아가고 있습니다.

ElasticSearch가 실시간 처리, 다양한 검색 기능, 확장성을 제공하기 때문에, 서비스 가치를 향상시키기 위해 많은 비즈니스에서 사용되고 있습니다.  

일반적인 데이터베이스와 다르기 때문에, 개발 관점, 운영 관점에서 고려해야할 사항들이 많은데, 앞으로 이런 관점에서 ElasticSearch에 대해 알아보려고 합니다. 

강의 주요 OutLine은 아래와 같습니다. 

.

1. ElasticSearch 소개

• ElasticSearch의 정의와 역할
• 주요 특징 및 장점

2. ElasticSearch 구성 요소

• 클러스터, 노드 유형과 역할
• 샤드, 세그먼트
• 인덱스, 타입
• 매핑

3. 클러스터 운영

• 인덱스 API
• 클러스터, 노드, 인덱스, 샤드 인덱스 상태 정보 확인
• 지표, 성능 확인 

4. ElasticSearch와 ELK 스택

• Elasticsearch, Logstash, Kibana (ELK) 스택 소개
• ELK 스택의 통합된 데이터 분석 솔루션

5. 성능 최적화

• 색인 성능 최적화
• 검색 성능 최적화

강의 Outline은 계속 업데이트 될 예정이고, 문의사항은 댓글로 문의해주세요. 

1. 역색인이 가능한 구조

2. 오픈소스 검색 엔진 

3. 손쉽게 시각화 구성 가능 - 키바나

4. Restful API 지원

5. 확장성과 가용성

1. 준실시간성

    - Near Realtime의 준실시간성 특징을 가진다. 

2. 롤백 미제공

   - 트랜잭션과 롤백을 미제공한다. 

3. 업데이트 명령 미제공

- 클러스터, 노드, 샤드로 구성

- 클러스터와 노드는 물리 리소스, 샤드는 논리 리소스

카프카 설치/설정과 테스트를 아래의 방법으로 진행한다. 

1. 설치 방법

• 주키퍼 다운로드
• 주키퍼 설정 변경
• 카프카 다운로드
• 카프카 설정 변경

2. 테스트 방법

• 주키퍼 실행
• 카프카(브로커) 실행
• 토픽 생성
• 컨슈머 실행
• 프로듀서 실행

1. 설치 방법

1) 주키퍼 다운로드

주키퍼는 아래 주소에서 다운로드할 수 있다. 

.

주키퍼 다운로드 URL

다운로드 받은 파일의 압축을 풀고 data 폴더를 생성해준다. 

2) 주키퍼 설정 변경

설정 파일 변경 - conf 폴더 밑의 zoo_sample.cfg 파일을 zoo.cfg로 변경

설정 변경 - zoo.cfg 파일의 dataDir 값을 data로 변경

3) 카프카 다운로드

카프카는 아래 주소에서 다운로드할 수 있다. 

.

카프카 다운로드 URL

다운로드 받은 후 압축을 해제한다. 

※ 참고로 윈도우의 경우 bin 디렉토리 밑에 windows라는 폴더 밑에 실행파일이 있다

4) 카프카 설정 변경

    config 폴더의 server.properties 를 아래와 같이 수정한다. 

    log.dirs=D:\\3000.Util\\server\\kafka_2.12-2.7.0\\logs

2. 카프카 테스트 방법

1) 주키퍼 실행

   주키퍼 폴더에서 zkServer.cmd 파일을 실행한다. 

2) 카프카 실행

명령프롬프트에서 아래와 같이 실행한다. 폴더 위치는 자신에 맞게 수정한다. 

cd D:\3000.Util\server\kafka_2.12-2.7.0\bin\windows

kafka-server-start.bat ..\..\config\server.properties

.

3) 토픽 생성

아래 명령어로 토픽을 생성한다. topic1이 사용할 토픽명으로 자신에 맞게 수정한다. 

cd D:\3000.Util\server\kafka_2.12-2.7.0\bin\windows

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic1

※ replication-factor  : 복제할 수

※ 토픽 목록 조회 : kafka-topics.bat --list --zookeeper localhost:2181

4) 컨슈머 실행

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic topic1

5) 프로듀서 실행

kafka-console-producer.bat --broker-list localhost:9092 --topic topic1

프로듀서 >에 생산할 메세지를 등록