Zookeeper 카프카의 메타데이터 관리 및 브로커의 정상상태 점검 Kafka or Kafka Cluster 여러 대의 브로커를 구성한 클러스터 Broker 카프카가 설치된 서버 혹은 노드 Producer 카프카로 메시지를 보내는(Push) 역할하는 클라이언트 Consumer 카프카에서 메시지를 꺼내가는(Pull) 역할을 하는 클라이언트 Topic 메시지 피드들을 토픽으로 구분하고, 각 토픽의 이름은 카프카 내에서 고유하다. Partition 병렬 처리 및 고성능을 얻기 위해 하나의 토픽을 여러 개로 나눈 것 Segment 프로듀서가 전송한 실제 메시지가 브로커의 로컬 디스크에 저장되는 파일 Message or Record 프로듀서가 브로커로 전송하거나 컨슈머가 읽어가는 데이터 조각

Kafka의 특징 높은 처리량과 낮은 지연시간 매우 높은 처리량과 낮은 지연시간으로 엔터프라이즈 환경에서 예측할 수 없이 늘어나는 데이터 처리에 적합하다. 카프카에서 이벤트를 밀리초(ms) 단위로 빠르게 처리되면서, 안전한 데이터 전송이 이루어지면서 워크로드를 안전하고 빠르게 처리할 수 있다. 높은 확장성 카프카는 손쉬운 확장이 가능하도록 설계되었다. 고가용성 클러스터 내 리플리케이션 기능을 통해 클러스터의 고가용성이 확보되었다. 클러스터에서 브로커의 장애가 발생해도 데이터를 유실 없이 안정적으로 사용할 수 있다. 내구성 Producer의 acks 옵션을 조정하여 메시지의 내구성을 강화할 수 있다. acks = all로 강력한 메시지의 내구성을 구성할 수 있다. Producer에 의해 카프카로 전송되는 ..