브로커에 장애가 발생하면 어떻게 될까?

• 이 경우 Producer의 Log-end-offset과 Consumer의 current-offset의 차이 (ConsumerLag)가 발생할 수 있다.

• 그렇다면 다른 브로커에서 파티션을 새로 만들어 해결한다면?

  • 이 경우 장애는 해결되나 기존 Offset정보와 기존 메세지의 유실이 발생한다.

    ![Untitled](<https://s3-us-west-2.amazonaws.com/secure.notion-static.com/7b69894a-b46d-41b7-a2e8-eb231a95578f/Untitled.png>)
  

  ⇒ 따라서 이런 경우를 막기위해 파티션을 복제하여 브로커상에서 복제물을 미리 만들어 장애를 대비한다. 이를 Replicas라 한다.

Replication

• 토픽을 복제하는 것이 아니라 파티션을 복제하는 것이다.
• 원본 데이터를 가진 파티션을 Leader파티션이라 하고 복제된 파티션을 Follower파티션이라 한다.
• ReplicationFactor = 3 과 같이 선언함으로써 설정할 수 있다.
• Producer, Consumer는 반드시 Leader 파티션에만 Write, Read한다.
  • 2.4버전부터는 컨슈머가 팔로워파티션으로부터 READ가능
• Follower 파티션은 브로커 장애시 안정성을 제공하기 위해서만 존재한다.
• Follower는 Leader로 부터 FetchRequest를 통해 복제를 하게된다.

Leader에 장애가발생하면?

카프카클러스터가 선출 알고리즘을 적용하여 Follower로부터 리더를 선출한다. 이후, Client(Producer, Consumer)는 자동으로 새로운 리더를 가리키도록 전환된다.

하나의 브로커에 파티션의 리더들이 몰려있다면?

→ 특정 브로커에게만 부하가 집중되게 된다.

따라서 이를 막기위해 파티션 리더는 자동으로 분산된다 (HotSpot방지)