Tech News

https://engineering.ab180.co/stories/kafka-consumer-proxy 

Kafka consumer group과 partition 수의 관계, 그리고 이로 인해 생기는 auto scaling의 어려움, 이를 해결하기 위한 새로운 아키텍처 도입기 입니다.

- Airbridge 서비스와 Workload 소개

- 기존 아키텍처의 문제점

- 새로운 아키텍처 제안

    - 1안: Spark streaming과 같은 driver, executor model

    - 2안: Kafka consumer와 application server decouple model

- 2안을 선택한 이유

- Kafka consumer와 application server decouple model 아키텍처

- 새로운 아키텍처에서의 고려 사항

- 경험한 어려움

- 새 아키텍처 적용 후 결과

- 앞으로 더 시도해봐야 할 것