Lag 없는 실시간 데이터 파이프라인을 위한 아키텍처 개선기


제목	Lag 없는 실시간 데이터 파이프라인을 위한 아키텍처 개선기2021-11-12 16:15
작성자	happydaddy
https://engineering.ab180.co/stories/kafka-consumer-proxy Kafka consumer group과 partition 수의 관계, 그리고 이로 인해 생기는 auto scaling의 어려움, 이를 해결하기 위한 새로운 아키텍처 도입기 입니다. - Airbridge 서비스와 Workload 소개 - 기존 아키텍처의 문제점 - 새로운 아키텍처 제안 - 1안: Spark streaming과 같은 driver, executor model - 2안: Kafka consumer와 application server decouple model - 2안을 선택한 이유 - Kafka consumer와 application server decouple model 아키텍처 - 새로운 아키텍처에서의 고려 사항 - 경험한 어려움 - 새 아키텍처 적용 후 결과 - 앞으로 더 시도해봐야 할 것

이전	jog - 현재 폴더에서 실행한 최근 10개의 명령만 보기	happydaddy	2021-11-12
-	Lag 없는 실시간 데이터 파이프라인을 위한 아키텍처 개선기	happydaddy	2021-11-12
다음	에픽 vs 애플, 판사가 외부 결제 옵션을 12/9까지 허용하라고 명령	happydaddy	2021-11-12

Tech News