성장을 꾸준히 기록하는 공간

네? Kafka 운영비 400$를 제공한다구요? 거기다가 작게 쓰면 1$/month 이하라고요? Kafka의 공동 제작자이자 Confluent의 공동 창립자, CTO인 neha의 인터뷰를 통해서 탄생 비화를 알 수 있었다.카프카가 대세가 되는걸 느낀 시점에서, 데이터를 어떻게 처리할지만 고민하던 링크드인 내부에서 새로 창업을 결심했다고 한다. 다들,, Kafka의 기업용 클라우드를 제공하는 Confluent의 저렴한 요금제에 따르시오 Confluent Kafka를 이용해서 저렴한 비용으로 kafka를 이용해보자. 사실 클라우드 벤더사중에서 AWS의 비용은 비싼 편이다. 베이직 요금제로 진행하면 한달에 1GB도 안쓰는 범부들 입장에서 거의 제로에 가깝게 비용이 나온다. 아 첫 한달 400$ 제공이 눈앞..

project/wargame 2025. 7. 12. 10:46

시도는 충분히 아름답다ㅎ   kafka는 scalar와 java로 만들어서 jvm 위에서 동작한다던데, 성능적인 요인을 따라 잡기 위한 zero copy나 Sequential IO 같은게 될지는 모르겠다. 아직은 Kafka의 내부 원리를 공부하는 단계이다.   1. hello 라는 토픽에 'hello world!' 문자열을 Produce한다.해당 토픽에 컨슈머 그룹에 적용되지 않으면 자동으로 default라는 그룹에 속한다. 2. news 라는 토픽에 'this is consumed' 문자열을 Produce한다.main.cpp에서 이미 news 토픽을 구독하는 Consumer를 생성했고, 'group1' 이라는 컨슈머 그룹에 등록시켰다. 3. 따라서 성공적으로 소비한 뒤, Consumed message를..

kafka 2024. 12. 21. 16:41

작업하는 프로젝트에서 CQRS 패턴을 이용하고자 EDA를 고민하던 차에, Axon Server를 두지 않고 기존에 운용하던 Kafka를 통해 이벤트를 전달하도록 하기 위해 axon-kafka를 공부했다. ​Axon Server는 메시지 브로커로 CQRS 패턴이나 이벤트 소싱 기반 아키텍처 구현을 지원하는 플랫폼이다. 얼핏 보면 Kafka와 비슷한 역할로 보이는데, 이벤트 소싱(Event Sourcing)을 중심으로 알아보자.​Event-Driven Architecture이벤트 생성 및 처리를 중심으로 애플리케이션 구축을 지지한다. 이는 주로 실시간, 분산 및 확장성에서 반응성이 있어야 하는 최신 서비스에 따라 주도되어 왔다.​ Event SourcingDDD(Domain-Driven Design)에서 시..

tech 2024. 11. 23. 17:42

Kubernetes 환경에서 Apache Kafka cluster 구성하기​생각해보니 정작 Kafka에 대한 소개를 한 적 없이 그동안 블로그에 썼다는 언급만 계속 해왔다.조만간 자세한 내용을 정리해서 올리겠음​​​​Apache Kafka on Kubernetes - strimzi OperatorKafka를 Strimzi operator를 사용해서 운영하는 방법을 찾아서, Helm으로 Apache kafka를 구성해봤다​https://strimzi.io/​ 왜 Strimzi은 Operator 패턴으로 Kafka를 배포하는가?Operator 패턴이 Kafka Cluster를 배포하기 편리하게 구성Kafka의 가용성 확보에 필요한 Zookeeper 또한 Operator가 관리해준다는 편리함Kafka Brid..

kubernetes 2024. 11. 19. 14:05