성장을 꾸준히 기록하는 공간

나는 PostgreSQL 안쓰는데도 무려 8억 사용자의 수백만 QPS를 어떻게 해결하는지 궁금하잖아 다들 수백만 QPS를 처리하는데 Azure PostgreSQL을 쓰고, 단일 쓰기 노드와 50 여개의 복제본으로 수용한다는건 직접 안해보면 알 방법이 없는 견적이다. 그 쓰기 처리량을 단일 노드로…. 놀랍다. 이거 단순 계산하면 각 읽기 복제본당 약 2만~5만 QPS 정도를 분담하는 구조로, Azure에서 제공하는 가장 높은 하드웨어 사양(96 vCore, 672GiB RAM, 32TiB)로 추측했다. East US 리전 기준으로 최대 스펙의 Azure 서버는 수백만 QPS의 네트워크 IO 비용을 제외하고서도, 인스턴스 비용 $10,000 * 50, 스토리지 공간 $5,000 * 50 으로 한화로 월 1..

tech 2026. 1. 24. 12:44

컨테이너를 동적으로 생성하거나 현황을 조회하는 CTF 문제 관리 기능은 Hack Playground 서비스의 핵심 비즈니스 중 하나다. 이 기능은 Kubernetes API와 빈번하게 통신하며, 성격상 IO bound 작업에 가까워서 자연스럽게 Java 가상 쓰레드 도입을 검토했다. 가상 쓰레드의 개념부터 소개해야 하나 고민했지만 다행히 예전에 공부한 내용이 있다. Java도 한다 경량 쓰레드 (Virtual Thread)봄(Spring)은 왔는가?Java의 위대한 산물인 가상 쓰레드는 분명 JVM 생테계에 엄청난 열풍을 일으켰음에 의심할 여지가 없다.많은 개발자들이 그 패러다임에 발맞춰서 프레임워크를 개선하고 있듯downfa11.tistory.com IO 대기 비용을 줄일 수 있는지 데이터로 확인하..

tech 2026. 1. 12. 22:11

원래는 오픈소스 기여한거 일일이 블로그에 포스팅하지 않는다. 성숙도가 높은 오픈소스에 기여하다보니 굵직한 기여도 못했다고 생각하고, 대부분 기술적으로 블로그에 작성할 분량이 나오지 않는다. 그런데 이번 이슈는 좀 달랐다.장애 상황이 명확하게 재현 가능했다.장애 원인이 애플리케이션 수준이 아니라 DB 수준까지 이어졌다.v3.7 업데이트 과정에서 생긴 성능 개선이 운영 환경에서 새로운 장애를 만들어냈다.단순한 버그 수정이라기보단 '최적화가 운영 환경에서 안전한가?'라는 고민을 해볼 수 있었기에 기록할 가치가 있다고 생각했다. Argo Workflows란?Kubernetes 위에서 배치 작업과 파이프라인을 선언적으로 실행, 관리하기 위한 워크플로우 엔진이다. k8s native로 모든 워크플로우를 CRD로..

tech 2026. 1. 12. 03:38

현재 컨슈머측 벤치마크 측정은 단순하게 전체 TPS와 발행된 메시지 수와 비교해서 유실된 메시지 수만 표시한다.broker-consumer | Total messages consumed : 100000broker-consumer | Actually processed messages : 100000broker-consumer | Duplicate messages filtered : 0broker-consumer | Consume elapsed time : 398.445467msbroker-consumer | Consume Throughput : 250975.37 msg/sbroker-consumer | Processed Throughput ..

tech 2026. 1. 3. 16:57

메시지 브로커로 시작한 오픈소스 프로젝트 cursus는 작업해온 양이 방대해서 문서화하는데도 오래 걸리고 있다. 플랫폼화해서 생태계를 이루는 것을 다음 목표로 생각하고 있던 터라, cursus connector에 해당하는 CDC 사이드 프로젝트를 함께 시작했다. https://github.com/downfa11-org/tabellarius GitHub - downfa11-org/tabellarius: Change data capture sourceChange data capture source. Contribute to downfa11-org/tabellarius development by creating an account on GitHub.github.com 이번 글은 CDC 프로젝트의 시작과 함께 ..

tech 2025. 12. 30. 16:12

쿠버네티스 문서 생태계의 지역화(localization)한번쯤은 모두들 들어가봤을 공식 문서다. https://kubernetes.io/ko/ kubernetes-sigs/docs쿠버가 오픈소스인만큼 문서도 사용자들의 자유로운 참여로 추가, 수정되고 있다. 이 문서의 저장소인 kubernetes-sigs/docs는 kubernetes.io에 배포되는 모든 문서나 번역본을 모두 포함하고 있다. 지역화(localization)는 영문 문서를 진실의 원천(Source of Truth)로 두고 관리하는 SIG-DOCS팀의 산하 서브 프로젝트이다.이 공식 문서 생태계를 지역별로 번역·관리하는 활동으로, 영문 문서를 두고 다국어 번역, 동기화하는 downstream 작업이다. 쿠버네티스 지역화를 입문자에게 추천..

tech 2025. 12. 22. 22:30

Diego Ongaro and John Ousterhout Stanford University Paxos나 불필요한 부분은 공부하면서 제외했음. 자체적으로 넘버링 및 생략한 문단이 있음.모든 사진은 내렸고, usenix의 원본 논문을 찾아가면 볼 수 있으니 직접 찾아가길 권장함. AbstractRaft는 복제된 로그를 관리하기 위한 consensus 알고리즘이다. 이 방법은 (multi-)Paxos와 같은 결과를 내며 효율적이지만, 그 구조는 Paxos와 다르다. 이로 인해서 Raft가 Paxos보다 이해하기 쉬워지고, 실용적인 시스템을 구축하는데 더 나은 기반을 제공한다.이해를 쉽게 하기 위해서 Raft는 Leader election, Log Replication, Safety같은 consensus 핵..

tech 2025. 12. 7. 02:05

근황 잠깐 말하자면 오픈소스를 직접 만들고 있다. 추후 목표중 하나로 '분산 클러스터링'을 염두하여 설계해왔다. https://github.com/downfa11-org/go-broker/issues/16 Add Distributed Coordination for Broker Cluster · Issue #16 · downfa11-org/go-brokerSummary The current broker is designed for single-node deployment, but the architecture already targets future scale-out. This proposal introduces etcd to enable a distributed, highly available bro...

tech 2025. 12. 6. 12:29