토스증권의 수 천개 실시간 데이터 파이프라인 운영방법 #2: MSA 환경 Observability 높이기

Kafka Broker request log를 활용해서 서비스 간 의존성 파악하기

토스증권 Iceberg 적용기 #1: CDC 환경은 왜 제대로 동작하지 않을까?

CDC를 Iceberg에 어떻게 안전하게 적재할 수 있는지에 초점을 맞춰, 우리가 마주했던 문제와 원칙들을 공유합니다.

토스증권의 수천 개 실시간 데이터 파이프라인 운영방법 #1: Visualize Lineage

토스증권의 실시간 데이터 파이프라인을 대규모로 구성하고 운영해 온 경험을 소개합니다.

토스증권 Apache Kafka 데이터센터 이중화 구성 #3: Offset Sync

토스증권의 Realtime Data Team은 Active-Active 구성에서 Consumer Offset Sync를 어떻게 하고 있을까요?

토스증권 Apache Kafka 데이터센터 이중화 구성 #2: 데이터 미러링

토스증권은 현재 Active-Active 구성으로 Kafka를 운영하고 있는데요. 오늘은 Active-Active를 유지하기 위해 필요한 양방향 데이터 미러링에 대해 소개하려고 합니다.

토스증권 Apache Kafka 데이터센터 이중화 구성 #1

토스증권은 데이터센터 장애 상황에도 유저에게 정상적으로 서비스를 제공하기 위해 대부분의 시스템을 이중화했습니다. Kafka 이중화 구성에 대한 개요를 소개드려요.

ksqlDB 실시간 Join으로 뉴스 추천 만들기

오늘은 ksqlDB의 강력한 Join 기능을 활용해서 토스증권의 다양한 로그를 실시간으로 조합하여 중요한 비즈니스 문제를 해결한 사례를 소개하려고 합니다.

[SLASH 24] ClickHouse로 토스증권 랭킹 서비스 구조 개선하기

어떻게 하면 실시간으로 고객들에게 데이터를 제공할 수 있을까요? ClickHouse를 활용해 토스증권의 실시간 랭킹서비스 구조를 개선한 여정을 소개합니다.

대규모 CDC Pipeline 운영을 위한 Debezium 개선 여정

문제 없이 여러 데이터들을 CDC를 통해 제공하던 어느 날, 근본적인 질문이 떠오릅니다. 우리의 CDC는 얼마나 잘 운영되고 있는가? CDC가 잘 운영되고 있다는걸 우리는 어떻게 믿을 수 있을까?

ksqlDB를 활용한 증권사의 실시간 데이터 처리하기

이번 글에서 토스증권 실시간 데이터 프로세싱에 활용 중인 ksqlDB에 대해서 소개하려고 합니다.

Kafka 이중화로 다양한 장애 상황 완벽 대처하기

다양한 장애 상황에도 사용자에게 매끄러운 서비스 경험을 제공하는 방법은 뭘까요?더 견고하고 편리한 증권 서비스 구축을 위한 토스증권의 ‘Kafka IDC 이중화’ 과정을 소개합니다.