토스 피플: 이것도 ‘나니까’ 할 수 있다고 생각하기이지윤
전체
개발
디자인
Data
토스증권 Apache Kafka 데이터센터 이중화 구성 #3: Offset Sync토스증권의 실시간 데이터팀은 Active-Active 구성에서 Consumer Offset Sync를 어떻게 하고 있을까요?2025년 1월 23일 · 김용우
토스증권 Apache Kafka 데이터센터 이중화 구성 #2: 데이터 미러링토스증권은 현재 Active-Active 구성으로 Kafka를 운영하고 있는데요. 오늘은 Active-Active를 유지하기 위해 필요한 양방향 데이터 미러링에 대해 소개하려고 합니다.2025년 1월 14일 · 송지수
토스증권 Apache Kafka 데이터센터 이중화 구성 #1토스증권은 데이터센터 장애 상황에도 유저에게 정상적으로 서비스를 제공하기 위해 대부분의 시스템을 이중화했습니다. Kafka 이중화 구성에 대한 개요를 소개드려요.2025년 1월 8일 · 강병수
입수는 Datalake로! (feat. Iceberg)오늘은 데이터 효율성을 높이기 위해 도입한 ‘Iceberg’에 대해 이야기해 보려고 합니다. Iceberg의 기본적인 정보는 다른 곳에서도 쉽게 찾아볼 수 있지만, 저는 특히 유지보수와 운영 측면에 집중해서 이야기하려 합니다. 2024년 10월 29일 · 조승완
Spark Job 성능 모니터링과 최적화를 위한 Spark Analyzer 개발기Spark 작업이 효율적으로 실행되는지 모니터링하기 위해서 Spark Analyzer를 만든 경험을 공유하려고 합니다. 저희와 비슷한 고민을 가진 분들께 도움이 되길 바랍니다.2024년 10월 28일 · 김문수
ksqlDB 실시간 Join으로 뉴스 추천 만들기오늘은 ksqlDB의 강력한 Join 기능을 활용해서 토스증권의 다양한 로그를 실시간으로 조합하여 중요한 비즈니스 문제를 해결한 사례를 소개하려고 합니다. 2024년 9월 23일 · 강병수
ML 플랫폼으로 개발 속도와 안정성 높이기머신러닝 모델을 빠르고 안정적으로 개발할 수 있는 방법은 없을까요? 토스에서 ML 플랫폼을 통해 어떻게 이 문제를 해결하고 있는지 소개합니다.2024년 9월 12일· 김찬주
보러가기
유연하면서도 안정적인, 토스뱅크만의 신용 모형/전략 시스템 구축하기토스뱅크는 왜 신용 모형/전략 솔루션을 자체 구축하게 되었을까요? 토스뱅크만의 신용전략 솔루션과 ML 기반의 신용평가모형 훈련 및 서빙 시스템을 소개합니다.2024년 9월 12일· 김용휘/유형균
보러가기
ClickHouse로 토스증권 랭킹 서비스 구조 개선하기어떻게 하면 실시간으로 고객들에게 데이터를 제공할 수 있을까요? ClickHouse를 활용해 토스증권의 실시간 랭킹서비스 구조를 개선한 여정을 소개합니다.2024년 9월 12일· 정채문
보러가기
Feature Store로 유연하게 ML 고도화하기여러 ML 모델의 학습과 서빙에 사용되는 수많은 Feature들을 어떻게 관리해야 될까요? 이를 해결하기 위한 Feature Store 개발 과정을 소개합니다.2024년 9월 12일· 이현준
보러가기
전천후 데이터 분석을 위한 DW 설계 및 운영하기최소한의 context switching만으로 어떻게 다양한 도메인 영역을 분석할 수 있을까요? 토스의 데이터웨어하우스 테이블 구축 및 운영기를 소개합니다.2024년 9월 12일· 이준호
보러가기
오픈소스로 Hadoop 클러스터 구축하기오픈소스만으로 Hadoop 클러스터를 직접 구축하고 운영할 수 있을까요? 오픈소스를 200% 활용하는 팁과 이를 통한 데이터 플랫폼 구축법을 다룹니다.2024년 9월 12일· 이유비
보러가기
기반 데이터가 부족해도 OK! 커머스 추천 시스템 제작기처음 마주하는 고객들에게는 어떻게 상품을 추천해야 할까요? 새로 시작하는 ‘커머스 서비스’의 초기 추천 시스템 구축 과정에 대해 소개합니다.2024년 9월 12일· 장유영/김수원
보러가기
대규모 CDC Pipeline 운영을 위한 Debezium 개선 여정문제 없이 여러 데이터들을 CDC를 통해 제공하던 어느 날, 근본적인 질문이 떠오릅니다. 우리의 CDC는 얼마나 잘 운영되고 있는가? CDC가 잘 운영되고 있다는걸 우리는 어떻게 믿을 수 있을까? 2024년 7월 18일 · 김용우
ksqlDB를 활용한 증권사의 실시간 데이터 처리하기이번 글에서 토스증권 실시간 데이터 프로세싱에 활용 중인 ksqlDB에 대해서 소개하려고 합니다.2024년 7월 17일 · 강병수
캐시 문제 해결 가이드 - DB 과부하 방지 실전 팁대용량 트래픽 환경에서 캐시를 사용할 때 주의해야할 위험 상황과 예방법을 소개합니다.2024년 2월 15일 · 김신
대규모 로그 처리도 OK! Elasticsearch 클러스터 개선기일평균 56억 건 이상 수집되는 토스증권의 로그, 어떻게 효율적으로 처리할까요?
큰 폭으로 늘어나는 대규모 로그 처리를 위한 ‘Elasticsearch 클러스터 개선 경험’을 소개합니다.2023년 10월 12일 · 이준환
은행의 데이터 플랫폼을 오픈소스로 전환하기토스뱅크는 정보계 시스템을 어떻게 개편하고 있을까요? 오픈 소스를 이용한 플랫폼에서 신뢰할 수 있는 데이터를 운영할 수 있는 방법을 소개합니다.2023년 6월 8일· 김용휘
보러가기
Kafka 이중화로 다양한 장애 상황 완벽 대처하기다양한 장애 상황에도 사용자에게 매끄러운 서비스 경험을 제공하는 방법은 뭘까요?더 견고하고 편리한 증권 서비스 구축을 위한 토스증권의 ‘Kafka IDC 이중화’ 과정을 소개합니다.2023년 6월 8일· 강병수
보러가기
Data Scientist는 어떻게 비즈니스에 기여할 수 있을까?토스의 데이터 사이언티스트는 ‘사일로’라고 불리는 제품팀과 긴밀하게 협업합니다. 머신 러닝(Machine Learning) 기술을 통해 사일로의 니즈를 효율적으로 해소하기 위한 데이터 사이언티스트들의 여정을 공유합니다.2022년 6월 8일· 황동현
보러가기
인기있는 글
React Native에서 타입 안전한 파일 기반 라우팅 구현하기강선규
자료구조를 활용한 복잡한 프론트엔드 컴포넌트 제작하기박건영
최근 댓글
㈜비바리퍼블리카 Copyright © Viva Republica, Inc. All Rights Reserved.