업무용 툴, 내 동료가 정말 만족했나요?

토스의 데이터 직군이 매일 쓰는 서비스의 만족도를 1점 끌어올리기 위해 10개월간 집요하게 파고든 과정을 소개할게요.

배경

테이블센터는 토스 내의 데이터를 찾는 데 필수적인 서비스에요.

하지만 여전히 초기 버전에 머물러 있었어요. 데이터 직군이 많지 않았던 3년 전 한 명의 데이터 엔지니어가 구축한 그대로요. 회사가 커지며 데이터 직군이 어느덧 100명을 넘어섬에 따라 부하가 생기기 시작했어요.

문제

여러분이 구글로 검색했는데 10초 동안 아무 움직임이 없거나, 아무리 찾아도 원하는 정보를 얻을 수 없다면 정말 답답하겠죠? 테이블센터도 마찬가지였어요. 검색을 한 번 하면 10초 이상 걸리는데 로딩 안내조차 없었고, 찾고자 하는 검색 결과가 안 나와 여러 번 검색할 수밖에 없었어요.

게다가 디자이너나 서비스 개발자 없이 만들어졌다보니 구성과 위계 구조가 굉장히 복잡했고, TDS(토스 디자인 시스템)를 사용하지 않아 일관성이 떨어지는 상황이었어요. 결국 우리는 기존 서비스를 수정하기보다 새로운 ‘테이블센터’를 구축하기로 결정했어요.

문제는 뭐부터 어떻게 고쳐야 할지 감이 전혀 안왔다는 거예요.

해결

어떤 문을 열어야 하는지도 모르는 상태에서 열쇠를 찾아야 하는 상황인 만큼, 우리는 측정할 수 있는 성과 지표를 세운 뒤 꾸준히 트래킹하기로 마음 먹었어요. 우리가 세운 제품의 성과 지표를 나침반 삼기로 한 거죠.

조직 또는 개인의 업무를 효율적으로 만드는 ‘업무용 툴’의 성과 지표는 크게 두 가지로 나눌 수 있는데요. 저희 팀은 작업 시간을 줄이면 만족도가 자연스럽게 올라갈 거라고 추측했어요.

업무용 툴의 성과 지표 1. 작업 시간, 작업 플로우, 비용, 오류, 사용자 요청을 줄이거나 ↓ 2. 만족도, 업무 처리량, 사용률, 적용 범위를 올리거나 ↑

1. 측정할 수 있는 목표 정하기

인터뷰와 설문을 거치면서 ‘검색 만족도를 높이는 지름길은 테이블 검색 시간을 줄이는 것’이란 가설이 점점 뾰족해졌어요. 이를 검증하기 위한 기능을 빠르게 만들어 나가기 시작했는데요.

검색어 입력하는 시간 줄이기

데이터 직군이 테이블센터를 실제로 쓰는 상황을 관찰해 보니, 검색어를 입력하는 단계에서 헤매는 분이 많았어요. 이때 68.9% 사용자가 ‘테이블명에 들어갈 것 같은 키워드를 검색한다’고 응답했고요.

여기서 힌트를 얻어 검색어와 태그를 조합해 검색하는 신규 기능을 만들었어요. 예를 들면 이전에는 단순히 테이블명에 포함될 것 같은 ‘teens’만 검색했다면 이제는 ‘teens’+’유스카드’ 이런식으로 원하는 키워드를 조합해서 검색할 수 있도록요.

검색 결과 찾는 시간 줄이기

저희 팀은 검색 결과를 보여주는 방식도 검색 시간에 영향을 끼친다는 사실을 알 수 있었어요. 전까지 무작위로 노출되던 검색 결과에 우선 순위를 부여하기로 했는데요.

‘이 테이블이 회사가 중요하게 판단하는 테이블인가?’라는 새로운 태그를 추가해 검색 결과에서 가장 먼저 보이도록 했어요. 그 다음으로는 ‘키워드 → 테이블명 매칭 → 테이블명 부분매칭 → 테이블 설명 매칭’ 순으로 우선 순위를 부여했어요. 조회 수, 연관도가 높은 검색 결과가 위에 보이게 했고요.

검색 알고리즘을 개선했음에도 여전히 검색 결과는 꽤 많았어요. 검색 이후에는 사용자가 직접 결과를 좁혀나갈 수 있도록 필터링을 개선했어요. 모든 열에 ‘필터 및 검색’ 옵션을 제공해 선택하거나 검색을 할 수 있게 했어요.

검색 시간에 집중한 결과, 가장 많이 쓰지만 가장 불편했던 경험을 큰 폭으로 개선할 수 있었어요.

• 테이블 검색 경험 만족도는 개선 전 2.71점에서 개선 후 3.88점으로 1.17점 상승했어요.
• 검색 자체의 속도는 약 2~3배, 최대 10배 이상 빨라졌어요.
• 속도와 UI에 대한 정성적인 만족도 또한 높아졌어요.

“이전 테이블센터 보다 정확하고 비교적 원하는 정보를 잘 찾을 수 있다” “전보다 테이블 찾기가 훨씬 쉬워져서 검색 과정에 드는 시간이 감소했습니다” “속도가 굉장히 빨라져서 검색에 드는 비용을 확실히 줄일 수 있습니다.” “전보다 검색이 빠르고 UI가 좋아졌어요”

2. 목표가 복잡할수록 저비용으로 검증하기

서비스 사용자가 가장 많이 꼽은 문제인 ‘테이블 검색 속도’를 빠르게 개선하고 나니, 서비스의 구조 전반을 개선하는 복잡한 과제가 남았어요. 어떤 데이터가 어떤 테이블이나 대시보드에 영향을 주는지 그 ‘영향도(lineage)’를 파악하는 과정을 효율화해야 했던 거죠.

저희 팀은 이때도 ‘영향도를 파악하기까지 걸리는 시간을 줄이고 기능 만족도를 높이겠다’는 목표를 세웠어요.

복잡도가 높은 과제인 만큼, 실패했을 때 매몰 비용도 눈덩이처럼 커질 수 있었어요. 그래서 저희 팀은 해상도 낮은 서비스를 최대한 빨리 만든 뒤 사용자의 피드백을 잦게 반영하는 접근법을 택했죠.

처음에 데이터 엔지니어링 팀으로부터 제안 받은 설계를 정말 러프하고 빠르게 프로토타이핑 했어요. 손 스케치보다 겨우 조금 더 나은 수준으로요.

이 상태로 2명에게 UT를 진행했는데, 여기서 사용자가 원하는 것은 조금 다른 형태와 방향임을 파악했어요. 사용자의 의견을 바탕으로 레이아웃과 주요 동작을 다시 디자인했어요.

1차 개선 후에는 4명에게 게릴라 테스트를 진행했어요. 일정 초대 후 진행하는 공식적인 UT가 아니라 업무를 하는 자리에 슬쩍 찾아가서 “잠깐 5분 시간 괜찮으실까요?”라고 묻고 간단한 사용성 테스트를 하는거에요.

그렇게 하니 30분만에 4명이나 인터뷰를 할 수 있었고 디자인 시안의 문제를 30분만에 파악할 수 있었어요. 클릭해야 펼쳐지는 뷰에서 처음부터 펼쳐있는 형태로 기본 뷰를 변경했어요.

개선 결과는 어땠을까요?

• 10초에서 길게는 35초까지 소요되던 로딩 속도를 0초로 줄이고, 반복 작업을 없애버렸어요.
• 설문 응답자의 59.5%가 가장 만족스러운 기능이라고 응답했어요. 영향도 기능 사용 직후 물어본 기능 만족도 설문에서는 4.66점의 만족도를 기록했어요.

결과

‘우리가 만들어낸 제품이 사용자에게 정말 유의미한 제품인가?’를 확인하기 위해 마지막으로 개선 전과 개선 후의 만족도 설문을 통해 서비스와 기능의 만족도를 비교했어요.

전체 만족도: 3.04 → 4.07 검색 경험 만족도: 2.71 → 3.88 테이블 정보 탐색 만족도: 3.00 → 3.88 이전과 비교해 가장 개선된 점: 1순위 - 화면 구성 및 위계 구조 관련 (40.5%) 2순위 - 속도 관련 (33.3%)

서비스를 사용하는 데 걸리는 시간을 줄인다는 목표를 세우니, 자연스럽게 화면의 전반적인 UX가 개선되는 결과가 따라왔어요.

“집계쿼리나 영향도 테이블 보는 것은 정말 유용하고, 그외에 다른 부분도 UI적으로 훨씬 좋아져서 검색하기가 쉬워졌어요” “훨씬 보기 편하고, 원하는 정보가 다 들어가 있다.” “검색했을 때 필요한 정보가 보기 좋은 형태로 나열되어 있어서 빠르게 확인이 가능했습니다.”

적용해보기

1. 측정할 수 있는 성과 지표를 제안해보세요.
   • 성과 지표는 우리 팀이 잘하는지를 점검할 수 있는 좋은 거울이 되고, 나아갈 수 있는 방향이 돼요. 유저의 목소리를 듣고 팀과 제품의 방향성과 성과 지표를 설정하는 데 함께하세요.
   • 작업 시간, 작업 플로우, 비용, 오류, 사용자 요청을 줄이거나 ↓ 만족도, 업무 처리량, 사용률, 적용 범위를 올리거나 ↑
   • 디자인을 시작할 때는 언제나 목표와 원하는 정량 정성적 결과가 무엇인지 적고 시작하세요. 출시하면 정말 그런지 측정하세요.
2. 성과 측정 방식 중에서 중 내 서비스에 적합한 것을 활용해보세요.
   • 정량 분석: 사용자 행동 데이터 분석, 태스크 성공 여부와 소요 시간 측정, 서비스 만족도 평가 (전후 비교), 기능 만족도 평가 (전후 비교)
   • 정성 분석: 사용성 테스트, 설문조사, 인터뷰
3. 생각보다 일찍 UT(사용성 테스트)를 하세요.
   • 디테일을 올리기 전에 러프한 상태에서 UT를 많이해보세요. UT는 안 하는 것보다 1명이라도 하는 것이 낫고, 5분짜리 게릴라 테스트도 괜찮아요.
   • 메이커들이 B라는 기능을 만들고 싶어도, 사용자들이 가장 불편한 기능은 A일 수 있어요. 생각지도 못한 문제를 발견하기도 하고, 만들지 않아도 될 스펙을 파악해 팀의 리소스를 아낄 수도 있어요.