효율적인 유저 리서치 환경을 만드는 리서치 플랫폼 팀, 들어보셨나요?
지난 심플리시티23에서 많은 분이 UX리서치, 특히 “사용자를 어떻게 만나는지”에 대해 궁금해하셨더라고요.
토스팀에서 팀원들이 사용자를 더 쉽고, 빠르고, 편하게 만날 수 있도록 고군분투하고 있는 ‘리서치 플랫폼 팀’에 대해 소개해 보려고 해요.
Q. 리서치 플랫폼 팀은 어떤 일을 하나요?
효율적인 리서치 환경을 구축하는 일을 하고 있어요.
UX리서처뿐만 아니라 토스에서 제품을 만드는 모든 팀원들이 리서치를 보다 효율적으로 수행할 수 있도록 프로세스를 구축하고, 필요한 리서치 교육이나 프로그램, 리서치 도구 개발 등을 맡고 있어요. UX리서처 1명, 리서치 오퍼레이터 3명, 그리고 여러 명의 어시스턴트 분들로 구성된 팀이에요.
Q. 리서치 오퍼레이터는 어떤 역할인가요?
‘리서치 오퍼레이팅 업무’라고 하면 리서치 과정을 단순 운영하는 직군이라고 생각하기 쉬워요. 리서처 대신 리크루팅부터 인터뷰 운영, 사례비 지급에 이르는 반복 업무를 수행함으로써 리서처 업무의 효율을 높여주는 역할이라고 생각하는 거죠.
하지만 토스의 리서치 플랫폼 팀은 이런 비효율 영역의 본질적인 문제를 찾고 해결함으로써 효율적인 리서치 환경을 구축하는 팀이라는 점에서 기존 인식과는 큰 차이가 있다고 봐요.
물론 처음에는 흔히 생각하는 목적으로 유저 리서치 팀에 오퍼레이션을 전담해 주실 분들을 모시고 있었어요. 하지만 팀이 커지고 리서치 수요가 급증하다 보니 오퍼레이션 영역에도 보다 더 효율적인 프로세스나 리서치 도구들이 필요했고, 그렇게 유저 리서치 팀과 분리된 ‘리서치 플랫폼 팀’이 만들어지게 됐어요.
Q. 리서치 플랫폼 팀의 필요성에 대해 어떻게 생각하시나요?
UX리서치 팀에 비해 ‘리서치 플랫폼 팀’은 생소한 것 같아요. 팀 리더이자 UX리서처 개인으로서, 승희님의 생각이 궁금해요.
UX리서치를 하면 할수록 제품이 사용자와 가까워지는데, 사실 모든 조직이 그 조직 규모에서 필요로 하는 만큼의 리서치를 수행할 리서처를 다 뽑을 수는 없거든요. 그렇기 때문에 한정적인 리소스 내에서 더 많은 리서치를 효율적으로 하기 위해선 인프라 구축이 필수적이에요.
특히 저는 UX리서처의 업무 효율화도 중요하지만, 제품을 만드는 팀원분들이 사용자 의견을 직접 들을 수 있는 환경이 잘 조성돼 있을수록 사용자와 더 잘 맞는 제품을 만들 수 있다고 생각해요. 애자일한 조직일수록 더욱 그 필요성와 효용은 크고요. 그래서 팀원들이 사용자를 직접, 자주, 쉽게, 편하게 만날 수 있도록 하는 리서치 환경이 되게 중요하고, 이 기반이 되는 조직 내 리서치 문화 형성이나 리서치 교육 등이 중요해질 수밖에 없죠.
4-5년 전만 해도 ‘UX리서치 팀’을 꾸리고 있는 조직이 몇 안 됐어요. 이름만 들어도 다 아는 IT회사들조차도요. 하지만 지금은 많이 다르죠. 시장이 UX리서치의 효용과 가치를 느낄수록 이 기반을 만드는 리서치 플랫폼 팀에 대한 필요성은 커질 수밖에 없다고 확신하기에, 머지않아 여러 조직에서 저희와 같은 팀을 만나볼 수 있지 않을까 싶어요.
Q. 토스 리서치 플랫폼 팀의 특별한 점은 무엇인가요?
리서치 프로세스 또한 하나의 제품을 만든다는 관점으로 개선한다는 점이에요.
가설을 기반으로 크고 작은 MVP 실험을 돌리고, 사용자의 의견을 토대로 이터레이션을 거쳐가며 리서치 각 단계들을 고도화시켜가고 있어요. 아래 두 가지 사례로 좀 더 설명해 볼게요.
기존에 리크루팅을 한다고 하면 대상자를 선정해 푸시 발송 후, 문자 전화 카톡 3개의 커뮤니케이션 채널을 거쳐 인터뷰 일정을 확정했어요. 각 채널 별로 세팅이 필요한 업무가 달라서 커뮤니케이션에 들이는 리소스가 많았고 사용자의 응답을 기다리는 시간도 꽤 많이 소요됐죠.
그 과정에서 반복적으로 수행하는 업무들은 템플릿을 만들고 자동화를 시키기도 했지만 지난한 건 마찬가지였어요.
전체 프로세스를 뜯어보면서 가장 효율화 작업이 필요한 단계를 찾아 비효율이 발생하는 문제에 집중했어요. 그러다 보니 인터뷰 의사가 있는 사용자와 인터뷰 동의서를 작성하고 일정 조율하는 과정에서 커뮤니케이션 비용이 크게 발생하는 것을 해결해야 할 문제로 좁힐 수 있었어요.
이를 가설로 MVP 실험을 돌렸고, 한 번의 스크리닝 설문 발송 만으로 일정 조율까지 논스톱으로 인터뷰 확정이 가능한 ‘논스톱 프로세스’를 구축할 수 있었어요.
이 과정에서 주요 문제 해결 수단이 되었던 ‘타 사 일정 조율 플랫폼’을 단순히 도입하는 데서 그치지 않고, 하나의 제품을 만든다는 관점으로 세부 프로세스를 다듬어 갔어요.
.png)
퍼널 별 이탈률을 확인하면서 가설을 검증하고 여러 가지 실험들을 진행했는데, 동일한 리크루팅 케이스를 가지고 A/B 테스트를 특히 많이 진행했어요.
유독 이탈률이 높았던 마지막 랜딩 페이지에 대해서는 UX라이팅 팀의 의견도 받아서 문구 하나에도 신경을 많이 썼어요. 작은 부분이라도 사용자 입장에서 허들이라고 느낄 수 있는 부분을 개선하고자 노력했던 것 같아요.
결과적으로 최대 90분이 걸리던 리크루팅을 최소 15분 만에 끝낼 수 있는 프로세스를 구축할 수 있었어요. 전사적으로는 리크루팅 프로세스를 효율화시키면서 필요한 리서치가 더 빠르게 진행될 수 있게 된 거죠.
토스팀 PD분들이 ‘무물 하러 간다’는 얘기를 자주 하시곤 하는데요, 앞서 설명한 ‘논스톱 리크루팅 파이프라인’이 저희 팀 입장에서의 효율화라면, 리플 팀에서 운영하는 ‘유저무물데이’는 제품을 만드는 팀원 입장에서 효율화를 이룬 프로그램이에요.
*유저무물데이란? 랜덤한 토스 사용자를 대상으로, 비대면 UT를 할 수 있는 프로그램
‘유저무물데이’는 팀원 분들이 사용자를 가볍고 쉽게 만나게 해 주자는 취지에서 만들어졌는데, PD가 직접 당장 내일이라도 사용자들을 만나 UT 할 수 있는 프로그램의 가치를 주고 있어요.
제품 시안이 어느 정도 완성된 다음에 각 잡고 하는 프로토타입 UT나, 제품 출시 후 사용성을 검증하는 것도 중요하지만 아주 러프한 단계에서부터 조금씩 자주 반복하면서 시안을 발전시켜 나가는 게 훨씬 효율적이고 유용하기도 해요. 초반부터 사용자 눈높이에 맞춰 가면서 제품을 고도화시켜 나갈 수 있는 거죠!
그래서 지금은 30분, 15분 단위로 세션이 점점 더 작은 단위로 쪼개서 진행되고 있어요. 페이지 하나, 버튼 하나의 사용성은 짧은 시간 내로도 검증이 가능하거든요. 보다 사용자에게 빠르게 물어보고 개선할 수 있는 환경을 만들기 위해 지금도 열심히 고민하고 있답니다.
Q. 그 과정에서 실패한 경험은 없으셨을까요?
다양한 시도를 하고 있는 만큼 실패도 피할 수 없었을 것 같아요.
유저무물데이만 해도 정말 많았죠. 예를 들어 정해진 시간 동안 사용자가 상주해 있고, 그 동안 팀원 분들이 궁금한 점이 생기면 즉석으로 사용자를 만나 대화할 수 있는 한 끗 다른 버전의 유저무물데이를 만든 적이 있었어요. 이외에도 랜덤 사용자가 아닌 리크루팅이 부득이하게 꼭 필요한 세그먼트의 사용자를 무물데이에서도 만나볼 수 있게 테스트한다든지 다양한 시도를 하고 있어요.
제품을 만들 때도 MVP라는 작은 단위의 프로그램을 만들어 끊임없이 테스트하잖아요. 실패하더라도 빠르게 시도해 보고 레슨런을 만들어서 또다시 시도해 보는 게 저희의 일하는 방식인 것 같아요.
Q. 기억에 남는 레슨런을 소개해 주신다면요?
사용자로부터 당연하게 생각하는 부분들이 사실은 그렇지 않을 때가 많다는 점이에요.
유저무물데이를 이용하는 팀원이 증가하면서 기존의 운영, 신청 방식을 효율적으로 개선해야 하는 타이밍이 왔다는 생각이 들었고, 팀원 분들을 대상으로 유저무물데이에 관한 설문조사를 받았어요. 설문을 받기 전, 저희는 기존 무물데이의 ‘신청 방식’이 가장 문제라고 예상했는데 아주 의외의 결과가 나왔어요. 저희의 예상과 다르게 신청 방식에 대한 만족도는 8점 이상으로 매우 높은 수준이었던 거죠.
그보다는, 하루에 진행되는 세션 수를 늘려 달라는 의견이 절반 이상이었어요. 세션의 수가 한정되어 있다 보니 원하는 날짜에 예약이 다 차버리면 당장 신청한 시간이 거의 일주일 뒤에나 있다는 거예요. “오늘 신청하면 내일 당장 UT를 할 수 있다”라는 유저무물데이의 가치가 세션 수 부족으로 전혀 작동하지 않고 있었던 거죠. 팀원 모두 헉! 했던 순간이었어요.
이 문제를 해결하기 위해 세션 수를 늘리고, 1시간의 최대 4명의 팀원이 각각 4명의 사용자와 로테이션으로 인터뷰할 수 있는 효율적인 프로세스를 만들어내기도 했답니다.
Q. 토스 팀을 대상으로 리서치를 진행한 거네요?
사용자 의견을 중요하게 생각하시는 게 이런 부분에서도 잘 드러나는 것 같아요.
리서치 도구로 유저무물데이를 사용한다는 점에서 팀원 분들은 또 다른 사용자이거든요. 유저 리서치를 베이스로 하는 팀이다 보니 늘 타깃 사용자 관점에서 생각해요.
앞서 저희 팀이 리서치 프로세스를 ‘제품을 만드는 관점’에서 개선한다고 말씀드렸는데요. 제품 개선에 사용자 의견을 적극 반영하듯, 유저무물데이라는 제품에도 사용자인 팀원분들의 목소리를 녹인 거예요.
UX리서치를 할 때처럼 설문조사를 하기도 하고, 유저무물데이를 많이 사용하는 분, 사용하다가 더 이상 사용하지 않는 분들을 대상으로 인터뷰를 진행하기도 하는 등 다양한 방식으로 의견을 수집하고 있어요.
Q. 제품을 만드는 팀원 분들 외에도 리서치 플랫폼 팀의 사용자가 있나요?
이야기를 듣다 보니 리서치 플랫폼 팀이 고려해야 하는 사용자가 많은 것 같아요.
맞아요. 리서치를 위해 리크루팅을 요청한 팀원, 리크루팅 한 토스 사용자, 중간 과정에 있는 리서처까지. 고려해야 하는 사용자가 세 그룹이죠.
각 업무들마다 어떤 그룹을 중심에 둘지 타겟팅에 있어 우선순위를 고민하며 균형을 잡는 게 중요해요. 그래서 팀원들끼리 더더욱 우리가 지금 타깃 사용자에 집중하고 있는지 서로 환기하며 일을 해나가고 있어요.
Q. 토스 리서치 플랫폼 팀의 다음 목표는 무엇인가요?
리서치 플랫폼 팀이 만들어 나갈 토스 UX리서치의 미래를 상상하며 일하고 있어요.
그동안은 리서치와 연관된 모든 이해관계자들을 고려해 최적의 리서치 프로세스를 구축하는 일을 중점적으로 해왔어요. 효율적인 리서치 운영의 초석이 어느 정도 다져진 만큼, 이제는 토스핏한 리서치 교육과 문화를 안착시키는 일과 다양한 리서치 도구들을 개발하는 일에 집중하려고 해요.
사무실에 시니어 사용자를 모셔서 팀원 누구나 오가며 사용자의 생생한 의견을 듣도록 시도한 ‘오픈무물데이’ 파일럿 프로그램이나, 정량화된 데이터가 중요한 UT를 모더레이터 공수 없이 효율적으로 수행하게 끔 돕는 ‘무인 UT’ 툴 개발 등이 그 일환이라고 보면 좋을 것 같아요.
올해 여름, 팀 워크숍을 했었는데요. 크게 리서치 전, 중, 후 과정 중에서 그동안 집중한 건 고작 리서치 중간 단계 정도더라고요. (리서치 하고 싶다고 찾아온 시점부터 해당 리서치 프로젝트가 끝나는 시점까지) 아직 갈 길이 멀어서, 내년엔 어떤 영역을 어떤 실험들로 발전시키고 있을지 기대가 돼요.
