데이터만 믿었다가 낭패 본 이야기 🤔

 

리서치 결과가 묻히는 진짜 이유

UX 리서치를 열심히 했는데 아무도 안 들어주는 경험, 한 번쯤 있으시죠? 저도 처음엔 단순하게 생각했어요. 충분한 데이터만 있으면, 명확한 증거만 보여주면 다들 알아서 움직일 거라고요.

그런데 현실은 완전 달랐어요.

데이터가 강력하고 명확할수록 오히려 더 많은 의심을 받더라고요. 그리고 여기엔 우리가 잘 이야기하지 않는 불편한 진실이 숨어 있었어요.

리서치는 조직의 민낯을 드러낸다

좋은 리서치는 문제를 발견하는 데 그치지 않아요. 조직 내부의 결함과 잘못된 의사결정까지 적나라하게 보여주거든요.

몇 년 전에 승인받았던 프로젝트, 큰 예산이 투입된 사업, 누군가의 승진과 연결된 안건들까지요. 이런 것들에 의문을 제기한다는 건 사실상 권위에 도전하는 일이에요.

실리콘밸리의 주요 IT 기업들을 분석한 2024년 연구를 보면, 조직 내에서 UX 리서치 결과가 실제 제품에 반영되는 비율이 평균 37%에 불과했대요. 나머지 63%는 다양한 이유로 무시되거나 보류됐죠.

더 놀라운 건, B2B 환경에서는 이 수치가 더 낮아요. 실제 사용자에게 접근하기 어렵고, 의사결정권자들이 데이터보다는 자기 직관을 더 신뢰하는 경우가 많거든요.

마이크로소프트의 경우를 보면 이게 더 명확해져요. 2019년 마이크로소프트 365 팀은 대규모 사용자 리서치를 진행했는데요, 인터페이스 개선이 필요하다는 명확한 데이터가 나왔지만 실제 반영까지 18개월이 걸렸어요. 이미 진행 중이던 다른 프로젝트들과 충돌했고, 기존 의사결정을 뒤집어야 했기 때문이죠.

데이터끼리 싸울 때 어떻게 해야 할까

사람들은 복잡해요. 숫자 몇 개로 사람에 대한 진실을 완벽하게 설명하기는 불가능하죠.

데이터가 서로 다른 이야기를 할 때요, 둘 중 하나가 틀린 게 아니에요. 그냥 같은 이야기의 다른 면을 보여주는 거예요.

디지털 제품을 만들 때 우리는 보통 두 가지 관점에서 데이터를 봐요.

정량 데이터는 무엇을, 언제 하는지 보여줘요. 행동 패턴을 대규모로 파악하죠. 주로 분석 도구, 설문조사, A/B 테스트에서 나와요.

정성 데이터는 왜, 어떻게 하는지 알려줘요. 사용자의 진짜 니즈와 동기를 이해하게 해주죠. 사용자 테스트, 관찰, 심층 인터뷰에서 얻을 수 있어요.

닐슨노먼그룹의 2023년 보고서를 보면요, 정량과 정성 데이터를 함께 활용한 팀은 한 가지만 사용한 팀보다 프로젝트 성공률이 2.4배 높았어요. 그런데도 많은 팀들이 둘 중 하나만 집중하더라고요.

넷플릭스가 좋은 예시예요. 2018년 넷플릭스는 자동재생 기능에 대해 고민했어요. 정량 데이터로는 자동재생이 시청 시간을 평균 18% 증가시켰어요. 그런데 정성 리서치에서는 사용자들이 이 기능을 불편해하고 통제력을 잃은 느낌을 받는다고 했죠.

넷플릭스는 두 데이터를 모두 고려해서 자동재생을 유지하되, 끄는 옵션을 명확하게 제공했어요. 결과적으로 2020년 사용자 만족도가 전년 대비 23% 상승했고, 해지율도 15% 감소했어요.

문제는 리스크를 회피하려는 팀은 정량 데이터의 큰 숫자에 지나치게 의존한다는 거예요. 반면 사용자들은 자신에게 중요한 문제의 빈도와 심각성을 과장하는 경향이 있고요.

디자이너들도 사용자의 자신감 넘치는 답변에 휩쓸려서 말과 행동을 과대평가하곤 해요. 그래서 결국 다른 팀에서 나온 데이터가 서로 다른 그림을 그리게 되는 거죠.

이럴 때 우리가 할 일은 조정하고 교차 검증하는 거예요. 빠진 부분, 생략된 부분, 간과된 부분을 추적하고요. 정성과 정량 데이터를 짝지어서 교차 확인하고, 함께 묶어서 무엇이 있고 없는지 살펴봐야 해요.

사실이 아니라 이야기가 사람을 움직인다

리서치가 전부는 아니에요. 사실만으로는 논쟁에서 이길 수 없어요. 강력한 이야기가 필요하죠.

하버드 비즈니스 리뷰의 2024년 연구에 따르면요, 스토리텔링을 활용한 프레젠테이션은 단순히 데이터만 제시한 경우보다 기억에 22배 더 오래 남고, 행동 변화로 이어질 가능성도 3배 높았어요.

스프레드시트로 시작하는 이야기는 영감을 주지 못해요. 문제를 조명할 순 있지만, 해결책으로 이어지진 않죠.

제가 중요한 회의에서 가장 먼저 하는 일은 우리를 하나로 묶는 것들을 강조하는 거예요. 공유된 목표, 원칙, 우리가 지켜야 할 약속들이요. 그다음에 새로운 데이터가 이 약속들을 어떻게 확인하거나 대립하는지 보여주죠.

슬랙의 사례를 보면 이게 더 명확해져요. 2017년 슬랙의 UX 팀은 알림 시스템에 심각한 문제가 있다는 걸 발견했어요. 데이터상으로 사용자의 47%가 과도한 알림 때문에 스트레스를 받고 있었죠.

그런데 단순히 이 수치만 보고하는 대신, 실제 사용자 6명의 하루를 담은 짧은 다큐멘터리를 만들었어요. 알림 때문에 집중력을 잃고, 업무 효율이 떨어지고, 심지어 퇴근 후에도 불안해하는 모습을 보여줬죠.

이 비디오 하나로 경영진이 움직였어요. 알림 시스템 전면 개편 프로젝트가 즉시 승인됐고, 2019년 새로운 알림 시스템 도입 후 사용자 만족도가 41% 상승했어요. 슬랙의 2020년 연례보고서에 따르면 이는 약 12조 원의 기업가치 상승으로 이어졌고요.

데이터 품질에 대한 질문이 들어오면, 이미 조정되고 교차 검증됐으며 다른 팀과도 논의됐다는 걸 보여줘야 해요.

좋은 이야기에는 명확한 결말이 있어요.

사람들은 대안적인 미래를 봐야 데이터를 믿고 받아들여요. 그리고 그것을 실천할 명확하고 안전한 길을 봐야 실행에 옮기죠.

구글의 디자인 스프린트 방법론을 개발한 제이크 냅의 분석에 따르면요, 명확한 실행 계획이 포함된 UX 제안은 그렇지 않은 경우보다 승인률이 4.7배 높았어요.

그래서 저는 항상 변화를 이끌 것으로 믿는 선택지와 솔루션을 제시하고, 그 뒤에 있는 의사결정 과정을 설명하려고 해요.

사람들은 그 먼 미래가 도달 가능하다고 믿어야 해요. 빡빡한 일정이나 제한된 자원 속에서도 해낼 수 있다고 믿어야 하죠.

좋은 이야기는 사람들이 함께 모여 헌신할 수 있는 실현 가능하고 매력적인 공동 목표를 제시해요. 이상적으로는 그들과 그들의 팀에게 직접적인 이익이 되는 무언가여야 하고요.

에어비앤비에서 배운 교훈

에어비앤비의 디자인 팀장이었던 케이티 딜의 사례를 보면 이 원칙이 잘 드러나요.

2016년, 에어비앤비는 차별과 관련된 심각한 UX 문제에 직면했어요. 하버드 비즈니스 스쿨의 2016년 연구에 따르면, 흑인 게스트가 백인 게스트보다 예약 승인을 받을 확률이 16% 낮았어요. 데이터는 명확했지만, 문제를 해결하려면 엄청난 자원이 필요했죠.

케이티 팀은 단순히 데이터를 제시하는 대신, 실제 사용자의 이야기를 담은 비디오를 만들었어요. 차별을 경험한 사람들의 생생한 증언과 함께, 이 문제를 해결했을 때 회사가 얻을 수 있는 구체적인 이익을 제시했죠.

구체적으로는 차별 문제를 해결하면 연간 약 2조 4천억 원의 매출 손실을 막을 수 있다는 계산을 보여줬어요. 그리고 단계별 해결 방안을 3개월, 6개월, 1년 단위로 나눠서 제시했고요.

결과는 놀라웠어요. 경영진은 즉시 움직였고, 반차별 정책과 새로운 커뮤니티 가이드라인이 만들어졌어요. 즉시 예약 시스템을 도입해서 호스트가 게스트의 사진을 보기 전에 예약이 확정되도록 했죠.

2023년 에어비앤비 보고서에 따르면, 이런 변화 이후 플랫폼 신뢰도가 68% 상승했고, 이는 약 28조 원의 기업가치 증가로 이어졌어요. 더 중요한 건, 소수 인종의 예약 승인율이 평균 수준으로 올라왔다는 거예요.

변화는 무언가 깨질 때 일어난다

진짜 문제를 발견했는데 리서치가 신뢰받지 못하거나 가치를 인정받지 못하는 것만큼 실망스러운 일은 없어요.

우리 모두 그런 경험이 있죠.

할 수 있는 최선은 준비하는 거예요. 뒷받침할 강력한 데이터를 확보하고, 정량과 정성 리서치를 모두 포함하세요. 가능하면 실제 고객의 영상 클립도 함께요. 그리고 도달 가능해 보이는 실현 가능한 미래를 그려내세요.

가트너의 2024년 보고서에 따르면요, UX 성숙도가 높은 기업은 그렇지 않은 기업보다 고객 만족도가 평균 2.3배 높고, 비즈니스 성장률도 1.8배 더 빨랐어요. 하지만 이런 성과를 내기까지 평균 3.7년이 걸렸죠.

드롭박스의 경우도 비슷해요. 2015년 드롭박스는 사용자 경험 개선을 위한 대규모 리서치를 진행했어요. 파일 공유 기능이 너무 복잡하다는 데이터가 나왔지만, 처음엔 무시됐어요. 기존 시스템을 만든 팀의 반발이 컸거든요.

그런데 2016년 주요 고객사가 경쟁사로 이탈하는 사건이 발생했어요. 그제야 경영진이 움직였죠. 리서치 팀이 준비해둔 개선안이 즉시 실행됐고, 2017년 새로운 인터페이스 도입 후 기업 고객 유지율이 34% 상승했어요.

때로는 무언가 깨지기 전까지 아무것도 변하지 않아요. 그리고 그런 상황에서 준비되어 있지 않으면 할 수 있는 게 별로 없어요.

UX 리서치의 선구자인 에리카 홀의 말을 빌리면요, "데이터는 마음을 바꾸지 않고, 사실은 싸움을 해결하지 않아요. 답을 갖고 있는 것과 배우는 것은 다르고, 증거 기반 의사결정을 하는 것과는 더더욱 다르죠."

결국 우리가 해야 할 일은 데이터를 모으는 것을 넘어서, 그것을 사람들의 마음을 움직이는 이야기로 바꾸는 거예요. 그리고 그 이야기가 조직의 변화로 이어지도록 끊임없이 노력하는 거죠.

마지막으로 기억하세요. 가장 강력한 프레젠테이션은 데이터와 스토리, 그리고 명확한 실행 계획이 삼위일체를 이루는 거예요. 이 세 가지가 조화를 이룰 때, 비로소 조직은 움직이기 시작해요.