[린 분석] 테스트와 각종 분석(2), 분석 주기

고객 세분화, 코호트 분석, 다변량 분석, A/B 테스트

지난번 글에서 고객 세분화와 코호트 분석에 관하여 간단히 살펴보았다. 이번 글에서는 다변량 분석과 A/B 테스트에 대하여 살펴보고자 한다.

지난 글 : https://next-paradigm.tistory.com/8

[린 분석] 테스트와 각종 분석(1)

 

A/B 테스트

지난번 글에서 사용자 그룹을 비교하는 코호트 분석을 종단적 연구(Longitudinal Studies)라고 한다. 그 이유는 고객 그룹이 시간이 지나면서 변해 가는 수명 주기에 따라 데이터를 수집하고 분류하기 때문이다. 이와 반대의 개념인 횡단적 연구(Cross-Sectional Studies)는 테스트 대상 그룹에 동시에 서로 다른 상황이나 경험을 주는 것을 말한다. 방문자 절반에게는 빨간색 링크를 보여주고, 다른 절반에게는 파란색 링크를 보여주면서 어떤 그룹이 링크를 더 많이 클릭하는지 알아보는 것이 횡단적 연구의 예시다. 대상자의 경험에서 한 가지 특징(링크 색깔)을 비교하고 다른 것을 모두 같다고 했을 때, 이를 A/B 테스트라고 부른다.

제품에 대해서 뭐든 테스트할 수 있지만 매번 테스트하는 것보다 결정적으로 중요한 단계나 가정에 초점을 맞추는 것이 가장 효과적이다. 예를 들어, 크라우드 펀딩을 받은 티켓 예매 사이트 피카틱(Picatic)의 공동창업자 제이 파머(Jay Parmar)에 의하면 클릭 유도 문구를 '무료로 시작해 보세요'에서 '무료로 사용해 보세요'로 바꾸기만 했는데도 클릭하는 비율이 10일간 376%나 증가했다고 한다. 위에서 문구 이외의 다른 것은 모두 같은 환경으로 설정하고 테스트했기 때문에 이 테스트는 A/B 테스트이다. A/B 테스트의 장점은 내가 원하는 가설에 대한 검증이 매우 간단하다는 데 있다. 두 집단을 비교하고 데이터를 얻는 것이기 때문에 실행하기도 쉽고 데이터의 결괏값이 매우 정확하다.

하지만 실무에서 A/B 테스트는 간단하지 않다. 구글이나 빙(Bing)과 같은 대형 웹사이트에서는 트래픽이 매우 많으므로 링크 색이나 페이지 속도 같은 한 가지 요소에 대해서 테스트하고 결과를 얻는 데 시간이 오래 걸리지 않는다. 그러나 그렇지 않은 사이트에서는 트래픽보다 테스트할 것이 더 많을 수 있다. 단순히 떠올려도 웹페이지 색상, 클릭 유도 문구, 결제 문구, 방문자에게 보여주는 사진 등 많은 것을 테스트하고 싶을 것이다. 하지만 트래픽이 충분하지 않은 상황에서는 모든 테스트를 수행할 수도 없을뿐더러 적은 트래픽으로 수행한 A/B 테스트는 신뢰도가 떨어질 수 있다.

 

다변량 분석

이런 경우, 개별적인 테스트를 차례로 실시하기보다는 다변량 분석을 사용해 이들 모두를 동시에 분석할 수 있다. 다변량 분석에서는 많은 요소 중에서 핵심 지표의 개선과 상관관계가 강한 것이 어떤 것인지 발견하기 위해서 통계적으로 분석한다. 이를 위해서 지표에 영향을 미치는 여러 가지 요인을 동시에 바꾸면서 어떤 것이 결과와 상관관계가 있는지 파악한다. 예를 들어, A/B 테스트를 빨간색/파란색 링크 두 가지로 나누어서 결괏값을 비교했다고 한다면, 다변량 분석은 빨간색/파란색 링크에 글씨 크기를 다양하게 하면서 정렬 방식을 좌측 정렬, 우측 정렬, 가운데 정렬을 한 것이다. 이 경우에는 경우의 수가 2 × 2 × 3으로 12가지로 나오게 되는데 여러 옵션을 동시에 바꾸면서 결과와 상관관계가 높은 것을 통계적으로 찾아 나가는 것을 말한다. 이 방법을 통해 트래픽이 적은 환경에서도 속도 저하 없이 결괏값을 빠르게 얻을 수 있다.

 

 

린 분석 주기(스타트업 생애 주기)

린 분석은 중요한 지표를 찾고 나서 다른 문제나 단계로 넘어갈 정도로 해당 지표가 개선될 때까지 여러 실험을 하는 것이 대부분을 차지한다. 이를 반복하다 보면 지속이 가능하고 반복할 수 있으면서 성장하는 사업 모델을 찾아서 사업을 확장하는 방법을 알게 될 것이다. 결국 린 분석에 기반을 두고 스타트업의 생애 주기를 분석하는 것의 출발은 매출, 고객 활동과 같은 개선 KPI를 선택해서 사업 단계와 사업 모델을 고려해 가장 근본적인 사업의 위험을 반영하는 KPI를 선택하는 것이다. 이를 통해 사업 모델을 바탕으로 해당 KPI에 대한 기준을 정하고, KPI를 개선할 방법을 파악한다. 그리고 우리가 원하는 '좋은' 방문자, 사용자, 고객을 데이터에서 식별해야 한다. 예를 들면, 구매, 회원 가입, 공유, 기여 등의 데이터에서 찾을 수 있다. 이렇게 '좋은' 사용자를 파악했다면 그들의 공통점을 찾아야 한다. 개선하고자 하는 KPI와 상관관계가 높으면서 좋은 사용자들이 공유하는 특징을 찾는다. 이 공통된 특징을 대상으로 사업을 수정한다. 이 과정을 조금 신중하게 진행하고 싶다면 A/B 테스트나 다변량 테스트를 설계하고 성공적인 해답을 찾아보는 단계를 추가할 수 있다. 이후에는 해당 변화가 KPI에 미친 영향을 측정하여 변화를 경험한 사용자들의 코호트를 분석한다. 이 생애 주기를 거치고 KPI가 기준을 충족시켰는지 파악하고, KPI를 재선택하거나 다시 시도하거나, 방향을 전환하거나 심지어는 포기하는 의사결정을 내린다. 이렇게 몇 번의 생애 주기를 거치면 굵직한 KPI를 찾아서 명확하게 방향을 정할 수 있을 것이다.