데이터 분석 : 통계 없이 이해하는 A/B 테스트

1. A/B 테스트란?

A/B 테스트는 앱 또는 웹 페이지에서 임의로 나눈 두 집단에게 동일한 기간 동안 서로 다른 컨텐츠를 제시한 뒤, 두 집단 중 어떤 집단에서 더 좋은 성과를 보이는지 평가하는 방법입니다.

https://commons.wikimedia.org/wiki/File:A-B_testing_example.png

2. A/B 테스트를 하는 이유는?

데이터 기반의 의사 결정을 통해
  1) 기존 업무의 실패를 개선한다.
  2) 객관적인 의사결정의 근거를 만들 수 있다.
  3) 테스트를 통해 향후 발생할 리스크를 최소화할 수 있다.

3. A/B 테스트 프로세스

A/B 테스트는 실험을 위해 실험 전 목표설정, 실험 설계, 실험 진행, 결과 분석의 4단계로 이루어집니다.

 

 

1) 목표설정: 가설수립 & 지표정의

 

A/B 테스트를 진행하기 위해서는 사전에 반드시 목표를 명확하게 설정하고 시작해야 합니다. 내가 이 실험을 왜 진행하고, 이 실험을 통해서 얻고자 하는 것이 무엇인지를 가설수립을 통해 정의할 필요가 있습니다. 그리고 그 가설을 어떠한 지표를 통해서 검증할지에 대해 사전에 지표정의를 해주어야 합니다.

가설수립

 

예를 들어 쇼핑몰의 데이터 분석가가 최근 쇼핑몰의 매출이 떨어지고 있는 사실을 발견했다고 가정해보겠습니다. 데이터를 보니 사람들이 상품을 클릭해보는 횟수는 이전과 크게 다르지 않다는 사실을 발견했습니다. 그렇다면 고객들이 상품을 본 뒤 구매로 연결되는 숫자가 줄어든 것이라고 추측해볼 수 있을텐데요. 그렇다면 분석가는 아래와 같은 가설을 생각해볼 수 있습니다.

 

지표정의

 

가설을 설정했다면, 이 가설의 참, 거짓 여부를 측정할 수 있는 기준이 필요합니다. 예를 들어 위 가설에서 우리가 검증해야 할 부분은 '이미지를 바꾸었을 때 사람들이 더 주문을 많이 할 것인가?' 입니다. 따라서 해당 가설에 맞는 지표는 '구매 전환율'이라고 정의 해볼 수 있을 것입니다.

 

 정리하면 A/B 테스트에서 목표설정 과정은 다음과 같이 가설을 설정하고 지표를 정의하면 됩니다. 

 

 

2) 실험설계

 

목표를 설정하였으면 해당 목표에 맞는 실험을 위해 실험설계를 진행합니다. 실험설계를 위해 고려해야 할 부분은 대표적으로 3가지가 있습니다. 

 

 

3) 실험진행

 

위 실험설계 단계에서 필요한 설계를 마쳤다면, 이제 실험이 종료될 때까지 실험 결과를 기다리면 됩니다. 여기서 주의해야 할 부분은 중간에 실험 목표를 달성했다고 계획했던 일정보다 실험을 빨리 종료하게 되면 실험결과의 유의성을 담보할 수 없으니 이 점을 반드시 유념하셔야 합니다.

 

 

4) 결과분석

 

통계적인 방법을 이용해 가설을 검정하여 두 집단에서 구한 차이가 유의미한지를 확인해주는 과정을 거친다. 검정 결과 통계적으로 유의한 차이가 있다면 실험집단이 통제집단 보다 더 낫다고 판단하게 된다.

 

 

공부하는 과정에서 작성한 글이라 잘못된 부분이 있을 수 있는 점 참고 부탁 드립니다.

 

감사합니다.