[A/B TESTING-①] A/B 테스트는 왜 해야할까?

피크쿠멘의 <A / B Testing: The Most Powerful Way to Turn Clicks Into Customers>를 읽으며 정리한 글입니다.

 

들어가며,

전체 온라인 환경에서의 전환율(서비스 제공자가 유도한 행위를 한 사용자의 비율을 뜻함.)은 고작 2%다. 이것은 온라인 서비스를 방문하는 98%의 사용자가 무언가를 다운로드하지 않는다거나, 문서를 읽지 않는다던가, 물건을 구매하지 않고 서비스를 이탈함을 의미한다.

 

이 문제를 어떻게 해결할 수 있을까? 바로 A/B 테스트다.

 

A/B 테스트는 몇몇 다른 버전의 화면을 무작위로 실시간 트래픽에 뿌려 그 효과를 비교하는 실험이다. A/B 테스트를 한다면, 효과적인 마케팅과 긍정적인 사용자 경험을 이끌어 낼 수 있다. 작은 변화들을 계속해서 테스트한다면, 초기 웹사이트와 비교해 봤을 때 전환율이 효과적으로 상승함을 발견할 수 있을 것이다.

 

---

A/B 테스트는 간단하다.

출처: splitmetrics.com

① 웹 사이트의 각각 다른 버젼을 사람들에게 보여주고, ② 각각의 버전 중에서 가장 효과적인 사용자 전환율을 보이는 것이 무엇인지 측정한다.

 

이 간단한 컨셉만 지킨다면, 놀라운 변화를 만들어 낼 수 있을 것이다. (물론 주의해야 할 점도 있지만!)

 

---

 

왜 A/B 테스트를 할까? (+오바마 대선 사례)

2008년, 2012년 두 번의 대선에서 승리를 거둔 오바마 전 대통령의 캠페인은 굉장히 흥미롭다. 그 이유는 캠페인 활동에 A/B 테스트를 적극적으로 활용하며, 데이터를 기반으로 계속해서 캠페인 페이지를 수정해 갔기 때문이다.

 

 

2008년 오바마 캠페인 홈페이지

 

위는 오바마 대선 캠페인 홈페이지의 첫 화면이다. 그리고 첫 화면에서는 뉴스레터를 신청할 수 있는 빨간색 버튼이 있다. 오바마 캠프는 많은 후원금을 모으기 위해서 뉴스레터를 보내는 전략을 취했기에 그들에게 있어 많은 사용자가 빨간 버튼을 누르는 것은 매우 중요한 목표 중 하나다.

 

 

"Is this button the absolute best?"

 

오바마 캠프는 이 버튼의 문구들 달리했을 때 전환율이 어떻게 달라질지 테스트한다. 어떤 버튼이 가장 큰 효과를 발휘할까? 지금의 [Sign Up] 버튼이 과연 제일 나은 버튼일까?  [Sign Up], [Learn More], [Join Us Now], [Sign Up Now] 총 4가지의 버튼 문구를 구성하여 효과를 측정했다. 실제로 가장 큰 효과를 발휘한 버튼은 [Learn more]였다.

 

이 버튼을 통해 방문자들의 가입률을 8.26%에서 11.6%로 무려 40.6%나 끌어올렸다.

 

오바마 선거 캠페인 화면에서의 테스트 콘텐츠는 버튼뿐만 아니라 이미지, 동영상과 같은 콘텐츠도 포함된다.

 

 

빨간색 버튼에 대한 작고 간단한 질문은 간단한 실험으로 확실히 대답되었다.

 

서비스 기획과 디자인을 하다보면, 버튼을 어디에 배치하면 좋을지. 여기에 어떤 메시지가 적합할지를 놓고 무수히

고민하는 경우가 많다. 가끔은 나와 의견이 다른 팀원과 의견 충돌이 일어나기도 한다. 무수히 많은 시안 중 가장 좋은 것을 (뇌피셜로) 답하는 것은 어렵고 혼란스럽지만, A/B테스트를 통한다면 지금 갖고 있는 질문에 대한 확실한 답변을 발견할 수 있을 것이다. 이것이 바로 A/B 테스트를 하는 이유다.

 

---

사람들이 가장 많이 하는 실수는,

① 최적화 하려고 시도하는 것이 무엇인지 계획하지 않고 테스트를 시작하는 것

② 그것이 만들어 낼 가치에 대한 이해 없이 테스트를 시작하는 것이다.

 

즉, A/B테스트를 시작 함에 있어 가장 중요한 질문은 바로 "당신의 서비스의 목적은 무엇인가요? "이다. 서비스에서 A/B테스트를 하고자 하는데, 뭐부터 해야 할지 막막하다면 내 서비스에서 가장 중요한 것이 무엇이지, 서비스의 목적은 무엇인지를 먼저 답해보는 건 어떨까?

---

 

더 자세한 A/B테스트 프로세스는 다음 글에서...총총..