[A/B TESTING-②] A/B 테스트, 뭐부터 시작해야 하지?

피크쿠멘의 <A / B Testing: The Most Powerful Way to Turn Clicks Into Customers>를 읽으며 정리한 글입니다.

 

"Where do I begin?"

A/B 테스트를 처음 시행할 때 가장 어려운 부분은 무엇을 테스트할지 결정하는 것이다. 아마, 몇몇 회사에서 가장 흔히들 하는 실수 역시 이것이 아닐까 싶다. Dan Siroker의 [A/B Testing]에 따르면, 이러한 어려움을 해결하고자 테스트를 시행하는 5단계를 소개한다.

 

STEP ① 서비스의 성공 정의
STEP ② 서비스 성공의 장애물 찾기
STEP ③ 가설 수립
STEP ④ 우선순위 설정
STEP ⑤ 테스트

 

---

 

#① 서비스의 성공 정의

 

"우리 서비스(웹/앱 사이트)의 목적은 뭘까?"

A/B 테스트 전반을 설명하는 가장 중요한 질문과 함께 시작한다. 만약 이 질문을 답하기 어렵다면, A/B 테스트를 통해 어떤 것을 얻고 싶은지? 우리 웹 사이트가 사용자(고객)에게 왜 필요한지? 만약 서비스를 개선할 수 있다면, 무엇을 해야 할지?를 생각해보자.

 

출처 : Unsplash

 

사용자가 우리 서비스에서 구체적으로 어떤 행동을 했으면 좋겠는지(Conversion)를 고민하는 건 서비스 비즈니스에서 가장 중요한 포인트이다. 그리고 이를 통해 테스트가 가져올 효과, 목적을 정의할 수 있다.

 

---

📌 가장 쉬운 예시로,

이커머스 사이트의 서비스의 성공척도(/존재 이유)는 신규 고객들의 주문, 기존 고객들의 재주문이다. 그리고 그들은 신규/기존 고객의 구매율을 높이기 위한 A/B테스트를 시행할 것이다. 리스트에서 어떻게 제품의 사진을 보여줄지, 리뷰를 리스트에서 노출시킬지/말지 등을 계속해서 테스트하며 구매 전환율을 높이기 위해 노력한다.

 

---

 

이 질문들의 답을 정의하는 것은 A/B 테스트를 시행하는 궁극적인 목적을 찾아가는 과정이자 A/B테스트의 정량적 성공 척도를 결정하는 것과 같다. 다시 말하면, 테스트의 목적을 정의하는 첫번째 단계를 통해 우리는 웹사이트의 존재 이유를 설명할 수 있는 것이다.

 

 

---

 

 

모두 같은 전환(Conversion)척도가 아니라고?

*전환 Conversion : 사용자들이 서비스가 의도하는 행동을 취하는 것

 

작가이자 기업가 Avinash Kaushik은 전환율을 *Macro / **Micro Conversion 두 가지로 구분하여 설명한다. 이 두가지 척도는 명확한 서비스 목적이 정의되어야만 결정될 수 있다.

 

* Macro Conversion
- 웹사이트의 주 목적, 존재 이유 측정
- 즉각적으로 가치 제공
- 수익이 수반되는 가치 제공

 

** Micro Conversion
- 사용자가 웹사이트에서 행하는 다른 행동 측정
- 간접적인 가치 제공
- Macro 전환으로 해결할 수 없는 가치를 제공해줌.

 

 

대게 종종 기업에서는 명확한 목적 없이 'Vanity Value (허영심과 자만만이 가득찬 데이터로 직역할 수 있음.)'에 빠지곤 한다. Vanity 데이터를 얻기 위해서는 큰 노력이 수반되지 않는다. 보는 이를 기분 좋게 할 순 있다만, 후의 비즈니스 개선을 위한 인사이트를 발견할 수 없는 쓸모없는 데이터다.

 

---

📌 예를 들어,

방문객에게 유익한 정보를 제공하고 싶은 서비스 블로그의 서비스 개선 척도를 게시물 클릭률에 둔다면, 이것을 Vanity Value에 집중한다고 볼 수 있다. 클릭률만을 본다는 것은 그 게시물이 사람들에게 정보를 제공하는 좋은 글인지를 확인할 수 없기 때문이다. 이를 확인할 수 있는 데이터는 '사용자의 참여'이다. 댓글을 달거나 타인에게 게시글을 공유하거나 반복해서 게시물에 방문한다면 본 게시물은 사람들에게 유익함을 전하고 있다. 자만심에 가득 찬 데이터를 피하기 위해선 '서비스 성공의 척도'를 명확하게 계획해야 할 것이다.

---

 

 

 

#② 서비스 성공의 장애물 찾기

 

사용자는 사이트의 어느부분에서 이탈할까? 서비스의 목적을 방해하는 장애물에는 무엇이 있을까?

 

서비스의 장애물을 발견하는 과정은 개선해야할 부분을 이해하는데 도움을 준다.

 

예를 들어 오바마 대선 캠페인 사이트 (Obama.org)의 가장 큰 장애물은 이메일 주소 수집을 위한 '가입'절차이다. 오바마 대선 팀의 성공 척도는 이메일을 보낸 사람들로부터 많은 기부금을 받는 것이며, 이메일을 보내기 위해서는 이메일을 수집해야 했다. 실제로 사이트 방문객의 상당수가 가입단계에서 이탈하여 목표한 기부금을 달성하지 못할 뻔하였으나, 이메일에서 기부할 수 있는 금액을 높이면서 이를 해결하였다.

 

오바마 대선 사이트

 

---

👇오바마 대선 사이트 사례 자세히 보기👇

[A/B TESTING-①] A/B 테스트는 왜 해야할까?

 

---

 

#③ 가설 수립

서비스의 성공척도와 장애물을 찾았다면, 다음으로는 테스트의 가설을 세우는 단계다 정성적 리서치(인터뷰, FGI, 피드백 등..)를 통해 얻은 사용자 행동양식에 대한 이해를 수반해 가설을 세울 수있다. 가설은 서비스 팀이 실제로 결정하고자 하는 것을 테스트하게 함으로써 구체적인 목표를 제공하기 때문에, 가설 수립은 유익한 테스트로 이끈다.

 

"내가 수립한 가설이 틀렸네.."

수립한 가설이 맞지 않더라도 가치 있는 테스트다. 우리가 기대한 결과가 나오지 않은 이유를 생각해보면 새로운 가설이 나오고 그 가설로 하여금 가치 있는 실험이 다시 시작하기 때문이다. 실험은 더 많은 질문을 하게 하고 가설과 가설 검증(테스트)의 반복을 통해 비로소 가치가 탄생한다.

---

 

📌 클린턴 부시 아이티 지진 기부 사이트

 

 

2010년 아이티에서 대지진이 일어나자 빠른 시일 내에 아이티를 지원할 기부금을 모아야 했다. 가능한 사이트를 방문한 많은 사람들이 많이 기부하게끔 하는 것이 클린턴 부시 아이티 지진 기부사이트의 목표였다.

 

 

◾️가설1: 아이티 지진 피해자의 이미지를 추가한다면, 더 많은 방문객이 기부를 할 거야!

 

하지만 실험 결과, 폼을 보기 위해선 스크롤을 해야 했기 때문에 이미지 추가는 큰 효과가 없었다. 이를 통해 팀은 두 번째 가설을 수립했다.

 

왼- 기존 사이트 / 오-가설 1

 

 

 

 

◾️ 가설 2: 레이아웃을 2 칼럼으로 나눠, 이미지와 기부 폼을 함께 보여주고 스크롤을 없애는 건 어떨까?

 

새로운 레이아웃은 기존 사이트보다 8% 이상의 Call to action을 일으켰고, 클린턴 부시 아이티 지진 기부 사이트는 실패한 실험으로부터 새로운 가설을 창출하여 긍정적인 결과를 내보인 대표적인 사례로 종종 회자된다.

 

가설2

---

 

 

 

#④ 우선순위 설정

가설과 테스트할 여러 페이지 베리에이션을 만들었다면, 이제는 가장 큰 변화를 가져올 수 있는 것은 무엇인지를 결정해야 한다. 가능하다면 모든 가설을 테스트해보면 좋지만, 현실적으로 예산, 시간 등의 제약이 너무 많기 때문에 가설의 우선순위를 설정하는 것이 좋다. 많은 실무진들은 우선순위 설정을 위해 ROI (Return On Investment)를 활용한다. 각 테스트의 ROI는 핵심적인 성공 지표와 전환 곡선의 장애물, 사용자의 행동에 대한 가설의 조합으로부터 비롯된다.

 

[번역] The ROI of UX Design

 

 

 

 

#⑤ 테스트

테스트를 실행하기 위한 모든 준비가 끝났다. 우리는 방문객들에게 랜덤으로 여러 베리에이션을 보여준다. 그리고 사용자가 어떻게 행동하는지 살펴본다. 테스트를 마치면 종종 답을 얻기도 하지만, 앞서 말했듯 더 많은 물음을 얻기도 한다. 실패해도 괜찮다. 테스트를 반복하여 정답을 찾아가자.

 

 

 

우리는 실수를 저지른다.
그러나 우리는 그것들로부터 배운다.
그리고 최고의 성과 중 많은 것이 그 과정에서 나온다.

-빌 게이츠-

 

 

 

출처
- How A/B Testing Empowers Relief Efforts in the Aftermath of Typhoon Haiyan
- (서적) A / B Testing: The Most Powerful Way to Turn Clicks Into Customers

 

---

다음 편은 A/B 테스트를 통해 서비스 (웹/앱 사이트)를 개선한 사례를 작성할 예정입니다 :)