A/B 테스트: 최고를 위한 효과적인 방법 찾기

처음에 결정한 목표치는 확고 불변한 목표가 아니라 가변적인 목표다. 여러분은 움직이는 목표를 쫓고 있는 것이다. 왜냐하면 무엇을 성공이라고 해야 할지 아직 모르기 때문이다. 목표와 핵심 지표의 정의를 수정해도 좋다. 단, 여러분이 자신에게 정직하고, 목표 수정이 사업에 있어 무엇을 의미하는지 인식하고 있으며, 증거를 무시하고 일을 계속 하기 위해 기대치를 낮추는 것이 아니라면 말이다. 지표를 수정하는 이유를 진정으로 이해하고 그 수정을 정당화할 수 있으므로 핵심 지표를 수정하는 것은 문제될 것이 없었다. 린 분석 56쪽 앨리스테어 크롤, 벤저민 요스코비츠 지음

고객을 이해하라. 고객 및 사용자와 직접 부딪혀 보는 것보다 더 좋은 방법은 없다. 가정을 수립하고 성공의 기준을 정하되 기준에 도달하고자 무모하게 계속해서 실험하면 안 된다. 필요하면 기준치를 낮춰라. 그러나 단지 목표를 달성하기 위해 기준치를 낮추면 안 된다. 그건 기만일 뿐이다. 린 분석 58쪽 앨리스테어 크롤, 벤저민 요스코비츠 지음

이전 글에서 살펴본 코호트 분석은 종단적 연구라고 부릅니다. 그 이유는 고객 그룹의 자연스러운 수명 주기에 따라 데이터를 수집하기 때문입니다. 하지만, 이와 반대로 유저 그룹에게 동시에 서로 다른 경험을 하게 하는 조사를 횡단적 연구라고 부릅니다.

방문자의 절반에게는 파란색 링크를 보여주고 다른 절반에게는 녹색 링크를 보여주면서 어떤 그룹 링크를 더 잘 클릭하는지 알아보는 것이 횡단적 연구다. 대상자의 경험에서 한 가지 특징, 가령 링크 색깔을 비교하고 다른 것은 모두 같다고 가정하면 그것은 A/B 테스트다. 린 분석 62쪽 앨리스테어 크롤, 벤저민 요스코비츠 지음

디지털 마케팅을 하는 마케터들이 많이 활용하는 방법은 A/B 테스트입니다. 같은 집단에게 유사한 콘텐츠를 내보내어 서로의 반응을 보고 더 효과적인 성과 및 전환을 만들어 내는 것을 확인하는 것이 바로 A/B 테스트의 요지입니다. A/B 테스트는 유저 경험을 개선하는 데 있어서 감이 아닌 데이터를 기반하여 신중한 결정을 내릴 수 있도록 하는 기반이며, 끊임없는 테스트를 통해 그들의 목표가 정말 유저에게 최고의 경험이 될 수 있는지를 증명해보는 길이기도 합니다.

A/B 테스트는 단순히 특정 가설의 옳고 그름을 판단하는 잣대로 작동하는 것 뿐만 아니라, 특정 목표를 두고 이와 관련된 유저 경험을 개선해 나가는 데에도 사용될 수 있습니다. 예를 들어, B2B 사업의 이번 분기 목표는 매출 극대화라고 칩시다. 이들은 프로모션 랜딩 페이지를 개선함으로써 매출의 양을 키우고 싶습니다. 그 목표를 이루기 위해서 A/B 테스트를 진행할 수 있습니다. 어떤 헤드라인을 사용하는 것이, 어떤 키비주얼을 사용하는 것이, 어떤 CTA 버튼을 사용하는 것이 구매 전환에 영향을 주는지 판단하여 프로모션 랜딩 페이지를 구성한다면 그렇지 않는 것과 비교해서 매출의 향상을 기대할 수 있을 것입니다.

꾸준히 A/B 테스트를 하다보면 비교하는 두 집단 사이의 어떠한 변수로 인해서 차이가 생기는 경우가 발생합니다. 두 집단에 어떤 점이 달랐기에 A라는 집단은 전환율이 128% 상승한 반면, B 집단은 21% 밖에 상승하지 않은 것일까요? 이런 것들은 모두 A/B 테스트를 통해 알아낼 수 있습니다.

A/B 테스팅을 통해 전환율을 극대화하는 효과적인 포인트들을 찾아낸다면 이는 결국 마케팅 전체 예산을 줄일 수 있는 방법이기도 합니다. 하지만 그렇다고 해서 모든 기업이 아무런 어려움 없이 A/B 테스트를 할 수 있는 것은 아닙니다. A/B 테스트에는 의미 있는 변화를 발견해내기 위해서 시간과 돈, 인력이라는 투자를 요구하기 때문입니다.

A/B 테스트는 비교적 간단해 보이지만 한 가지 문제가 있다. 빙이나 구글 같은 거대 웹사이트는 트래픽이 충분히 많기 때문에 링크 색이나 페이지 속도 같은 한 가지 요소에 대해 테스트를 하고 결과를 빨리 얻을 수 있지만 그렇지 않은 웹 사이트는 트래픽보다 테스트 할 것이 더 많을 수도 있다. 여러분은 웹페이지 색상, 클릭 유도 문구, 방문자에게 보여주는 사진을 테스트하고 싶을 것이다. 이런 경우 일련의 개별적인 테스트를 차례로 실시하면 학습 주기가 느려질 수 밖에 없다.