코호트 분석: 유저의 서비스 충성도 파악

앱의 장기적인 성공을 논하기 위해서는 단순히 앱 다운로드 수만 보아서는 안 됩니다. 유저가 앱을 자주 방문하도록 만들어야 합니다. 그러다 보니 유저가 얼마나 앱을 얼마나 활동적으로 그리고 자주 사용하는지 말해주는 지표들을 측정하여 봅니다. 예를 들면 DAU, MAU 등이 있을 것입니다. 하지만 이 지표들은 성장과 리텐션(유지)을 피상적으로 밖에 진단하지 못합니다. 사용자를 이해하기 위해서는 더 깊게 파고 들어갈 필요가 있습니다. 그래서 하는 것이 바로 코호트 분석입니다. 

코호트 분석은 시간을 두고 비슷한 그룹을 비교하는 것이다. 보통 제품을 만들고 테스트하는 과정을 계속 반복한다. 첫 주에 회원으로 가입한 사용자들의 사용 경험은 그다음 주에 가입한 사용자들과 다를 것이다. 예를 들어 여러분의 제품 사용자는 모두 무료 체험, 사용, 구매, 회원 탈퇴의 주기를 거칠지도 모른다. 그런데 이 주기 동안 여러분은 사업 모델을 수정할 수도 있다. 서비스 1개월째에 무료 체험 버전을 사용해본 사람의 사용자 경험은 5개월째에 무료 체험 버전을 사용해본 사람의 경험과 다를 것이다. 이것이 회원 탈퇴에 어떤 영향을 주었는가? 이를 알아내는 데 우리는 코호트 분석을 이용한다. 린 분석 60쪽 앨리스테어 크롤, 벤저민 요스코비츠 지음

코호트란 '특정 기간 동안 공통된 특성이나 경험을 갖는 사용자 집단'을 말합니다. 코호트 분석은 쉽게 말해 사용자를 그룹으로 나눠서 분석하는 방법으로, 주로 시간의 흐름에 따른 1) 사용자 유지 및 이탈 패턴이나 2) 집단 간의 상이한 행동 패턴을 파악함으로써 인사이트를 도출해 냅니다. 다만, 단순히 사용자를 구분한 세그먼트와는 달리 '특정 기간'과 '공통된 이벤트'로 유저를 그룹화한 것이 바로 코호트입니다. 방대한 양의 데이터를 분석한다고 해서 꼭 좋은 분석이 나오는 것은 아닙니다. 오히려 데이터의 함정에 빠질 수 있기 때문에, 데이터의 범위를 적절히 규정하고 적절히 분할하여 분석하는 것이 오히려 효과적인 데이터 분석을 이끌어내는 데 도움이 될 수 있습니다.

각 사용자 그룹이 코호트인데, 다시 말해 사용자 생애 주기의 여러 단계에 위치해 있는 실험 참가자들이다. 시간이 흐르면서 핵심 지표 값이 전반적으로 좋아지는지 알아보려면 코호트를 서로 비교하면 된다. 코호트 분석을 실시하면 상황을 훨씬 더 분명히 알 수 있다. 이런 종류의 분석을 통해 고객이 거치는 자연스러운 주기를 이해하지 못한 채 모든 고객을 무작정 나누는 대신 고객 생애 주기에 걸쳐 나타나는 패턴을 명확히 알 수 있다. 코호트 분석은 매출, 이탈률, 바이럴 효과, 고객지원 비용, 또는 여러분이 중요시 여기는 어떤 지표에 대해서든 실시할 수 있다. 린 분석 62쪽 앨리스테어 크롤, 벤저민 요스코비츠 지음

코호트 분석을 하면 특정 기간에 방문한 유저가 시간이 지남에 따라 서비스 참여도가 어떤 식으로 달라지는지 파악할 수 있게 됩니다. 단기적인 성과가 아니라 장기적인 관점에서 고객의 유지에 관해 고민할 수 있습니다. 코호트 분석은 성장 지표와 참여도 지표를 구분하여 인식할 수 있도록 도와줍니다. 이 말인즉슨, 종종 성장 때문에 참여도가 가려져서 참여도의 성과를 판단하기 어려울 때가 있습니다. 실제로, 서비스를 오래 사용한 유저의 소극적인 활동은 급격히 상승한 신규 유저의 확대로 가려질 수 있기 때문입니다.

 

코호트 분석의 예시

아래는 1월 25일부터 2월 3일까지의 기간 동안 앱을 처음 오픈하고 재 방문한 유저의 수를 비율로 나타낸 것입니다. 테이블을 해석해 봅시다. 1월 26일을 보세요. 그날 처음 앱을 연 유저는 총 1,358명입니다. 그다음 날인 Day 1은 1,358명의 31.1% 만이 앱을 다시 방문했습니다. 7일 리텐션(7일 후 방문율)은 12.9%이고, 9일 리텐션은 11.3%입니다. 이는 처음 앱을 사용한 날짜를 기점으로 7일 후면 앱을 사용한 사람 8명 중 1명 꼴로만 지속해서 서비스에 남아있다고 말할 수 있습니다. 참고로, 1월 25일부터 2월 3일이라는 기간 동안, 앱을 처음 오픈하고 7일 후까지도 재방문한 유저는 전체의 12.5% 정도였고, 10일 후까지도 재방문한 유저는 12.1%인 것을 확인할 수 있습니다.

위 테이블에서는 추가로 읽어낼 수 있는 것은 제품의 생애 리텐션과 유저의 생애 리텐션입니다. 세로열은 제품의 생애 리텐션을 말해줍니다. 시간이 흐르면서 서비스도 개선이 됨에 따라 1월 25일에 처음으로 앱을 오픈해 본 유저가 경험한 것과 2월 1일에 처음으로 앱을 오픈해 본 유저가 경험한 것은 상이할 것입니다. 앱을 처음 오픈했다는 점에서는 똑같은 생애 단계를 공유하는 집단이지만 서로 경험하는 것이 다르기 때문에 날짜별 유저들은 서로 상이한 코호트로 볼 수 있습니다. 만약 시간이 흐름에 따라 그다음 날 리텐션의 비율이 커지고 있다면(더불어 신규 사용자도 증가하는 추세라면), 이는 서비스 개선이 유저의 경험에 변화를 주고 있으며 재방문에 긍정적인 영향을 끼치고 있다고 볼 수 있습니다. 가로 열은 유저의 생애 리텐션을 말해줍니다. 1월 25일에 처음으로 앱을 오픈해 본 유저들이 시간이 흐름에 따라 서비스에 어떻게 반응하는지를 말해주기 때문에 유저의 생애 리텐션이라고 부릅니다. 제품의 생애 리텐션은 증가하고 있지만, 유저의 생애 리텐션은 하락하고 있다면 너무 단기적인 유저 경험에만 신경 쓰는 바람에 기존의 유저 경험 개선을 놓치고 있는 상황일 수도 있습니다.

 

코호트 분석을 하고자 사용자 집단을 구분해야 하는데, 무엇을 구분하지?

주로 사용자 유치 코호트(Acquisition Cohorts)와 사용자 행동 코호트(Behavioral Cohorts)를 살펴봅니다. 사용자 유지 코호트는 사용자가 처음 회원 가입한 날짜를 기준으로 유저를 나눕니다. 일별, 주별, 월별로 유저가 회원 가입한 시점을 트래킹 하여 사용자 유치 리텐션이 어떤 식으로 펼쳐지는지 살펴보면, 유저가 여러분의 어플을 처음 사용한 이후 N일까지 쓰는 시점을 파악할 수 있습니다. 사용자 행동 코호트는 특정 기간에 사용자가 하거나 하지 않은 행동으로 유저를 구분합니다. 어떤 행동이든지 행동 코호트의 측정 지표가 될 수 있습니다. 앱 설치, 앱 오픈, 앱 삭제, 구매 등 각종 앱 이벤트를 측정 지표로 삼으면 됩니다. 사용자 행동 코호트는 각 코호트 집단이 어떤 식으로 상이한 행동을 보이는지 패턴을 파악해 내기에 유용합니다.

 

사용자 유치 코호트 : 유저가 앱을 사용하기 싫어지는 시점 발견

1월 25일부터 2월 3일까지 기간동안의 전체 사용자의 리텐션율을 그래프화 하면 아래와 같습니다. 그래프로 보니 유저가 처음 앱을 오픈한 후 어느 시점에서 가장 많이 이탈하는지 확인하기 훨씬 쉬워졌습니다.

약 75%의 유저가 앱을 처음 사용하고 바로 그다음 날(Day 1) 이탈합니다. 그러고 난 후 약 5일 후(Day 7) 한 번 더 하락세를 보입니다. 이 그래프를 통해 유저가 앱의 핵심 가치에 빨리 도달하지 못한 것을 알 수 있습니다. 앱의 추구하는 가치를 유저가 빨리 알아차렸다면 앱에 흥미를 잃지 않으므로 그만큼 앱을 이탈하는 수가 적어집니다. 따라서, Day 1의 하락폭을 좁히기 위해서는 유저의 온보딩 경험을 개선시켜 유저들이 앱의 핵심 가치에 빨리 다다를 수 있도록 도와 앱의 재미를 찾게 해줘야 할 것입니다. 다만 이 코호트 그래프는 어느 시점에서 유저가 이탈하는 지를 말해줄 수 있어도, 왜 이탈하는지는 말해줄 수 없습니다. 그래서 그것을 파악하기 위해 사용자 행동 코호트를 분석하는 것입니다.

 

참고 : Cohort Analysis: Beginners Guide to Improving Retention