얼마전 VCNC 엔지니어링 블로그에 Hbase 설정 최적화에 대한 글이 올라왔었습니다.
그에 이어 이번에는 VCNC가 그렇게 추출한 데이터에 기반해 어떤 분석을 하고, 어떻게 의사결정에 반영했는지에 대해 글을 써보려고 합니다.
여러 종류의 데이터가 있겠지만 그 중 저희 팀이 가장 많이 활용했던 rolling retention의 사용예시부터 먼저 공유하겠습니다.
I. 해외 진출 어디부터 하지?
비트윈은 단 둘이서만 사용하는 커플앱이라는 특성상 다른 SNS 만큼 파격적인 network effect를 가지고 있지 않습니다.
viral effect 만으로는 국내 밖에서의 성장은 더딜거라고 판단해 초기부터 해외 진출에 신경쓰기로 했습니다.
해외 앱스토어/구글플레이에 앱을 풀어두는 것 외에 실제로 마케팅에 시간과 돈을 태울 곳은 어디인가.
이를 고려할 때 객관적인 인구나 시장규모 외에 참고가 됐던 데이터가 저희 user의 retention 비교값이었습니다.
지금의 비트윈과 문화적으로 fit이 있는 국가일수록 retention도 더 높을 것이라는 생각 때문이었습니다.
retention 비교를 위해 정해진 기간 동안 나라 별로 유입된 사용자들의 첫 2달간 앱 사용 추이를 살펴보았습니다.
국가 별 데이터를 최대한 동일한 조건으로 바라보기 위해 특정 국가의 데이터에 영향을 줄 만한 요소가 없는 (e.g., 한 국가에서 유료 프로모션을 진행했다거나) neutral한 기간을 고르도록 노력했습니다.
데이터를 시각화하기 위해, X축은 ‘days after signup’, Y축은 ‘전체 가입자 대비 그 날 한번이라도 앱을 실행한 사용자의 비율’로 설정했습니다.
대충 아래와 같은 그림이 나옵니다. (상세한 숫자는 공개할 수 없어서 dummy 숫자를 이용한 예시 그래프를 대신 사용했습니다.)
그래프를 통해 간접적으로 지금 버전의 비트윈이 잘 통하는 나라와 상대적으로 그렇지 않은 국가의 식별이 가능합니다.
예를들어 비트윈의 경우에 생각보다 retention이 낮았던 국가는 중국이였는데요.
100명의 유저가 똑같이 유입된다고 가정 시, 5일 후 active user를 비교하면 일본 유저가 중국 유저의 2배 이상 남아있을 정도였습니다.
그 이유로 여러가지를 유추해볼 수 있을 것 같습니다.
중국 유저들이 원체 하나의 모바일 서비스에 높은 충성도를 보이지 않을수도 있겠고, 커플앱이라는 컨셉과 중국문화의 fit이 좋지 않을 수도 있습니다.
저희의 내부적인 가설은 중국 내 낮은 스마트폰 user penetration이 큰 이유일 것 이였습니다.
비트윈 가입 후 상대방과 연결하려고 보니 상대방은 스마트폰을 사용하지 않는 경우에는 retention이 떨어지는거죠.
이 가설이 사실이라면 “다운로드 후 가입률”, “가입 후 연결률”, “연결 후 사용률” 중 연인 두명 모두 스마트폰이 있어야 가능한 “가입 후 연결률”이 특히 떨어지게 될 텐데요.
더 자세한 cohort 분석을 통해 이 가설이 어느 정도 사실임을 확인할 수 있었습니다.
II. 어떤 매체에 유료 광고를 내야하나?
유료 프로모션을 고려할 때 중요한 metric은 user acquisition cost입니다. (user acquisition cost: 한 명의 유저를 유입시키기 위해 드는 평균 비용.)
예를들어 모바일 게임이 CPI 광고 플랫폼 사용해 다운로드를 기준으로 user acquisition cost를 계산하면 200원-300원 정도일 것 입니다.
서비스의 성향과 가장 맞는 유저가 모여있는 매체에 광고를 하면 CTR 및 conversion도 높아지고, 당연히 유저 하나를 유입하는데 지출해야할 비용도 낮아질 것입니다.
결국 전체 마케팅 비용의 낭비를 막기 위해서는 초반에 여러 매체를 테스트해보고 효율적인 광고 포트폴리오를 짜는 것이 중요합니다.
이제 막 유료 광고 채널에 대한 스터디를 시작한 저희는 진정한 user acquisition cost 계산을 위해 retention data를 이용하기로 했습니다.
다운로드 하나 당 지불해야 하는 금액이 아니라 active user 당 금액을 기준으로 삼기로 한 것이죠.
이를 위해서는 다음과 같은 분석이 필요했습니다.
1. 주요 기준 별 데이터 모집
위 그래프에서 각 주 별 혹은 월 별로 유입된 유저 cohort의 rolling retention이 한 눈에 들어옵니다.
이를 (a) 국가별로, (b) 디바이스별로, (c) 내부 active user를 나누는 기준별로도 나눠볼 수 있습니다.
(c)의 경우 active user를 기간 내 한번이라도 앱을 실행한 유저, 메시지를 보낸 유저, 사진을 보낸 유저 등으로 정의할 수 있습니다.
2. 주간 cohort 별 retention 비교
active user당 acquisition cost를 정확히 구하려면 광고로 유입된 유저만 분리해 사용추이를 분석해야겠지만 개발비용이 있어 이렇게까지 하진 못 했습니다.
보다 간단하게, 예를들어 광고를 진행한 주에 평소보다 100명의 유저가 더 유입되었는데, 1주일 후에 남아있는 유저는 평소보다 20명이 더 많았다면, 광고로 유입된 유저의 1주일 retention은 20%라고 단순 계산했습니다.
이렇게 active user 당 금액으로 광고 매체를 비교하면 다운로드를 기준으로 비교할 때와 광고 효과 순위가 다르게 나타날 수 있습니다.
비트윈을 사용할만한 유저가 가장 많이 모여있고, 이를 가장 효과적으로 보여주는 매체를 찾기 위해 이러한 분석을 반복해 시행하는 것이 필요할 것 같습니다.
결국 중요한 것은 active user 이기에..
rolling retention을 이용한 분석은 저희에게 다운로드 보다는 active user 숫자가 더 중요하다는 것을 수시로 리마인드 해주고 있습니다.
앞으로도 비트윈의 주요 마일스톤 및 목표를 다운로드 기준보다는 active user 기준으로 설정하고, 이를 달성하기 위해 보다 정교한 rolling retention 분석을 시행할 수 있는 선순환구조를 만들어 나가기 위해 노력해야할 것 같습니다.
위의 예시들은 어디까지나 비트윈의 데이터 서버 설정에 최적화되어 있는 분석방이고 저희도 내부적으로 계속 시행착오를 해나가고 있기 때문에, 완벽한 분석 방법은 아니란걸 말씀드리고 싶네요.
궁금한 점이나 잘못된 부분이 있으면 언제든지 답글로 달아주시길 바랍니다 ^^.
감사합니다!
글 : 박재욱(VCNC)
출처 : http://blog.vcnc.co.kr/134
You must be logged in to post a comment.