데이터 마케팅에서 A/B 테스트란 무엇일까?🧪

 

 

 

 

 

마케팅 업무를 하다 보면 디테일한 선택이 고민된 적이 있을 것입니다. 예를 들어 푸시 메시지에 느낌표를 붙여야 할지, 메시지가 좀 더 간결하고 짧아야 할지, 웹사이트 배너에는 어떤 색이 적절할지 등이 있죠.

 

누군가에선 별로 중요해보지 않을 수 있지만 이런 디테일한 요소 하나로 마케팅 캠페인의 성공과 실패가 나뉘기도 합니다. 문제는 이런 요소를 열심히 고민하다고 해서 확실한 답을 찾을 수 없다는 것입니다. 어떤 선택지가 정답일지 알 수 없다는 것이죠. 그렇다면 우리가 할 수 있는 것이 없는 것일까요? 

 

아니요! 그렇지 않습니다. 바로 테스트를 진행하는 것입니다. 우리에게 잘 알려진 A/B테스트와 다변량 테스트를 진행하여 정답을 찾아갈 수 있습니다.

 

 

 

데이터 마케팅에서 말하는 테스트란? (AB 테스트란?)

데이터 마케팅, CRM, 그로스 분야에서 말하는 테스트란, 보통 메시지 캠페인을 다양하게 변형하고 비교하는 것을 의미합니다. 메시지 문구, 색상, GIF 사용 유무와 같은 사소한 요소부터 심지어 제공 혜택 자체에서 차별을 두고 테스트를 할 수도 있습니다. 그리고 어떤 케이스가 반응이 가장 좋은지 데이터를 얻을 수 있습니다. 이를 통해 전체 고객에게 캠페인을 실제로 실시하기 이전에 가장 효과적인 구성을 알아낼 수 있습니다.

 

 

테스트에는 어떤 종류가 있나요?

A/B테스트, 다변량 테스트, 분할 테스트, 사용자 테스트, 설문 조사 등 여러 가지 유형의 테스트가 있으며, 이들 모두 동일한 목표를 가지고 있습니다. 바로 캠페인을 본격적으로 실행하기 이전에 유저에 대한 데이터 샘플을 먼저 채취하는 것입니다. CRM 분야에서는 A/B테스트와 다변량 테스트를 주로 다루고 있습니다.

 

• A/B 테스트: 굉장히 직관적인 이름인데요. 말 그대로 캠페인의 "A 버전"과 "B 버전"을 테스트하는 것입니다. 이 테스트의 가장 큰 강점은 바로 심플함입니다. 하나의 캠페인에 대해 하나의 변수를 테스트할 수 있습니다. 예를 들어, "지금 구매하시면 50% 할인!"이라고 적힌 이메일 제목과 "오늘 딱 하루만 반값"이라고 적힌 이메일을 동시에 발송하고 어떤 쪽이 반응이 좋은지 확인해볼 수 있습니다.
• 다변량 테스트(MVT : multivariate test): 다변량이란 "여러 개의 변수"를 의미합니다. A/B 테스트가 하나의 변수를 테스트하는 반면, 다변량 테스트는 여러 변수가 테스트합니다. 예를 들어, 이메일 제목과 CTA 버튼의 컬러가 어떤 영향을 미치는지 테스트한다면, 아래와 같이 네 가지의 이메일 케이스가 나올 것 입니다.

 

 

 

A/B 테스트가 캠페인의 개별적인 측면에 대한 예/아니오를 알 수 있는 반면, 다변량 테스트는 보다 다양한 케이스를 테스트할 수 있으며, 각 변수들이 어떻게 상호 작용하는지까지 알 수 있습니다. A/B테스트에서는 반응이 좋지 않았던 이메일 제목과 CTR컬러였는데, 다변량 테스트를 해보니 둘 사이에 의외의 시너지 효과가 있는 걸 확인할 수도 있겠죠.

 

 

 

 

 

얼마나 많은 유저에게 테스트해야하나요?

너무 많은 대상에게 테스트를 한다면, 테스트를 진행하는 의미가 없겠죠. 반대로 너무 적은 대상에게 테스트를 하면 신뢰도가 낮은 데이터를 얻을 가능성이 높습니다. 그래서 적절한 양의 데이터를 수집하는 것이 중요합니다. 일반적으론 10%가 적절한 수치입니다. A/B테스트를 한다면 메시지 A를 전체 사용자의 10%에게 보내고 메시지 B를 또 다른 10%에게 보내는 것을 권고합니다. 그런 다음 메시지 A의 반응이 더 좋으면, 나머지 80%의 사용자에게 메시지 A를 보내는 것이죠. 전체 유저의 10%는 통계적으로 유의미한 결과를 도출하는 것으로 알려져있지만 항상 그런 것은 아닙니다. 상황에 따라서는 더 깊은 고급 통계 방법을 사용해야할 수 있습니다.

다변량 테스트는 A/B 테스트에 비해 더 많은 테스트 트래픽량을 요구합니다. 기본적인 트래픽이 매우 많은 캠페인의 경우, 다변량 테스트를 시도해볼 수 있겠지만, 기본적으로 많은 트래픽을 테스트에 사용하기 때문에 최적화된 메시지를 받은 유저가 적어진다는 점은 감안해야 합니다.

 

 

 

 

적절한 테스트 주기는?

메시지 캠페인이 실시되는 한, 테스트는 계속 이루어지는 것이 좋습니다. 실제로, 지속적으로 캠페인 성공하는 기업은 지속적인 테스트를 진행하는 것으로 나타났습니다. 물론 일시적인 테스트를 진행하는 것도 가치가 있겠지만, 정기적으로 테스트를 실시하고 데이터를 지속적으로 확보한다면, 어떤 요소가 효과적이고, 앞으로 무엇을 더 테스트해봐야 하는지 꽤 잘 파악하게 될 것입니다.

 

 

 

 

실제 테스트는 어떻게 할 수 있나요?

Braze와 같은 CRM솔루션을 이용하면 손쉽게 테스트를 진행할 수 있습니다. Braze의 Canvas는 전체 캠페인을 한 눈에 볼 수 있게 해줍니다. 이를 통해 고객 접촉에 필요한 다양한 단계와 메시지를 쉽게 확인할 수 있습니다. 이러한 인터페이스는 테스트를 더욱 쉽게 만들어, 실시간으로 개선점을 찾을 수 있도록 도와주죠. 여러 구성원과 함께 복잡한 코딩 없이도 캠페인과 테스트를 관리할 수 있습니다. 다음은 일반적으로 A/B테스트를 진행하는 방식입니다.

 

• 마케팅 캠페인 생성하기 (ex. 이메일 캠페인을 만들기)
• 해당 캠페인 내에서 변형 케이스 만들기 (ex. 파란색 CTA이 있는 이메일과 빨간색 CTA이 있는 이메일을 각각 만들기)
• 캠페인 일정 설정하기 (ex. 내일 오전 9시 발송)
• 캠페인 타겟 세그먼트 설정
• 해당 세그먼트 내에서 테스트 대상 분류하기 (ex. 10%에게는 파란 CTA, 다른 10%에게는 빨간 CTA 발송)
• 캠페인 KPI 설정 (ex. 전환율, 클릭률 등 더 좋은 케이스를 판별하기 위한 기준 설정)
• 최종 검토, 실행, 결과 확인

 

 

 

마치며

A/B 테스트(혹은 다변량 테스트)를 고객의 마음을 이해하는 데 정말 큰 도움이 됩니다. 얻을 수 있는 가치에 비해 실행하기도 쉽죠. 단순히 직관에 의존하는 마케팅 방식에서 벗어나, 꼭 여러분의 마케팅에도 테스트를 접목해보시길 바랍니다.

 

 

 

 

 

 

 

 

더 알아보기

A/B테스트에 대해 더 깊은 인사이트를 발견하고 싶다면 아래 가이드북도 함께 참고해보세요!

 

▶ A/B테스트 마케팅 실전 가이드북

　- Braze Canvas Flow를 활용한 테스트 설계 방법

▶ Braze Canvas 활용 사례

　- 캔버스 구성 요소 특징 및 활용 시나리오

▶ 전달력을 높이는 메시징 전략 설계

　- 로스 채널 캠페인 메시징 전략 가이드

 

 

 

---

 

 

 

 

성공적인 A/B테스트를 실행하고 싶으신가요?

Braze 한국 공식 리셀러 Team MAXONOMY와 상의하세요!

♥ Braze(브레이즈)의 모든 것, 문의 및 무료 데모 시연 신청하기