캠페인에서 Testing이란 뭘까요?

당신은 마케터로서 캠페인 하나를 기획하고 있다고 가정해보죠. 캠페인을 홍보하기 위한 푸시 알림에 느낌표가 포함되어야 하는지? 제목은 빠르고 간결해야 하는지, 아니면 좀 더 설명적이어야 하는지? 웹 사이트 배너가 적절한 파란색 음영인지를 고민하게 될겁니다. 

왜냐하면 귀하와 귀하의 동료 마케팅 담당자에게는 이러한 질문 중 일부가 얼마나 중요한지 알고 있으니깐요. 그리고 이러한 질문에 올바르게 답하면 성공적인 마케팅 캠페인을 만들 수 있다는 것을 알고 있습니다.

하지만 본인이 옳은지 어떻게 알 수 있을까요?

 

이러한 관점에서, 캠페인 성과를 극대화 하기 위해 지속적으로 테스트하고 있습니다.

 

테스트 란 무엇을 의미할까요?

테스트는 메시징 캠페인의 다양한 변형을 시작하고 비교하는 것을 의미합니다. 이러한 변형은 제목 줄, 색상 또는 GIF 사용과 같은 미적 세부 사항 또는 쿠폰 할인율과 같은 세부 정보가 다를 수 있으며 테스트는 어떤 변형에 잠재 고객이 가장 공감하는지 이해하는 데 필요한 데이터를 제공합니다. 이를 통해 전체 잠재 고객에게 캠페인을 실제로 시작하기 전에, 가장 효과적인 캠페인 유형을 파악할 수 있습니다.

 

그래서 어떤 테스트를 실행해야 할까요?

아래에 보면 여러가지 테스트 종류가 있습니다. 그들은 모두 같은 일반적인 목표를 가지고 있습니다. 즉, 대중에게 캠페인을 시작하기 전에 청중에 대한 귀중한 데이터 샘플을 제공하는 것입니다. 알아야 할 테스트와 이를 요구하는 상황은 다음과 같습니다.

• A / B 테스트 : 이 테스트는 캠페인의 'A 버전'과 캠페인의 'B 버전'을 테스트합니다. 단순함이 강점이기도 하죠. 예를 들어, "A / B 테스트는 효과적이고 재미있습니다!" 또는  "I ❤️️ A / B 테스트!"라는 이메일 제목을 테스트할 수 있습니다. 가장 많은 참여를 유도하는 것은 무엇일까요? (팁: 고객의 관심은 심장 이모티콘에 있습니다).

 

• 다변형(Multi-variants) 테스트 :  A / B 테스트에는 하나의 변수 변경이 포함되지만 다변수 테스트는 여러 변수를 변경합니다.

예를 들어 이메일 의 제목과CTA 버튼 변경이 전환에 미치는 영을 이해하고 싶을 수 있습니다.이 경우 네 가지 변형이 있습니다.

따라서 A / B 테스트는 캠페인의 특정한 측면에 대해 "예" 또는 "아니요"라는 답변을 제공하지만, 다변수 테스트는 보다 전체적인 수준에서 캠페인의 여러 버전을 비교하고 캠페인 내의 다양한 변수가 상호 작용하는 방식을 연구합니다.

캠페인의 이러한 변형을 보는 사람은 누구입니까?

또 다른 좋은 질문입니다. 이러한 변형을 모든 종류의 사용자에게 전송하는 경우 중요한 사용자 그룹에게 비효과적인 메시지가 송출될 수 있습니다. 그렇기 때문에 테스트를 위해서 사전에 적절한 양의 데이터를 얻는 것이 중요합니다.

일반적인 테스트의 법칙 : 전체 모수 중에 20%를 상대로 A / B 테스트를 진행합니다. 20% 중에 절반에게는 메시지 A를 보내고 나머지에게는 메시지 B를 보냅니다. 그런 다음 메시지 A가 효과가 좋으면 남은 전체 모수 80 % 에게 메시지 A를  전송합니다. 이러한 비율이 통계적으로 유의미한 "승자"를 산출하는 일반적인 방법입니다. 하지만 조금 더 종류에 따라 달리하는 고급 기법을 살펴볼 가치가 있습니다.

일반적으로 A / B 테스트는 통계적으로 유의미한 결과를 결정하기 위해 더 적은 트래픽을 필요로 합니다. 트래픽이 매우 많은 캠페인의 경우 통계적으로 유의미한 결과를 얻으려면 트래픽의 더 많은 부분에 집중해야 하지만 다 변수 테스트를 실행하는 것이 좋습니다.

 

테스트할 준비가 되었다면 다음 스텝은?

Braze와 같은 Customer Engagemnt Solution을 통해 테스트가 그 어느 때보다 쉬워졌습니다.고객 여정 도구 인 Braze Canvas를 사용하면 마케터가 한 곳에서 캠페인 전체를 쉽게 확인할 수 있습니다. 고객 지원에 들어가는 다양한 단계, 단계 및 메시지를 쉽게 시각화할 수 있습니다. 또한 이러한 인터페이스를 사용하면 테스트를 더 쉽게 수행할 수 있으므로 즉시 개선 작업을 수행하는 데 필요한 기능을 손쉽게 활용할 수 있습니다. 이와 같은 도구를 통해 약간의 코딩만으로 캠페인 또는 사이트의 다양한 버전을 빠르게 변경할 수 있습니다. 대부분의 경우 테스트는 다음과 같은 단계적 프로세스를 걸칩니다.

 

• 예를 들면 이메일 캠페인을 만든다고 가정해볼게요.

• 이 캠페인 내에서 변형(variants)을 만듭니다. 파란색 CTA 버튼이 있는 이메일과 빨간색 CTA 버튼이 있는 이메일을 만듭니다.

• 캠페인을 예약 발행하세요.

• 이 캠페인을 시작할 세그먼트를 선택하십시오. 일반적으로 위에서 다룬 타깃 고객의 통계적으로 중요한 부분입니다.

• 사용자를 변형으로 나눕니다. 전체 모수에서 20%에게만 보내거나 별도의 법칙으로 타깃을 설정하세요.

• 추적할 KPI를 파악하십시오. 이 캠페인을 본 후 사용자가 취해야 할 행동은 무엇입니까? 전환? 클릭률? 양자 모두?

• 결과를 검토하고 실행하고 확인하세요.

얼마나 자주 테스트해야 할까요?

실제로 지속적으로 성공적인 캠페인을 만드는 팀의 전략은 메시지와 캠페인의 테스트를 지속적으로 합니다.

테스트를 지속적으로 진행하면,  무엇이 효과가 있고 무엇이 더 많은 개선이 필요한지에 대해 끊임없는 피드백을 가질 수 있을 것입니다.