인사이트

A/B 테스트 정의

A/B 테스트란?

이메일 마케팅에서 A/B 테스트란, 두 개의 구독자 그룹에 서로 다른 버전의 이메일을 발송한 후 더 나은 이메일 콘텐츠를 발견할 수 있는 방법론이자 콘텐츠 개선 방식입니다. 이메일 제목은 어떻게 지을지,  이메일 콘텐츠의 CTA에 어떤 문구를 쓸지 등 이메일 성과와 직접적으로 연관이 있는 요소들이 고민된다면 A/B 테스트를 통해 인사이트를 발견할 수 있습니다.

왜 A/B 테스트 기능을 써야 할까요?

A/B 테스트는 이메일 콘텐츠를 개선할 수 있는 효과적이고 효율적인 방법이기 때문입니다. A/B 테스트를 활용하면 뉴스레터의 성과를 개선하기 위한 가설의 결과를 감이나 추측에 의존하는 것이 아니라, 데이터를 기반으로 독자들이 반응하는 콘텐츠를 발견하고 이를 기반으로 이메일을 개선할 수 있게 됩니다.

 CTA 문구를 변수로 활용한 A/B 테스트 사례

스티비에서는 오픈율에 영향을 주는 ‘이메일 제목', ‘발신자 이름', ‘발송 스케줄'에 더불어 클릭률 및 전환율에 영향을 주는 ‘콘텐츠'까지 네 가지 항목의 A/B 테스트를 진행할 수 있습니다. A/B 테스트 성과를 비교하는 대시보드를 통해 두 콘텐츠의 성과와 통계 모두 용이하고요.

이메일 마케팅 A/B 테스트하는 방법

1. A/B 테스트 목적과 가설 수립하기

A/B 테스트를 잘 진행하기 위해서는 A/B 테스트를 왜 진행하는지 그리고 테스트를 통해 어떤 것을 발견하고 싶은지, 즉 목적과 가설이 중요합니다. 만약 우리 뉴스레터의 오픈율을 높이는데 메일머지 기능이 효과적인지 알고 싶다면 ‘이메일 제목에 이름 메일머지를 활용하면 이메일의 오픈율이 더 높아질 것이다'와 같은 방식으로 구체적이고 뾰족한 가설을 정해야 합니다. 가설이 명확할 때 이를 통해 얻는 인사이트 또한 명확할 수 있기 때문입니다.

A/B 테스트 항목별 가설 예시

- 이메일 제목: 이메일 제목에 이모지를 사용하면 이메일의 오픈율이 더 높아질 것이다.

-발신자 이름: 발신자 이름에 에디터의 실명을 사용하면 이메일의 오픈율이 더 높아질 것이다.

-발송 스케줄: 오전보다 오후에 이메일을 발송할 때 이메일의 오픈율이 더 높아질 것이다.

-콘텐츠: 본문의 CTA를 평서문이 아닌 의문형으로 작성할 때 클릭률이 더 높아질 것이다.

2. A/B 테스트 그룹 설정하기

스티비에서는 전체 구독자 중 일부를 테스트 그룹으로 설정해 A/B 테스트를 진행하고, 일정 시간 후에 테스트에서 성과가 더 좋게 나온 이메일을 나머지 구독자인 발송 그룹에 발송할 수 있습니다. 특정 모수를 대상으로 테스트를 진행하고 그 결과가 반영된 이메일을 나머지에게 발송하는 것이기 때문에 더 좋은 이메일 성과를 기대할 수 있습니다.

 전체 구독자 중 40%를 테스트 그룹으로 설정하고 60%를 발송 그룹으로 설정한 경우

3. A/B 테스트 항목 설정하기

가설을 바탕으로 ‘이메일 제목’, ‘발신자 이름’, ‘발송 스케줄’, ‘콘텐츠’ 중 원하는 항목의 A/B 테스트를 진행해 보세요. 이때 선택한 항목이 가설을 잘 증명할 수 있는 항목인지 확인해야 합니다. 앞서 설정한 가설인 ‘이메일 제목에 이름 메일머지를 활용하면 이메일의 오픈율이 더 높아질 것이다’를 증명하고 싶다면 A/B 테스트 항목을 ‘이메일 제목'으로 선택하고 아래 이미지와 같이 다른 메시지는 동일하되 이름 메일머지 포함 여부만 다르게 A, B 그룹을 설정합니다.

 A 테스트 그룹(상), B 테스트 그룹(하)의 이메일 제목

또한 이메일을 발송하기 전 발송 모달에서 테스트가 의도한 대로 잘 설정되었는지 다시 한번 확인합니다. 설정이 잘 되어 있다면 발송하기를 눌러 A/B 테스트를 시작합니다.

 A/B 테스트 설정을 확인할 수 있는 발송 모달

이메일 마케팅 A/B 테스트 성과 개선하기

A/B 테스트에서 인사이트 발견하기

A/B 테스트가 시작되면  전체 구독자가 아닌 테스트 그룹의 구독자에게만 이메일이 발송됩니다. 그리고 해당 그룹의 발송 결과는 A/B 테스트 결과에서 볼 수 있는데요. 테스트 그룹 A와 B의 발송 성공률, 오픈율, 클릭률, 수신 거부율 등을 볼 수 있고 오픈율을 기준으로 어떤 테스트 그룹이 오픈 성과가 더 좋은지 표시가 됩니다.

 (예시) 오픈과 클릭에서 더 나은 성과를 보여주는 테스트 그룹 B

A/B 테스트 결과 바로 적용하기

A/B 테스트 중 명확한 인사이트를 발견했다면 테스트를 중단하고 더 우수하다고 판단되는 테스트 그룹으로 발송그룹에게 이메일을 발송해 보세요. 물론 성과와 상관없이 원하는 테스트 그룹을 선택해 발송할 수도 있습니다.

 A/B 테스트를 중단하고 발송할 버전을 선택해 바로 발송하기

이렇게 발견한 인사이트는 다음 뉴스레터에 바로 반영할 수 있습니다. A/B 테스트를 반복적으로 진행하면 우리 뉴스레터의 구독자가 반응하는 뉴스레터의 패턴이나 공식을 데이터 기반으로 발견하고 실제로 적용할 수 있는 것이죠.

TIP. 만약 발송 시간을 구분하기 어렵거나, 구독자를 테스트 그룹과 발송그룹으로 분류하고 싶지 않다면, 구독자 전체를 두 그룹으로 나눠서 A/B 테스트를 진행해 보세요. 이 방식은 더욱 큰 모수를 바탕으로 테스트를 진행하기 때문에 더욱 명확한 결과를 얻을 수 있다는 장점이 있습니다.

이메일 마케팅 A/B 테스트 주의사항

A/B 테스트의 목적과 가설을 분명하게 세우기

A/B 테스트를 시작하기 전에 테스트를 진행하는 목적을 명확히 하고 그에 맞는 가설을 세워야 합니다. 예를 들어, 오픈율을 높이기 위해 A/B 테스트를 할 때, 가설을 ‘이메일 제목에 이모지를 많이 넣으면 오픈율이 높아질 것이다'라는 가설을 세우는 건 명확하지 않고 지속 가능하지 않다는 점에서 좋은 가설이 아닙니다.

하나의 A/B 테스트에서는 하나의 변수만 설정하기

하나의 A/B 테스트에서 여러 변수를 설정하면 어떤 요소가 결과에 영향을 미쳤는지 분석하기 어렵습니다. 클릭률을 개선하기 위해 ‘콘텐츠’ 항목의 A/B 테스트를 진행한다면 클릭률에 영향을 미치는 다양한 요소 중 하나의 변수만 선택해 테스트를 진행해 보세요.

A/B 테스트를 충분한 시간 동안 진행하기

연구에 따르면 2시간 동안 테스트를 진행했을 때 테스트 정확도는 약 80% 이지만 하루 동안 테스트를 진행하면 정확도가 99%까지 올라갑니다. 정확한 결과를 이끌어내기 위해 충분한 시간을 가지고 A/B 테스트를 진행하는 것이 좋습니다.

A/B 테스트의 최종적인 결론을 내리고 실제 마케팅에 반영하기

A/B 테스트는 그 자체로도 중요하지만 더 중요한 건 테스트를 통해 얻은 결과에서 인사이트를 얻고 이를 바탕으로 이메일 마케팅 전략을 세우는 것입니다. 더 나은 이메일 마케팅을 하고 싶다면 지속적으로 A/B 테스트를 활용해 우리 구독자들이 좋아하는 것은 무엇인지 발견해 보세요.

자료출처 : A/B 테스트, 이메일 마케팅에서는 어떻게 할 수 있을까요? (openads.co.kr)