중요한 것은 ‘효율적인 비율을 찾는 것’

A/B 테스트는 두 개의 변형으로 어떤 옵션이 더 효과적인지 검증하는 것을 의미합니다. 단순해 보일 수 있지만, 막상 실무에서 수행해본다면 복잡하고 어렵게 느껴질 수도 있을 것입니다.

특히 검증 기간과 규모에 대해서는 많은 고민을 하게 됩니다. “며칠 동안 수행하는 게 적절할까?” “비용은 얼마까지 쓰면 적당할까?”와 같은 고민 말이죠. 기간과 규모에 대한 정답은 없지만, A/B 테스트의 수행 목적을 다시 떠올려본다면 ‘비즈니스에 어떤 옵션이 더 효과적인지 검증할 수 있는’ 정도를 목표로 한다면 적절할 것입니다.

무조건 오래, 많이 하는 것이 정답일까?

한번 예를 들어 볼까요? A와 B옵션을 각 100회씩 노출하여 아래와 같은 결과를 얻었습니다.

이를 보면 B가 더 효과적이라고 판단해 이후 B를 적용할 것입니다.

한 달 동안 주어진 노출 횟수 1만5000회 중 200회를 테스트에 사용했기 때문에 남은 노출수는 1만4800회 입니다. 여기에 B 옵션의 클릭률인 23%을 적용하면 남은 노출횟수에서 3,404회의 클릭을 얻을 것으로 기대됩니다. 따라서 테스트를 포함해 총 획득하는 클릭수는 3438회가 됩니다.

A/B테스트에서 100회가 아닌, 200회씩 혹은 300회씩 노출 테스트를 했다면 결과는 어떻게 달라졌을까요? 최종적인 클릭수는 더 줄어들었을 것입니다. 같은 방식으로 확인해볼까요?

💡 A/B테스트에서 시험 노출 횟수를 200회씩 설정할 경우

• 총 클릭수 : 3426 클릭률 22.84%

💡 시험 노출 횟수를 300회씩 설정할 경우

• 총 클릭수 : 3414 클릭률 22.76%

결과적으로 A/B 테스트로 소요한 노출 횟수가 많을수록 최종적으로 얻는 클릭수는 줄어든 것을 알 수 있습니다.

상황에 맞는 효율을 찾아야

앞서 언급한 바와 같이 규모와 예산에 정답은 없습니다. 하지만 무조건 오래, 많이 테스트하는 것보다는 최소한의 자원으로 빠른 실행과 판단을 내리는 것이 더 좋은 결과로 이어질 수 있습니다.

이처럼 한정된 자원 속 전체 가용 범위의 1~2% 정도만으로도 효율적인 판단을 내릴 수 있지만 이 또한 항상 정답은 아닙니다. 앱 서비스 디자인이나 신규 기능 배포의 경우 1~2%의 유저에게만 테스트를 거친 뒤 전체 유저에 오픈하는 것은 위험할 수 있겠죠.

결국 중요한 것은 현재 상황에서 주어진 자원을 이해하고 이를 바탕으로 가장 빠르게 좋은 결과를 도출할 수 있는 효율적인 비율을 찾는 것입니다.

👉 원문 링크: A/B 테스트에 너무 많은 공을 들이지 말아야 할 이유

자료출처 : [HOW TO 마케팅] A/B 테스트, 어떻게 해야 효과적일까? - DIGITAL iNSIGHT 디지털 인사이트 (ditoday.com)