John Tantillo explains how to know when an A/B test is statistically significant. Use a p-value threshold of 0.05 for 95% confidence, run at least 8,000 people per group, and wait about a week before drawing conclusions. Stop testing early and you'll fool yourself.
AB 테스트 3일 돌렸는데 반이 30% 더 좋다고요? 잠깐만요, 이 차이가 진짜일까요? 아니면 그냥 운일까요? 핵심은 통계 유의성입니다. P-value가 0.05 이하여야 95% 이상 확률로 진짜 차이에요. 그리고 각 그룹당 최소 8,000명 이상 데이터가 모여야 믿을 수 있습니다. 많은 마케터가 이틀 만에 결론 내려서 오히려 성과를 망치는 경우가 많아요. 실제로 3일 채 20% 차이 났던 테스트가 2주 후엔 단 3% 차이었던 사례도 있습니다. 최소 일주일 통계적 확신이 생길 때까지 기다리세요. Optimizely 같은 툴을 쓰면 자동으로 계산해줍니다. 데이터는 충분히 모아야 진실을 말합니다. 더 자세한 내용은 프로필 링크에서 확인하세요.
