A/B 테스트 계산기 — 통계적 유의성
A/B 테스트 결과의 통계적 유의성을 확인하세요. 전환율·상승률·z 점수·p값과 쉬운 설명의 판정을 제공합니다.
🔒 모두 브라우저 안에서 동작합니다. 입력과 출력은 서버로 전송되거나 저장되지 않아 안전합니다.
합동 분산을 사용한 두 비율 z 검정(양측)입니다. p < 0.05이면 95% 수준에서 유의(90%: p < 0.10, 99%: p < 0.01)합니다. 통계적 유의성이 비즈니스 성과를 보장하지는 않습니다 — 상승 폭도 함께 확인하세요. 결과를 클릭하면 복사됩니다.
이 도구 소개
이 A/B 테스트 계산기는 두 버전의 차이가 실제인지 잡음인지 판정합니다. A와 B의 방문자 수와 전환 수를 입력하면 각 전환율, 상대적 향상(업리프트), 두 비율의 z검정과 p값, 차이의 신뢰구간을 계산합니다. 95% 수준에서 통계적으로 유의한지 분명히 알려 주고(90%·99% 기준도 표시), 직감이 아니라 근거로 결정할 수 있게 합니다. 모든 계산은 브라우저에서 로컬로 이루어집니다.
자주 묻는 질문
p값은 실제로 무슨 뜻인가요?
p값은 두 버전이 실제로 동일하다면 이 정도 이상의 차이가 우연히 나타날 확률입니다. p가 작으면(0.05 미만) 그런 차이가 우연으로는 드물다는 뜻이라 유의하다고 판정합니다. 이는 B가 A를 이길 확률도, 효과의 크기도 아닙니다. 트래픽이 충분하면 아주 작고 쓸모없는 개선도 유의할 수 있습니다. 유의성과 업리프트를 함께 보세요. 유의성은 효과가 실제인지, 업리프트는 도입할 가치가 있는지를 알려 줍니다.
유의해지자마자 테스트를 멈추면 안 되는 이유는?
반복해서 들여다보다 처음 유의해진 순간에 멈추면 거짓양성이 크게 늘기 때문입니다. 무작위 잡음은 놀랄 만큼 자주 일시적으로 0.05 선을 넘습니다. 표본 크기를 미리 정하고(표본 크기 계산기가 도움), 그 크기까지 돌린 뒤에야 결과를 읽으세요. 또한 요일·주말·월급날 효과가 승리 버전처럼 보이지 않도록 온전한 주기(몇 주)를 돌리는 것도 중요합니다.
입력한 트래픽 데이터가 컴퓨터를 벗어나나요?
아니요. z검정·p값·신뢰구간은 모두 브라우저 안 JavaScript로 계산되므로 입력한 방문자·전환 수가 전송·저장되지 않고, 불러온 뒤에는 오프라인에서도 작동합니다. 상업적 수치를 비공개로 유지합니다. 이 도구는 각 방문자가 한 번만 집계되고 독립적으로 배정된다고 가정합니다. 같은 사용자가 두 그룹에 모두 나타나면 검정의 전제가 깨집니다.