A/Bテスト計算 — 統計的有意性を判定
A/Bテストの結果が統計的に有意かを判定。コンバージョン率・上昇率・z値・p値と分かりやすい結論を表示します。
🔒 すべてあなたのブラウザ内で動作します。入出力データはサーバに送信・保存されないため安全です。
プールした二標本比率のz検定(両側)を使用します。p < 0.05 で95%水準の有意(90%: p < 0.10、99%: p < 0.01)。統計的有意はビジネス上の保証ではありません — 上昇率の大きさも確認しましょう。結果をクリックでコピー。
このツールについて
このA/Bテスト計算ツールは、2つのパターンの差が「本物」か「ただの偶然(ノイズ)」かを判定します。AとBの訪問数とコンバージョン数を入力すると、各コンバージョン率・相対的な改善率(アップリフト)・2標本の割合のz検定とそのp値・差の信頼区間を計算します。95%水準で統計的に有意かどうかをはっきり示し(90%・99%の基準も表示)、勘ではなく根拠で判断できます。すべてブラウザ内で計算されます。
よくある質問
p値は結局どういう意味ですか?
p値は、「2つのパターンが本当は同じだった場合に、これほど大きな差が偶然に生じる確率」です。pが小さい(0.05未満)と、その差は偶然では起きにくい、として「有意」と判断します。これは「BがAに勝つ確率」でも「効果の大きさ」でもありません。トラフィックが多ければ、ごくわずかで実用上無意味な改善でも有意になり得ます。有意性とアップリフトは必ずセットで読みましょう。有意性は「効果が本物か」、アップリフトは「導入する価値があるか」を教えます。
有意になった瞬間にテストを止めてはいけないのはなぜ?
何度も途中で覗いて、最初に有意になった瞬間に止めると、偽陽性(誤って「差あり」とする)が大きく増えるからです。ランダムなノイズは一時的に0.05線を越えることが驚くほど頻繁にあります。サンプル数を事前に決め(サンプルサイズ計算ツールが役立ちます)、そこまで回してから初めて結果を読みましょう。また、平日と週末、給料日などの効果が「勝ちパターン」に見えてしまわないよう、丸ごとの周期(数週間)回すことも大切です。
入力したトラフィックデータは端末の外に出ますか?
いいえ。z検定・p値・信頼区間はすべてブラウザ内のJavaScriptで計算されるため、入力した訪問数やコンバージョン数が送信・保存されることはなく、読み込み後はオフラインでも動きます。ビジネス上の数字を非公開に保てます。なお、このツールは「各訪問者が1回だけ数えられ、独立に割り当てられている」ことを前提とします。同じユーザーが両方の群に現れると、検定の前提が崩れます。