A/Bテスト有意差計算機
22 / A/B TEST

A/Bテスト有意差計算機

コントロール・テストのCVRを比較し、統計的有意差をZ値で判定します

コントロール（A）

テスト（B）

有意差判定
—
コントロールCVR —
テストCVR —
改善率 —
Z値 —

使い方

  1. 1コントロール（A案）の訪問者数とCV数を入力してください。
  2. 2テスト（B案）の訪問者数とCV数を入力してください。
  3. 3「計算する」をタップすると有意差判定結果が表示されます。
  4. 4Z値が1.96以上で95%有意、2.576以上で99%有意と判定されます。

計算式・考え方

Formula
コントロールCVR = コントロールCV ÷ コントロール訪問者
テストCVR = テストCV ÷ テスト訪問者
改善率 = （テストCVR − コントロールCVR）÷ コントロールCVR × 100
Z値 = （テストCVR − コントロールCVR）÷ √（p×(1-p)×(1/n1+1/n2)）
※ p = 合算CVR、n1・n2 = 各訪問者数

|Z値|≥1.96で95%信頼水準（p<0.05）、|Z値|≥2.576で99%信頼水準（p<0.01）での有意差ありと判定します。有意差ありの場合、B案の優位性は偶然でないと言えます。

よくある質問

AとBの差異が偶然でなく意味のある差である確率が十分に高い状態を指します。一般的に95%以上の信頼水準（p値0.05以下）で有意差ありと判断します。
Z値（Z統計量）は、2つのコンバージョン率の差が統計的にどれほど大きいかを示す値です。|Z値|≥1.96で95%信頼水準、|Z値|≥2.576で99%信頼水準での有意差ありと判定します。
一般的に各バリアントで最低1,000〜5,000のセッションが必要です。検出したい改善率が小さいほど、またCVRが低いほど大きなサンプルが必要になります。
有意差なしはテスト失敗ではありません。サンプル数が不足している場合は測定を継続し、一定期間後も有意差が出ない場合は仮説を見直して新たなテストを設計することをお勧めします。
改善率はテスト群のCVRがコントロール群に対して何%向上したかを示す数値です。有意差はその差が統計的に信頼できるかどうかの判定で、改善率が高くても有意差がなければ偶然の可能性があります。

関連ツール

損益分岐点計算機 粗利・利益率計算機 原価率・掛け率計算機 採算ライン計算機 値上げ影響シミュレーター 売上目標逆算計算機 数量割引計算機 在庫回転率計算機 売掛金回収率計算機 キャッシュフロー計算機 ROI計算機 減価償却計算機 法人税計算機 MRR・ARR計算機 チャーンレート計算機 LTV計算機 リピート率・継続率計算機 ROAS計算機 CPA・CPC計算機 広告予算配分計算機 コンバージョン率計算機 CAC計算機 NPS計算機 アップセル効果計算機 SNSエンゲージメント率計算機 メルマガ指標計算機 市場シェア計算機 会議コスト計算機 フリーランス単価計算機