---

ニジボックスの案件事例やノウハウをご紹介！

---

マーケティング活動を進めていく際に欠かせないのは仮説の検証と効果測定です。
そして、実施した施策がうまくいったかどうかを知るには、統計的な検定が求められます。
また、その施策がうまくいったかどうかだけではなく、「なぜうまくいったのか」を分析する必要もあり、そのためにはより深い検証が必要です。

本記事では、仮説検証の手段の一つであるABテストと効果測定において欠かせない「有意差」について紹介します。

ABテストとは

ABテストとは、例えばキャッチコピー、メインビジュアルなどを二種類以上用意し、どれが効果があるか、実際にユーザーに提示することで効果を検証するテストです。
マーケティングに携わっていると、ABテストを実施する機会は珍しいものではありません。

マーケティング施策では「仮説検証」が欠かせません。
仮説に基づいて立案、実行された施策の「効果を検証」し、改善につなげます。

仮説立案時などには「複数の仮説が存在すること」もあります。
そこで、より高い成果を得られる仮説がどれかを検証するテストを実施してその効果を確認するケースがあります。

その代表的なものが「ABテスト」です。

ABテストの基本情報や種類、進め方などは下記の記事で解説しているので、併せてご覧ください。
■関連記事
ABテストとは？実施のメリットや具体的なやり方を注意点も交えて分かりやすく解説

ABテストを行う際に出てくる「有意差」とは

ABテストを実施してその結果を判定する際に、頻出する単語が「有意差」「有意差検定」です。

これは統計学用語で、「比較対象間に生じた差に意味があるのか」を問うものです。
明らかに意味がある差を「有意差」と呼び、効果測定の結果、目の前に出ている数字の「意味がある差があるかどうか」を判断するのが「有意差検定」です。

有意差の判定時は少ないサンプル数に注意

例えば、100人のユーザーにキャッチコピーA案のメールを、別の100人のユーザーにキャッチコピーB案のメールを送ったとします。
A案では4件のレスポンスがあり、B案では6件のレスポンスがありました。

数字だけを見ればB案の勝ちなのですが、この場合は「有意差がある」とみなすことはできません。

ABテストでは、サンプル数が少ない場合にはA/Bパターンの差が出ていたとしても一時的なものである可能性が高いため、サンプル数が少ない段階では判断しないように注意が必要です。
これが対象となったユーザー数がそれぞれ10,000人、レスポンス数がそれぞれ400件、600件だった場合、「確率的に偶然や誤差とは考えにくく、意味があると考えられる」とされ、有意差があると判定されます。

有意差検定をしないと何が問題なのか

有意差検定が行われないと、「本当は意味がない差」を意味があると判断してしまう危険性があります。
先ほどの例では、A案のキャッチコピーとB案のキャッチコピーでは、対象100人のテストでは有意差は出ませんでした。この結果で、「B案が優れている」と判断すると、「もしかしたら有効なA案」を排除してしまう危険があるのです。

マーケティングでは効果測定を欠かすことはできず、統計学がなければ効果測定ができません。
マーケティングを実行する際に、重要な仮説検証と効果測定において、「有意差」を理解しておくことは、非常に重要です。

有意差検定の基礎知識

有意差検定は、数学的に行われます。
少し専門的になりますが、有意差検定の基礎知識を紹介していきます。

有意差検定でよく使われる用語

出てくる用語は次のようなものです。

帰無仮説

検証したい仮説の逆の仮説。無に帰したい仮説。
否定するためにある仮説で、帰無仮説を否定することで対立仮説を照明する。
例）A案とB案に差がない

対立仮説

帰無仮説と対立する「仮説」。
例）B案の方がA案よりも有効

p値

帰無仮説が正しいとした場合に、観測値が得られる、もしくは観測値よりも極端な数値が得られる確率

有意水準

帰無仮説を否定するときに基準となる数値。％で表す。
p値＜有意水準のときに帰無仮説が否定される。
5%や1%を取ることが多い。

代表的な有意差検定の手法

有意差検定を行う手法の代表的なものとして「カイ二乗検定」「ペイズ検定」が挙げられます。

カイ二乗検定

カイ二乗（Χ2）検定は、帰無仮説が正しいと仮定した場合、検定統計量がカイ二乗分布に近づくような検定手法です。
別の言い方で「独立性の検定」といわれ、「独立性がある」＝関係がない、「独立性がない」＝関係があるとされます。

カイ二乗（Χ2）検定では、母集団が少ないときに許容誤差が大きくなり有意差が出にくいため、母集団が大きい場合に利用されます。
またエクセルで簡単に計算可能です。

ペイズ検定

カイ二乗検定は「母集団が少ないと判定できないケースが増える」という傾向がありますが、ペイズ検定は母集団のパラメータを確率変数とみなし、データを定数として扱うため、その課題を克服しています。
少ないサンプル数でも有意差判定が可能ですが、計算が複雑になります。

本項では専門的な言葉が頻出しましたが、これらの単語を知らなくても、概略として「有意差」「有意差検定」について理解していれば、困ることはないでしょう。

有意差検定ツールの紹介

有意差検定はABテストでは欠かせないのですが、数学的に少し難しいところが問題だといえます。
しかし、簡易的に有意差検定を行えるものから専門性が高いものまでさまざまなツールがあり、多くのツールでは有意差検定はコンピューターがやってくれるため、ツールを活用することで効率的にテストを進めることができます。

Web上で使える有意差判定ツール3選

簡易的に有意差検定を実施できるツールとして、ブラウザー上で数値を入力するだけのものがいくつか、提供されています。

1. ABテスト計算ツール

ABテスト計算ツールはWEBSITE PLANETが提供する有意差判定ツールで、母数とレスポンス数を入力するだけで判定してくれます。
また結果をグラフ化してくれるので、視覚的にも分かりやすくなっています。

2. ABテストカルキュレータ

AB テストカルキュレータはMomentive (maker of SurveyMonkey)が提供する有意差判定ツールです。
信頼度（有意水準）を設定できるようになっています。

3. ABテスト信頼度判定ツール

ABテスト信頼度判定ツールは株式会社真摯が提供する有意差判定ツールです。
入力とボタンのクリックのみで使用できるため、非常にシンプルで使いやすいです。

有意差判定ができるLPOツール2選

有意差判定を実施できるツールとして、LPOツールを活用することも可能です。
一般的なLPOツールには、基本的に有意差判定ができる機能があります。

1. DLPO

DLPOはDLPO株式会社が提供するLPOツールで、導入実績800社にも及ぶ有料のツールです。
LPOに求められるテスト、有意差検定が実施できるようになっています。
またAIを活用したパーソナライズ機能も提供しています。

2. KARTE Blocks

KARTE BlocksはKARTEが提供する有料のLPOツール＆ABテストツールです。
CMSに近い機能もあり、LPOツールとして多彩な機能を持っています。

まとめ

有意差と聞くと数学的な手法で行われるため、難しい、分かりにくいという声も多いかもしれません。しかし、マーケティング活動を行う上で、ABテストを避けて通ることはできず、ABテストにおいて有意差は重要です。
多くのツールでは、有意差検定はコンピュータがやってくれるため、この記事を参考に概略と重要性を把握しておきましょう。

また、ニジボックスでもABテスト実施による改善のご支援を行っております。

■ABテストを実施して、有料会員登録率を推定119%向上させたニジボックスの事例はこちら！
株式会社エアークローゼット　ユーザビリティテストと定量分析に基づいたCVR改善支援

ABテストのプランニングから実施、実施後の分析、改善までご支援可能なので、現状のサイトやサービスに課題感をお持ちの方はぜひお気軽にご相談ください！
お問い合わせはこちら

下記資料では、上記の事例以外にもニジボックスのご支援事例を紹介しています。
ご興味を持たれた方はぜひ、下記ダウンロードリンクよりご参照ください！