広告の増分は、測り方で符号まで変わる：GoogleとeBay、2つの公開実験の読み方

広告の増分（インクリメンタリティ）とは

広告の増分（インクリメンタリティ）とは、広告を出した場合と出さなかった場合の差分、つまり広告がなければ起きなかった成果のことです。増分、インクリメンタリティ、リフトなど呼び名は分かれますが、指しているものは同じ差分です。管理画面の成果には、広告がなくても起きた分が混ざります。増分を測るとは、その混ざりを実験で外すことです。

この記事で並べる2つの実験は、どちらも「広告を止めて、何が残るか」を見た公開実験です。片方はクリックが増分だったと報告し、もう片方は売上ベースの短期ROIがマイナスだったと報告しています。管理画面のROASの数字がどこまで事実か、という切り分けはROASの悪化の切り分けで扱いました。この記事はその次、「残った効率の数字に、増分はどれだけあるか」の話です。

なぜ同じ検索広告で、増分の符号まで割れるのか

1　Googleの実験：クリックの平均89%が増分

Google Researchの公式ブログは2011年7月21日に、Search Ads Pause Studiesという実験の結果を公開しました。広告を停止したアカウントを対象とする400件超の実験から、検索広告由来のクリックのうち、業種を横断した平均で89%は、広告を止めてもオーガニックのクリックでは置き換えられなかった、という報告です（Google Research Blog、2026年10月16日取得。英文は原文［2］に置いています。訳は私たちのものです）。この報告は約15年前のもので、測ったのは売上ではなくクリック、実験を行ったのは広告を販売する当事者であるGoogle自身です。つまり89%は「広告を止めたとき、オーガニックが肩代わりしない割合」であって、そのクリックが売上をどれだけ増やしたかは、この報告の範囲の外にあります。

2　eBayの実験：短期のROIは−63%

一方、eBayの研究チームとシカゴ大・UCバークレーの研究者は、eBay自身の検索広告を止める一連の大規模実験を行い、NBER（全米経済研究所）のWorking Paper 20171（2014年5月）として公開しました。査読を経た版はEconometrica誌（2015年1月、vol.83）に掲載されています。この論文は、従来型の回帰（OLS）で計算すると、検索広告のROIは時間と地域の統制なしで4,100%超、統制ありでも1,400%超に見える、と報告しています。一方、内生性を統制した実験の方法で測ると、短期のROIは−63%、95%信頼区間は−124%から−3%でした。このチャネルが正のリターンを生むという仮説は棄却される、というのが論文の結論です（NBER Working Paper 20171、p.5。2026年10月16日取得。英文は原文［1］に置いています。訳は私たちのものです。本稿のページ番号は誌面に印字された番号で、PDFの通しページとは2ページずれます）。

4,100%超と−63%は、同じ会社の同じ広告費を、別の方法で測った数字です。桁が変わったのではなく、符号が変わっています。発表は約12年前（Working Paper基準）ですが、この論文が示した「相関と因果の取り違えがROIの符号まで変える」という構造は、測り方の問題なので、広告の画面が変わっても残ります。

3　矛盾ではなく、測っているものが違う

2つの実験は、指標・対象・実施主体の3つが違います。Googleの89%はクリックの増分率で、広告を売る側が多数の広告主を横断して測った平均です。eBayの−63%は売上ベースの短期ROIで、広告を買う側の1社を研究者が測った実測です。クリックが増分でも、そのクリックが「広告がなくても買った人」のものなら、売上の増分にはなりません。どちらかが誤りなのではなく、別の問いに答えています。この整理は私たちのもので、両実験が互いに言及しているわけではありません。

eBayの実験は、何を示したのか

1　ブランド語：止めたクリックの99.5%が自然検索に置き換わった

eBayは、自社ブランドに関連する検索語（ブランドキーワード）の広告をYahoo!とMSNで停止しました。論文は、ブランド語の有料検索を止めたことで失われたクリックのほぼすべて（99.5%）が、同じ検索プラットフォームの自然検索のクリックに即座に置き換わった、と報告しています（NBER Working Paper 20171、p.8。2026年10月16日取得）。ブランド語の検索では、その企業のサイトが通常は自然検索の最上位にある、という前提も論文に書かれています（同論文、p.4）。失われたクリックは全クリックの0.5%で、有料クリックの約1.5%にあたる、という補足も脚注にあります（同論文、p.8の脚注16）。要旨の言い方では、ブランドキーワード広告には測定可能な短期の効果がない、です（同論文、要旨ページ）。

2　ノンブランド語：止めても売上への効果は有意でなかった

ブランド語以外では、eBayの米国トラフィックの30%をランダムに抽出し、その範囲でノンブランドの全キーワードの入札を60日間止めました（NBER Working Paper 20171、p.4、2026年10月16日取得）。結果は、検索広告が売上に与えた効果はとても小さく、統計的に有意でなかった、というものです（同論文、p.4）。この売上ベースの結果と公開されている支出・収益のデータから計算されたのが、先ほどの短期ROI −63%（95%信頼区間 −124%〜−3%）です（同論文、p.21のTable 4）。

3　誰に効いたか：新規には効き、ヘビーユーザーには効かなかった

効果はユーザーによって割れています。論文は、検索広告が新規登録ユーザーの増加と、前年に1〜2点しか買わなかったユーザーの購入増加には統計的に有意に寄与した一方、それより頻繁に買う消費者の購買行動には有意な効果がなかった、としています。そして、有料検索の成果とされる売上の大部分をヘビーユーザーが占めるため、短期のROIが負になった、と説明しています（NBER Working Paper 20171、p.4、2026年10月16日取得。原文［1］）。

平均が負でも、新規と低頻度のユーザーには効いていました。すでに知っている人の分が広告の成果として数えられていた、というのが負の平均の構造です。管理画面のROASが高い買付ほど、後者を多く含んでいる場合があります。

論文はこの割れ方を、広告は商品の特徴・場所・価格を知らない消費者に情報として届く、という広告観（informative view）と整合的だと位置づけています。そして、検索語なしで表示されるディスプレイ広告は、より説得的な役割を果たす可能性がある、とも述べています（同論文、p.4。可能性としての記述で、この論文がディスプレイ広告を測ったわけではありません）。

あわせて押さえる言葉

自社の増分は、どの順で確かめるか

1　ROASの内訳を、新規と既存で分ける

ここからは2つの実験の記述ではなく、私たちのやり方です。最初に、広告経由とされる売上を、新規の買い手と既存の買い手に分けます。eBayの実験で効果が出たのは新規と低頻度のユーザーで、負の平均を作ったのは既存のヘビーユーザーの分でした。自社の管理画面のROASが既存の買い手で埋まっているなら、増分は画面の数字より小さい可能性を先に疑えます。分け方は、受注台帳の初回購入日を鍵に、広告経由とされる成果のうち既存の買い手の割合を月次で出すところからです。

2　ブランド語の買付から検証する

次に、ブランド語です。eBayの99.5%という置き換えには、著名ブランドで、自然検索の最上位に自社サイトがある、という条件が付いています。自社ブランド語の検索結果で自社サイトがどこに出るかをまず確かめ、そのうえで増分を測ります。検証の設計は、期間を区切った停止か、地域や対象の一部だけを止める方法が、2つの実験の型です。止めた期間は、失った有料クリックと、オーガニック側で増えたクリックを対で記録します。eBayのブランド語の実験が見たのは、この対の置き換わりでした。やめてよいかどうかは、この検証の結果が決めます。

3　止めずに測る設計に移す

全体を止める実験は売上側のリスクを伴うため、恒常的には、配信対象の一部に意図的に届けない除外グループで増分を見る設計に移します。作り方はホールドアウトグループで扱っています。その手前の、管理画面の数字がどこまで事実かという切り分けはROASの悪化の切り分けが前段です。

4　報告の列を分ける

最後に、報告の表では、管理画面のROAS（その画面が見た関与の記録）と、実験で推定した増分（広告がなければ起きなかった分）を、別の列に分けて置きます。1つの数字に寄せようとすると、4,100%超と−63%のように方法の差が符号の差になったとき、どちらの数字を信じるかの議論になります。列を分けて、予算の意思決定には増分の列を使う。この置き方は私たちの整理です。

獲得したあとの数字を、どこから見るか。論点だけ先に揃えます。
ご相談は営業を受ける場ではありません。一行でも構いませんし、フォームは7項目・3分で送れます。

30分の相談を申し込む

広告の増分について、よくある質問

GoogleとeBayの実験は、どちらが正しいのですか？

比べているものが違うので、どちらかを選ぶ話ではありません。Googleの89%はクリックの増分率の業種を横断した平均で、広告を販売する当事者の実験です（Google Research Blog、2011年7月21日公開、2026年10月16日取得。訳は私たちのもの）。eBayの−63%は売上ベースの短期ROI（95%信頼区間 −124%〜−3%）で、同社1社を研究者が測った査読論文の値です（NBER Working Paper 20171、2014年5月、p.5、2026年10月16日取得。訳は私たちのもの）。クリックが増えることと、売上が増えることは別です。

自社ブランド名のキーワード広告は、やめてもよいのですか？

eBayの実験では、ブランド語の広告を止めると失われたクリックの99.5%が自然検索に置き換わり、要旨は、ブランドキーワード広告には測定可能な短期の効果がない、としています（NBER Working Paper 20171、2014年5月、p.8と要旨ページ、2026年10月16日取得。訳は私たちのもの）。ただしこれは、著名ブランドで自然検索の最上位に自社サイトがあるeBayの条件での結果です。自社で期間や対象を区切って検証してから決める、が私たちの推奨です。

eBayの実験結果は、自社にも当てはまりますか？

論文自身が条件を付けています。著者らの推測どおり、結果が大部分の消費者の検討対象に入っている他の著名ブランドにも一般化されるなら、インターネット広告への支出の多くは効果のピークを超えている可能性がある、としています（NBER Working Paper 20171、2014年5月、p.5〜6、2026年10月16日取得。訳は私たちのもの）。知名度の低いブランドや新規ユーザーには正の効果が出ており、当てはまりはブランドの知られ方で変わります。

管理画面のROASと、実験のROIは、なぜここまで違うのですか？

検索して買う人ほど広告もクリックするため、相関が因果に見えるからです。eBayの論文では、従来型の回帰（OLS）だとROIが4,100%超（時間と地域の統制なし）や1,400%超（統制あり）に見え、実験で内生性を統制すると短期ROIは−63%でした（NBER Working Paper 20171、2014年5月、p.5、2026年10月16日取得。訳は私たちのもの）。計測の欠落で数字が小さく出る問題とは別の、数字が大きく見える側の問題です。

広告の増分は、実験をしないと測れませんか？

増分は「出さなかった場合」との差分なので、どこかに比較対象が要ります。2つの公開実験はどちらも止めて測る型でしたが、全体を止めずに、配信対象の一部に届けない除外グループを常設して測る方法があります（この使い分けは私たちの整理です）。管理画面のアトリビューションの数字は関与の記録であって、増分の推定とは別物として並べて読みます。

まとめ

広告の増分とは、広告を出した場合と出さなかった場合の差分です。同じ「止めて測る」公開実験でも、Googleの報告はクリックの増分率が業種を横断した平均で89%、eBayの論文は売上ベースの短期ROIが−63%（95%信頼区間 −124%〜−3%）と、向きの違う結果を報告しています。

割れた理由は、測っているものの違いです。クリックか売上か、業種横断の平均か1社の実測か、広告を売る当事者か買う側と研究者か。eBayの論文では、従来型の回帰（時間と地域の統制なし）で4,100%超に見えたROIが、実験では符号ごと変わりました。

eBayの実験の中身は3つです。ブランド語は止めても失われたクリックの99.5%が自然検索に置き換わり、ノンブランド語は売上への効果が有意でなく、効いていたのは新規と低頻度のユーザーでした。ヘビーユーザーの分が広告の成果として数えられていたことが、負の平均の中身です。論文はこの割れ方を、広告は知らない人に情報として届く、という広告観と整合的だとしています。

自社で確かめる順は、ROASの内訳を新規と既存で分ける、ブランド語から検証する、止めずに測る除外グループの設計に移す、報告の列を増分とそれ以外で分ける、の4段です。eBayの結果には著名ブランドという条件が付くので、当てはめる前に自社の条件を確かめます。

自社のROASのうち増分がどれだけあるかを分ける作業は、受注データと配信設定の両方に触れる必要があります。測定設計から入る場合は、データ基盤・MAで支援範囲を確認できます。

出典と、書けなかったこと

引用した原文