LINE経由の申し込みはどう数えるか：管理画面の指標の分母と、14日・180日という2つの期限
LINE公式アカウントの管理画面で数えられるのは、配信したメッセージのリンクを最後にクリックして申し込んだ人の数です。分析の各指標は配信から14日、オーディエンスは新規作成から180日。マニュアル5ページから、社内の誰が見ても同じ数字を同じ意味で読める決め方を整理しました。
読むホールドアウトグループとは：配信しない群の作り方と、大きさ・期間・入れ替えの決め方
ホールドアウトグループとは、配信の対象に当てはまるのに、意図的にメッセージや広告を届けない人のまとまりです。配信を受けた人の売上には、配信がなくても買った人の分が入ります。株式会社SaaTsuは、その群を大きさ・期間・入れ替えの3つで決めていて、公式ドキュメントにある数字と、どこまで続けられるかを整理しました。次の配信にいくら使うかを決めるために、配信が動かした分だけを取り出す。それがこの記事の目的です。
売上が獲得と継続のどちらから来ているかは、顧客資産化診断で分解できます（7問・約3分）。
ホールドアウトグループとは
ホールドアウトグループとは、配信の対象に当てはまるのに、意図的に配信しない人のまとまりです。配信する側は「テストグループ」「トリートメント群」、しない側は「コントロールグループ」とも呼ばれます（「広告のオーディエンスと一致するものの、広告を見る機会が意図的に与えられなかった利用者のグループをホールドアウトグループ(コントロールグループとも呼びます)とします。」Meta「Facebook広告のテストにおけるリフトとホールドアウト」ビジネスヘルプセンター、2026年9月26日取得。原文［13］。「トリートメント群」はBraze「Global Control Group」の treatment group です）。
理由は1つです。配信を受けた人の数字には、配信が動かした分と配信がなくても起きた分が同居します。2つを分けるには、条件の揃った「配信しない人」を残しておきます。増分の割合を、配信した群の総イベント数のうち自然なユーザー行動ではなく配信に帰属できる割合、と置く定義も同じ考え方です（Braze「Global Control Group」Docs、2026年9月26日取得。英語。訳は私たちのもので、英文は原文［1］に）。
増分とは、配信した群と配信しなかった群の差です。一段ぶんを単価で見る話は限界CPAと増分CPAに。
なぜ「元々買う人」の分が混ざるのか
1 配信のレポートは、配信を受けた人を数えている
配信ツールのレポートが集計するのは、送った相手です。取れるのは配信・開封・クリックユーザー・コンバージョンユーザー・コンバージョン率などで、「各指標は、配信から14日間集計されます。（コンバージョンは計測期間に応じて更新されます）」とされています。14日で締まるのはコンバージョン以外で、コンバージョンには但し書きが付きます（LINEヤフー「分析 – メッセージ配信」マニュアル、2026年9月26日取得。原文［21］）。指標ごとに何を1と数えるかはLINE経由のコンバージョン計測の記事に。
ここで出てくる数字は、配信を受けた人がその後どう動いたかを示します。配信がなかった場合の動きは、その外です。
2 絞り込むほど、買う見込みの高い人が集まる
絞り込むのは自然な順番で、反応した人や買った人に寄せるほど1通の成果は上がります。名簿ごとに「「含める」「除外する」を選択します。」とあり、送らない人も決められます（LINEヤフー「絞り込み配信について」、2026年9月16日取得。原文［20］。1通に設定できるのは上限10個。原文［19］）。
絞り込みが効くほど、送る相手に買う見込みの高い人が集まります。狙いどおりで、そのぶん「配信がなくても買った人」の割合も上がります（私たちの見方）。成果が上がって見えるときほど、差を取る相手が要ります。
3 開封とクリックからは、この差が出てこない
差を取る相手を置いても、指標の選び方で使えなくなります。開封もクリックも、配信を受けていない人には起こりません。配信しない群の率は定義上0%になり、勝ち負けの判定に使えない、という注意書きも（Braze「Create multivariate and A/B tests」Docs、2026年9月26日取得。英語。訳は私たちのもの。原文［10］）。
差を取るなら、購入や申込のように、配信を受けていない人にも起こる出来事を指標に置きます。
算式はBraze「Global Control Group」の指標の定義によります（2026年9月26日取得、英文は末尾）。帯は模式で、コントロール群と同規模のトリートメントサンプルと比べる前提です
除外グループの作り方 ── 大きさ・期間・入れ替え
決めるのは大きさ・期間・入れ替えの3つ。ここから、その3つに公式ドキュメントの数字を当てます。英語の資料の訳は私たちのものです。
Braze・Google広告ヘルプ・Meta・LINEヤフーの4社の資料を読んで、私たちが3つに分けました（2026年9月26日取得）。入れ替えについて書いているのはBrazeです
1 大きさを、どう決めるか
群が小さいと、差が日々の揺れに埋もれます。挙げられている目安は2つ、1,000人を下回らないことと全体の10%を超えないことです（Braze「Global Control Group」Docs、2026年9月26日取得。原文［2］）。
母数が小さいときの扱いもあります。全体が1万人未満なら1,000人を超えるまで比率を上げ、それでも15%より高くはしない、規模が小さいほど統計的に厳密なテストは難しくなる、とあります（同Docs。原文［3］）。入力できるのも1から15の整数（同Docs。原文［8］）。
広告では、条件が群の大きさではなくアカウントの実績です。ユーザーベースのコンバージョンリフトには観測コンバージョン1,000件以上と予算5,000米ドル以上が要り、外す割合は1%〜50%で決めます（ブランドリフト・サーチリフトと併用する調査では30%のまま、という注記が同ページに。Google広告ヘルプ「Set up Conversion Lift based on users」英語版、2026年9月26日取得。原文［11］）。もう一方の目安は、過去1年以内に開始した消化金額5,000米ドル以上のキャンペーンと、クリックから1日間・クリックから7日間または表示から1日間のアトリビューション設定での最低500件のコンバージョン（90日超は案分）（Meta「コンバージョンリフトについて」ビジネスヘルプセンター、同日取得。原文［15］）。金額は米ドル建てで、円に直した額は為替で動きます。なお同ページ冒頭に、コンバージョンリフトは全アカウントで使えるものではなく、Googleの担当者に連絡する旨があります。
2 期間を、どこで切るか
期間の下限は、測りたい出来事が何回起こるかで決まります。出発点は1四半期（3か月）、1か月より短くはしない、とあります（同「Global Control Group」Docs。原文［4］）。
広告側の数字は、もっと短い側です。7日も許容されますが、通常は14日を超える期間が推奨され、コンバージョンラグが長く14日未満で回した調査で絶対リフトが最大17%下がる例を確認した、とあります（Google広告ヘルプ「Set up Conversion Lift based on users」英語版、2026年9月26日取得。原文［12］）。17%は条件が重なったときの下がり幅で、平均ではありません。もう一方のおすすめは28日間以上（Meta「コンバージョンリフトテストを設定する方法」ビジネスヘルプセンター、同日取得。原文［16］）。
3 入れ替えを、どうするか
同じ人を長く外し続けると、群がずれます。出し続けるほど配信した群から乖離してバイアスを生みうる、とあります（同「Global Control Group」Docs。原文［5］）。
逆に頻繁に入れ替えると、上限に当たります。入れ替えは月に1回を超えないようにする、とあります（同「Global Control Group」Docs。原文［6］）。Metaのビジネスヘルプセンターでも、割り付けられた利用者は「テスト期間中を通してそれぞれのグループに属したままとします。」とされています（「Facebook広告のテストにおけるリフトとホールドアウト」、同日取得。原文［14］）。
| 会社と資料 | 群と参加についての記述 | 期間についての記述 |
|---|---|---|
| Braze「Global Control Group」 | 1,000ユーザーを下回らない／全オーディエンスの10%を超えない／全体が1万人未満なら比率を上げ、15%より高くはしない／入力は1〜15の整数 | 1か月より短くしない／判断がつかなければ1四半期（3か月）から／入れ替えは月1回を超えない |
| Braze「Multivariate and A/B test FAQ」 | 以前にメッセージを受け取ったユーザーは後の配信でコントロール群に入らず、コントロール群のユーザーがメッセージを受け取ることもない／バリアントの比率が変わらなければ、コントロール群は一貫して保たれる | ─ |
| Google広告ヘルプ「Set up Conversion Lift based on users」（英語版） | 観測コンバージョン1,000件以上／キャンペーン予算5,000米ドル以上／ホールドバックは1%〜50% | 7日という短さも許容するが、通常は14日を超える期間を推奨 |
| Meta「コンバージョンリフトについて」 | 目安として、過去1年以内に開始した消化金額5,000米ドル以上のキャンペーン／最低500件のコンバージョン（90日を超えるキャンペーンは案分。原文［15］） | ─ |
| Meta「コンバージョンリフトテストを設定する方法」 | ─ | 予算5,000米ドル以上、期間28日間以上をおすすめ |
| LINEヤフー「オーディエンス」（LINE公式アカウント マニュアル） | ユーザーIDアップロードは1ファイルあたり150万ID、一度に5ファイルまで（上限10個は「メッセージ配信を作成する」の記述。原文［19］） | チャットタグとウェブトラフィック以外のオーディエンスは、新規作成から180日間有効 |
Braze と Google広告ヘルプは英語で、表に入れたのは私たちの訳です（英文は末尾の「引用した原文」に）。MetaとLINEヤフーは日本語のページから引いています。Metaの5,000米ドルは、上の行が過去1年の消化実績、下の行が推奨予算で、性質の違う条件です。記号（─）は、そのページからこの欄に引いた記述が無いことを示します。資料名と取得日は末尾に。
この記事に出てくる5つの言葉
| ① ホールドアウトグループ（この記事の見出しでいう「除外グループ」） | 配信の対象に当てはまるのに、意図的に配信しない人のまとまりです。「コントロールグループとも呼びます」とも案内されています（Meta「Facebook広告のテストにおけるリフトとホールドアウトについて」ビジネスヘルプセンター、2026年9月26日取得。原文［13］）。広告では、広告を見る機会を意図的に与えない群を指します。 |
| ② トリートメント群 | 配信した側の群です。Metaのヘルプでは「テストグループ」と呼ばれています。Global Control Group（グローバルコントロールグループ）のレポートでは、コントロール群と同じくらいの人数のトリートメントサンプルを別に取って比べる形になっています（Braze「Global Control Group」Docs、2026年9月26日取得。原文［1］）。 |
| ③ 増分 | 配信した群の結果から、配信しなかった群の結果を引いた差です。レポート指標では、総イベント数どうしの差として定義されています（Braze「Global Control Group」Docs、2026年9月26日取得。原文［1］）。 |
| ④ リフト | 2つの群のコンバージョン率の差を、コントロール群の率で割って百分率にした値です。「Change from Control」という名前で計算式が載っています（Braze「Global Control Group」Docs、2026年9月26日取得。原文［1］）。 |
| ⑤ オーディエンス | LINE公式アカウントで、配信先を指定するために作る名簿です。ユーザーIDのファイルをアップロードして作る型があり、1ファイルあたり150万IDまで、一度に5ファイルまで選べます（LINEヤフー「オーディエンス」マニュアル、2026年9月26日取得。原文［18］）。 |
続けられる期間から、運用をどう決めるか
私たちは、増分を測る設計と運用を引き受ける立場です。期間の数字を軸に並べると、実験期間の記述と名簿の有効期限が同じカレンダーに乗ります。
Google広告ヘルプ・Meta・Braze・LINEヤフーの各資料から会社ごとに並べました（2026年9月26日取得）。いちばん下だけ性質が異なります
1 期間を先に決めて、書き残す
終わる日は、始める前に決めます。早く終えること、有望なデータが見えた時点で終えることは、バイアスを持ち込みます（Braze「Global Control Group」Docs、2026年9月26日取得。英語。訳は私たちのもの。原文［7］）。始める前に長さを決め、その地点で終了して結果をまとめる、という手順も同じページに。
長さは、測りたい出来事の間隔から逆算します。セッションが毎日あるブランドは月に数回のブランドより短くて済みます（同Docs。原文［4］）。コンバージョンリフトでは、平均のコンバージョンラグ（インプレッションからコンバージョンまでの平均時間）を捉える長さにするとあります（Google広告ヘルプ、同日取得。原文［12］）。
2 180日の期限を、カレンダーに入れる
名簿にも寿命があります。LINE公式アカウントのオーディエンスは「「チャットタグオーディエンス」「ウェブトラフィックオーディエンス」以外は新規作成から180日間有効です。」とされ、期限切れは「有効期限がきれてから１か月後に自動で削除されます。」とあります（LINEヤフー「オーディエンス」マニュアル、2026年9月26日取得。原文［17］）。
出発点の1四半期（約90日。同「Global Control Group」Docs。原文［4］）は、この180日の内側です。1年を通して同じ名簿を置くと、途中で作り直す日が来ます。ユーザーIDのファイルが手元にあれば、同じIDで戻せます。
全体対照群にも作り直す手順があります。設定変更はいったん無効にして作り直す形で、その前のCSV書き出しが案内されています（同「Global Control Group」Docs。原文［8］）。どちらでも、名簿を手元に持っておくところは同じです。
3 全員に当てたい配信は、先に例外にしておく
全員に当てたい配信は実務にあります。タグで例外を決めれば、そのタグの配信は除外グループを使わず全員に届く、という設定が全体対照群にあります（この記事の除外グループとは向きが逆の機能です。同「Global Control Group」Docs。原文［8］）。
例外を先に決めれば、実験を途中で終えずに済みます（私たちの整理）。止めた日を記録すれば、その区間を集計の外に置けます。
4 入れ替えは、月1回を超えない範囲に置く
期間の下限（1か月）と入れ替えの上限（月1回）は同じ向きです（いずれも同「Global Control Group」Docsの記述。原文［4］・原文［6］）。月より短い区切りで組み替えると、実験1本の長さが足りません（私たちの整理）。
運用としては、四半期を1本の単位にして期末に入れ替える形が置きやすいと考えています（私たちの整理）。1四半期の出発点にも月1回の上限にも収まります。
5 コントロール群に配信しない
群を決めたあとに配信すると、その回の比較は成り立ちません。以前に受け取った人は後の配信でコントロール群に入らず、コントロール群の人が受け取ることもない、という仕様です（Braze「Multivariate and A/B test FAQ」Docs、2026年9月26日取得。英語。訳は私たちのもの。原文［9］）。メールや電話番号のような識別子を共有していると受け取った扱いになりうる、という注記も同じページに。
手作業で除外する配信面では、ここが要です。配信のたびに、除外の名簿が配信先に入っているか見ます。出し方はデータ基盤・MAに。
ホールドアウトグループについて、よくある質問
ホールドアウトグループとは何ですか？
ホールドアウトグループとは、配信の対象に当てはまるのに、意図的に配信しない人のまとまりです。Metaのビジネスヘルプセンターでは「広告のオーディエンスと一致するものの、広告を見る機会が意図的に与えられなかった利用者のグループをホールドアウトグループ(コントロールグループとも呼びます)とします。」と説明されています（「Facebook広告のテストにおけるリフトとホールドアウト」、2026年9月26日取得）。この差が、配信で増えた分です。
コントロールグループは、どれくらいの大きさにしますか？
目安は2つ、1,000人を下回らないことと全体の10%を超えないことです（Braze「Global Control Group」Docs、2026年9月26日取得。英語。訳は私たちのものです）。全体が1万人に届かないときは1,000人を超えるまで比率を上げ、それでも15%より高くはしない、とあります。
ホールドアウトのテストは、どれくらいの期間続けますか？
株式会社SaaTsuが読んだ3社の資料では、実験期間の記述は7日から1四半期まで幅があります。判断がつかなければ1四半期（3か月）から始めるのがよい出発点で1か月より短くしない、7日も許容するが通常は14日超を推奨、28日間以上をおすすめ、の3つ（Braze「Global Control Group」Docs／Google広告ヘルプ「Set up Conversion Lift based on users」英語版／Meta ビジネスヘルプセンター、いずれも2026年9月26日取得。英語資料の訳は私たちのもの）。LINE公式アカウントの180日は名簿の有効期限で、実験期間の記述ではありません。
LINE公式アカウントで除外グループを維持するときの注意点は何ですか？
オーディエンスの有効期限180日を、カレンダーに入れます。「「チャットタグオーディエンス」「ウェブトラフィックオーディエンス」以外は新規作成から180日間有効です。」とあります（LINEヤフー「オーディエンス」マニュアル、2026年9月26日取得）。ユーザーIDのファイルが手元にあれば作り直せます。
途中で良い結果が出たら、テストを終えてもいいですか？
早く終えること、有望なデータが見えた時点で終えることは、バイアスを持ち込みます（Braze「Global Control Group」Docs、2026年9月26日取得。英語。訳は私たちのものです）。始める前に長さを決め、その地点で終了して結果をまとめる、という手順も同じページに。
除外グループを置くと、損をしませんか？
増分の調査には機会費用が伴い、一部を広告から外すぶん増分コンバージョンを取り逃すことがあります（Google広告ヘルプ「Set up Conversion Lift based on users」英語版、2026年9月26日取得。訳は私たちのものです）。大きな予算判断の前にテストする、という実施頻度の考え方も同じページに。
まとめ
ホールドアウトグループとは、配信の対象に当てはまるのに、意図的に配信しない人のまとまりです。置けば、配信を受けた人の数字から配信がなくても起きていた分を切り分けられます。
決めるのは、大きさ・期間・入れ替えの3つです。目安は1,000人以上・全体の10%以内（1万人未満なら15%まで）。広告側は、Google広告ヘルプのアカウント要件で観測コンバージョン1,000件以上・予算5,000米ドル以上（Metaの5,000米ドルは過去1年の消化実績で、性質の違う条件です。各社の公式ドキュメント、2026年9月26日取得。資料名は末尾に）。
実験期間の記述と名簿の有効期限は、別の数字です。1四半期（3か月）・14日超・28日以上は実験の長さ、LINE公式アカウントのオーディエンス（チャットタグとウェブトラフィックを除く）の180日は名簿の有効期限。株式会社SaaTsuは、この2つを同じカレンダーに並べてから運用を決めます。
運用で守るのは、期間を先に決めること、入れ替えを月1回を超えない範囲に置くこと、コントロール群に配信しないことです。次の配信にいくら使うかを決めるために、配信が動かした分だけを取り出す。除外グループは、そのための道具です。
出典と、書けなかったこと
出典と注記を開く
出典
・Braze「Global Control Group」Braze Docs / User Guideページを見る ── Report metrics（Change from Control／Incremental Uplift／Incremental Uplift Percent の定義と計算式）、Reporting と Assign users randomly to the treatment group for reporting（トリートメントサンプルの取り方）、Testing best practices の Optimal control group size（1000ユーザー・10%・1万人未満のときの15%）、Experiment duration の Choose an ideal duration（1四半期・1か月）と tip（乖離とバイアス）、Try to limit ending experiments prematurely、Exclude users from the Global Control Group（入れ替えは月1回を超えない）、Making changes to your Global Control Group（無効化して作り直す・CSVの書き出し・履歴は保持されない）、Step 3: Assign exclusion settings（タグによる除外設定）、Troubleshooting（1から15の整数）。2026年9月26日に取得・Braze「Multivariate and A/B test FAQ」Braze Docs / User Guideページを見る ── How does Braze handle users who received a message variant in a recurring campaign or Canvas entry step?（以前にメッセージを受け取ったユーザーは後の配信でコントロール群に入らない旨、チャネル識別子の共有についての注記）。2026年9月26日に取得
・Braze「Create multivariate and A/B tests」Braze Docs / User Guideページを見る ── Step 4 の Control group（対象オーディエンスの一定割合をランダムなコントロール群に確保する旨、開封やクリックは勝ち負けの判定には使えないこと、配信しない群の率は定義上0%になること）。2026年9月26日に取得
・Google広告ヘルプ「Set up Conversion Lift based on users」Google Ads Help（英語版・hl=en）ページを見る ── Account threshold（観測コンバージョン1,000件・予算5,000米ドル）、Study duration（7日・14日超の推奨・14日未満で絶対リフトが最大17%下がる例）、Frequency for running Conversion Lift studies（機会費用）、ホールドバック1%〜50%、ページ冒頭の提供条件（Conversion Lift は全アカウントで使えるものではなく、Googleの担当者に連絡する旨）。2026年9月26日に取得
・参考（本文では未参照）：Google広告ヘルプ「About lift studies」Google Ads Help（英語版・hl=en）ページを見る ── How it works（オーディエンスを広告を見せる群と見せない群の2つに自動で分ける旨）。2026年9月26日に取得。読んだ範囲に含めましたが、本文・図・表のどこからも引用していません
・Meta「Facebook広告のテストにおけるリフトとホールドアウトについて」Metaビジネスヘルプセンター（日本語）ページを見る ── ホールドアウトグループの定義、リフトテストの手順（無作為に分ける・テスト期間中を通してそれぞれのグループに属したままとする）、リフトテストとA/Bテストの違いについての注。2026年9月26日に取得
・Meta「コンバージョンリフトについて」Metaビジネスヘルプセンター（日本語）ページを見る ── 目安としての消化金額5,000米ドル以上のキャンペーンと最低500件のコンバージョン、90日を超えるキャンペーンでの案分、シグナルの品質に関する要件。2026年9月26日に取得
・Meta「コンバージョンリフトテストを設定する方法」Metaビジネスヘルプセンター（日本語）ページを見る ── 設定手順の中の「予算を$5,000 USD以上、期間を28日間以上にすることをおすすめします。」。2026年9月26日に取得
・LINEヤフー「オーディエンス」LINE公式アカウント マニュアル（ページ表示「2025.09.01 更新」）ページを見る ── オーディエンスタイプの一覧、ユーザーIDアップロード（1ファイルあたり150万ID・一度に5ファイル）、オーディエンスリスト（チャットタグとウェブトラフィック以外は新規作成から180日間有効・期限切れから1か月後に自動削除）。2026年9月26日に取得
・LINEヤフー「メッセージ配信を作成する」LINE公式アカウント マニュアル（ページ表示「2024.04.16 更新」）ページを見る ── 配信先の設定（絞り込み選択時に上限10個までオーディエンスの設定が可能）。2026年9月26日に取得
・LINEヤフー「絞り込み配信について」LINE公式アカウント マニュアルページを見る ── オーディエンスごとに「含める」「除外する」を選択する旨。2026年9月16日に取得
・LINEヤフー「分析 – メッセージ配信」LINE公式アカウント マニュアル（ページ表示「2026.07.13 更新」）ページを見る ── 指標の一覧と定義（配信・開封・クリックユーザー・再生開始ユーザー・再生完了ユーザー・コンバージョンユーザー・コンバージョン率）、各指標は配信から14日間集計される旨。2026年9月26日に取得
・出典に挙げた12ページの取得方法は2通りです。Braze3ページ・Google広告ヘルプ2ページ・LINEヤフー4ページの計9ページは、curlでHTMLを取得し、本文の要素を切り出してテキストに起こしました。Meta3ページは、www.facebook.com がcurlにエラーページを返すため、ブラウザでページを開いて本文を取得しました。いずれも要約ツールは通していません。
書けなかったこと
・BrazeとGoogle広告ヘルプは英語で取得しました。本文と表と図に置いた日本語は私たちの訳で、英文は次の「引用した原文」にそのまま置いています。日本語のページから取り直したものではないため、各社の日本語版の言い回しとは異なります。・Google広告ヘルプは英語版（hl=en）で取得しています。日本語で逐語の引用が要る場合は、日本語版の取り直しが要ります。
・Metaはビジネスヘルプセンターのページをもとにしています。developers.facebook.com のマーケティングAPI側の日本語は、ページ冒頭に「このページのコンテンツは、AIを使用して英語から別の言語に翻訳されたものです。」と表示があるため、逐語の引用には使っていません。
・Google のコンバージョンリフトは、ページ冒頭に「全アカウントで使えるものではなく、Googleの担当者に連絡する」旨が書かれています。本文の数字は、参加できるアカウントでの条件です。
・LINE公式アカウントの機能について、この記事が扱ったのは「オーディエンス」「メッセージ配信を作成する」「絞り込み配信について」「分析 – メッセージ配信」の4ページに書かれている範囲です。それ以外のページや、Messaging API側のドキュメントは読んでいません。
・4社の数字を、優劣として比べていません。目的（配信ツールの全体対照群／広告の増分測定／配信先の名簿管理）も、単位（人数・件数・米ドル・日数）も違うためです。表と図の並び順は会社ごとで、大小の順ではありません。
・Googleの「最大17%」は、コンバージョンラグが長く14日未満で回した調査で確認された下がり幅として書かれている値です。平均でも、一般的な期待値でもありません。n数と対象期間は、このページには数値として置かれていないため、本文にも書いていません。
・Metaの5,000米ドル・500件は、ページに「目安として」と添えられた条件です。90日を超えるキャンペーンでは結果が案分されるとあり、180日のキャンペーンでは10,000米ドルと1,000件になる、という例が同じ段落にあります。
・金額はすべて米ドル建てです。円に直した額は為替で動くため、本文に円換算を置いていません。
・除外グループを置いたときに、売上が何%動くかは書いていません。出典のある実測値を私たちが持っていないためです。推計値も置いていません。
・「大きさ・期間・入れ替えの3つ」という整理は私たちのものです。4社の資料を読んだうえで、私たちが3つに分けたものです。入れ替えについて書いているのはBrazeで、各社の資料にこの3つが並んでいるわけではありません。
・図3の4本は、会社ごとに別々の資料の記述を1本の日数の軸に並べたものです。図2と図3の並べ方は私たちのもので、いずれかの資料にこの図があるわけではありません。図3のいちばん下のLINEヤフーの180日は、実験期間の推奨ではなく名簿の有効期限です。
・四半期を1本の単位にする、という運用の置き方は私たちの整理です。いずれの資料にも、四半期で区切ることを指示する記述は引いていません。
・BrazeのGlobal Control Groupには、APIキャンペーンが例外になる旨など、この記事で触れていない仕様があります。導入時には、Braze「Global Control Group」の important と note の各ブロックを併せてお読みください。
・ページ番号は、いずれもウェブページのため付けていません。各ページの見出し（セクション名）を出典欄に書いています。
引用した原文
原文を開く（21件）
［原文］引用した資料の記載
［1］Braze「Global Control Group」Report metrics ／ Reporting ／ Assign users randomly to the treatment group for reporting（英語。訳は私たちのもの）：「Incremental Uplift Percent | The percentage of your treatment’s total events that can be attributed to your treatment (versus natural user behavior). This is calculated by dividing incremental uplift (number) by the total number of events for your treatment group.」／同表「Incremental Uplift | The difference in total events between your treatment and control groups. … | Total events for treatment – total events for control」／同表「Change from Control | This calculates the uplift between the conversion rate for your treatment and control groups. | ((Treatment conversion rate – control conversion rate) ÷ control conversion rate) * 100」／Reporting「The Global Control Group Report allows you to compare your group against a treatment sample. Your treatment sample is a random selection of non-control users, approximately the same number of users as your control, generated using the Random Bucket Number method.」／Assign users randomly to the treatment group for reporting「Your treatment group is similar in size to your Global Control Group, but it is unlikely to be the exact same size. For reporting, Braze measures the behaviors of users in your control group and users in your treatment sample.」
［2］Braze「Global Control Group」Testing best practices ＞ Optimal control group size（英語。訳は私たちのもの）：「Two main rules to keep in mind:」「- Your control group should be no smaller than 1000 users.」「- Your control group should be no more than 10% of your entire audience.」
［3］Braze「Global Control Group」同節のつづき（英語。訳は私たちのもの）：「If you have a total audience that’s smaller than 10,000, you should increase your percentage to create a group of over 1000 users; in this case, you should not increase your percentage higher than 15%. Keep in mind that the smaller your overall workspace size is, the more challenging it is to run a statistically rigorous test.」／同節「- Some trade-offs to consider when thinking about your control group size are that you need a significantly large number of customers in your control group so that any behavior analysis created is trustworthy. However, the larger your control group is, the fewer customers are getting your campaigns, which is a downside if you’re using your campaigns to drive engagement and conversions.」
［4］Braze「Global Control Group」Experiment duration ＞ Choose an ideal duration（英語。訳は私たちのもの）：「How long to run your experiment before reshuffling control group membership depends on what you’re testing and what your users’ baseline behaviors are. If you aren’t sure, a good place to start is one quarter (three months), but you should not go shorter than one month.」／同節「Brands whose users have sessions every day can run shorter experiments than brands whose users have sessions only a couple of times a month.」
［5］Braze「Global Control Group」同節の tip（英語。訳は私たちのもの）：「The longer you hold the same control group out, the more they diverge from the treatment group, which can create bias. Resetting the Global Control Group rebalances the population.」
［6］Braze「Global Control Group」Exclude users from the Global Control Group（英語。訳は私たちのもの）：「You can’t remove specific users from the Global Control Group, but you can add exclusion settings so that campaigns and Canvases with specified tags don’t use the Global Control Group. You can also disable and re-enable your Global Control Group to shuffle membership. The ideal duration for shuffling users varies based on the type of test that you’re running, but try to shuffle no more than once a month.」
［7］Braze「Global Control Group」Try to limit ending experiments prematurely（英語。訳は私たちのもの）：「Decide how long to run your experiment before beginning it, and then only end your experiment and gather final results after you reach this pre-determined point. Ending your experiment early, or whenever you see promising data, introduces bias.」
［8］Braze「Global Control Group」Making changes to your Global Control Group ほか（英語。訳は私たちのもの）：「You can only make changes to your Global Control Group by disabling it and creating a new one.」「Before disabling your Control Group, export a CSV of users in that group in case you need to reference it at a later point. When you disable a control group, there is no way for Braze to restore the group or identify which users were in this group.」／Step 3: Assign exclusion settings「Use tags to add exclusion settings to your Global Control Group. Any campaigns or Canvases that use the tags included in the exclusion settings don’t use your Global Control Group. These campaigns and Canvases continue to be sent to every user in the target audience, including those in your Global Control Group.」／同ページの tip「You may want to add exclusion settings if you have transactional messages that should be sent to every user.」／Troubleshooting「This issue occurs if you enter a non-integer or an integer that is not between 1 and 15 (inclusive).」
［9］Braze「Multivariate and A/B test FAQ」How does Braze handle users who received a message variant in a recurring campaign or Canvas entry step?（英語。訳は私たちのもの）：「Control groups remain consistent if the variant percentage is unchanged. Users who previously received messages can’t enter the control group on a later send, nor can any user in the control group ever receive a message.」／同節の note「A user can be marked as having “received” a message if they share a channel identifier (such as an email or phone number) with someone who received, opened, or clicked the message.」
［10］Braze「Create multivariate and A/B tests」Step 4 ＞ Control group（英語。訳は私たちのもの）：「You can reserve a percentage of your target audience for a randomized control group. Users in the control group don’t receive the test, but Braze monitors their conversion rate for the duration of the campaign.」／同節の important「Using a control group when determining a winner by Opens or Clicks is not recommended. Because the control group won’t receive the message, those users cannot perform any opens or clicks. Therefore, that group’s conversion rate is 0% by definition and does not constitute a meaningful comparison to the variants.」
［11］Google広告ヘルプ「Set up Conversion Lift based on users」Account threshold ほか（英語版・hl=en。訳は私たちのもの）：「- Observed conversions: You must have at least 1,000 observed conversions. Conversions with supplementary data don’t count towards the minimum required conversions.」「- Budget: The study requires a minimum campaign budget of $5,000 USD.」／設定手順「- Update the size of the holdback by inputting a value from 1% to 50%.」「- Note: If you’re running studies with Brand Lift and Search Lift you must leave the 30% holdback.」／ページ冒頭「Conversion Lift isn’t available for all Google Ads accounts. To use Conversion Lift, contact your Google account representative.」
［12］Google広告ヘルプ「Set up Conversion Lift based on users」Study duration ／ Frequency for running Conversion Lift studies（英語版・hl=en。訳は私たちのもの）：「- Set your study duration to a length that captures your average conversion lag. This is the average time between an impression and a conversion.」「- We allow studies as short as 7 days but typically recommend more than 14 days. This is especially true if your business has a longer conversion lag.」「- Short purchase cycles, like ordering food, can run a short 7–14 day study. Expensive products, like travel accommodations, require more than 14 days.」「- We’ve found up to a 17% drop in Absolute Lift in studies with a long conversion lag that run for less than 14 days. Because of this, we recommend running your study for a minimum of 14 days.」／「- Every incrementality study comes with an opportunity cost. By holding back a portion of your audience from your ads, you might miss out on driving incremental conversions.」「- Test before you make major budget decisions or use studies to validate hypotheses from Media Mix Model results. This ensures the most accurate allocation of funds.」
［13］Meta「Facebook広告のテストにおけるリフトとホールドアウトについて」Metaビジネスヘルプセンター（日本語）：「Meta広告のインクリメンタル効果を把握するには、リフトテストを実施するのが効果的です。このテストでは、Meta広告を見る機会があった利用者のグループと見る機会がなかった利用者のグループの間で比較を行い、広告が特定のビジネスの目的(認知度や売上など)に及ぼした影響を把握します。広告のオーディエンスと一致するものの、広告を見る機会が意図的に与えられなかった利用者のグループをホールドアウトグループ(コントロールグループとも呼びます)とします。」／同ページの注「注: リフトテストはA/Bテストとは異なります。A/Bテストではホールドアウトグループを使用しないため、このグループに無作為に割り当てられた利用者に対して広告を見る機会を意図的に与えないということはしません。」
［14］Meta「Facebook広告のテストにおけるリフトとホールドアウトについて」リフトテストの手順（日本語）：「キャンペーンの対象となるオーディエンスを、テストグループとホールドアウトグループに無作為に分けます。これらのグループはFacebookが自動的に作成します。テストグループとホールドアウトグループに割り付けられた利用者は、テスト期間中を通してそれぞれのグループに属したままとします。」「これらの無作為化されたグループに基づいて、広告の配信をコントロールします。テストグループの利用者には広告を見る機会が与えられますが、コントロールグループの利用者には広告を見る機会が意図的に与えられません。」
［15］Meta「コンバージョンリフトについて」Metaビジネスヘルプセンター（日本語）：「目安として、コンバージョンリフトテストを行うには、過去1年以内に開始した、消化金額が$5,000(米ドル)以上のキャンペーンが広告アカウントに必要です。さらに、そのキャンペーンは、クリックから1日間、クリックから7日間または表示から1日間のアトリビューション設定で、最低500件のコンバージョンがある必要があります。90日を超えるキャンペーンでは、それらの条件を満たすために結果が案分されます。例えば、180日間実施するキャンペーンでは、$10,000(米ドル)と1,000件のコンバージョンが必要になります。」
［16］Meta「コンバージョンリフトテストを設定する方法」Metaビジネスヘルプセンター（日本語）：「[テスト詳細を確認]を選択して、テストの情報を確認します。注: 統計的優位性の確保の可能性を高めるために、予算を$5,000 USD以上、期間を28日間以上にすることをおすすめします。」（「統計的優位性」はページの表記のまま）
［17］LINEヤフー「オーディエンス」LINE公式アカウント マニュアル ＞ オーディエンスリスト：「保存されたオーディエンスはリストで表示されます。」「「チャットタグオーディエンス」「ウェブトラフィックオーディエンス」以外は新規作成から180日間有効です。」／ステータス「期限切れ」の説明「有効期限のきれたオーディエンスです。」「有効期限がきれてから１か月後に自動で削除されます。」
［18］LINEヤフー「オーディエンス」LINE公式アカウント マニュアル ＞ ユーザーIDアップロード：「「ファイルを選択」から、ユーザーIDのみを含むファイルをアップロードします。ファイルは一度に5つまで選択が可能です。」／アップロードに失敗するケースの一覧「・アップロードできるID数の上限 (1ファイルあたり 150万) を超過している場合 ※複数ファイルに分けることで150万以上のアップロードが可能です。」
［19］LINEヤフー「メッセージ配信を作成する」LINE公式アカウント マニュアル ＞ 配信先：「メッセージの配信先をすべてにするか、絞り込みを行うか選択可能です。」「※「絞り込み」選択時は、作成したオーディエンスを配信先に設定することもでき、 上限10個までオーディエンスの設定が可能です」
［20］LINEヤフー「絞り込み配信について」LINE公式アカウント マニュアル（2026年9月16日取得）：「配信先「絞り込み」を選択し、「オーディエンス」をクリック。」「オーディエンスはメッセージ一つに10個まで追加が可能です。」「選択可能なオーディエンスごとに「含める」「除外する」を選択します。 選択中の状態をもう一度クリックをすると選択を解除します。」
［21］LINEヤフー「分析 – メッセージ配信」LINE公式アカウント マニュアル：「「メッセージ配信」ではメッセージに関する以下の指標の統計情報が確認出来ます。」「各指標は、配信から14日間集計されます。（コンバージョンは計測期間に応じて更新されます）」／指標の表から「コンバージョン率 | コンバージョンユーザー数をクリックユーザー数で割った値です。」「配信 | メッセージが送信された人数」「開封 | メッセージを開封された人数」「クリックユーザー | メッセージ内のいずれかのURLをクリックした人数」
執筆者
永野 陽平
お問い合わせ
御社の現在地を教えてください。
7つの質問で、御社の顧客がいま資産に変わっているかが分かります。
3分・登録不要。結果を見てからご相談いただけます。