反応率の非線形性を実際に測定するにはどうするか

主張の核

1. カテゴリー認知順位（1番手 vs 2番手 vs 3番目以降）による反応率の差は、比例的・線形的に下がるのではなく1→2番手で急落し2番手以降は緩やかに推移する非線形パターンを持つ。
2. この非線形性の実測はA/Bテスト単体では困難だが、特定の設計条件を整えることで近似測定は可能。
3. バナー広告CTRが1994年の44%から現在の0.05%へと崩壊した30年間のマクロトレンドが、この仮説の最大規模の傍証になっている。

新視点・未考慮の角度

1. バナー広告CTRの30年間の崩壊がマクロレベルの実証 — AT&T初のバナー広告（1994年）のCTR＝44%。現在の平均CTR＝0.05%（900分の1以下）。カテゴリー全体の新規性が失われた結果の最大規模の実測データ。
2. Metaのクリエイティブ疲弊モデルが実用的な測定フレームワーク — Analytics at Meta (2023): Fatigue Score 0.2単位でCTR平均-20%低下。接触頻度2.5超でCTR低下開始。クリエイティブを2週間ごとに更新するとCTR +30%回復。
3. 脳神経レベルで新規性への反応は明確に実証 — Frontiers in Psychology (2018): N2振幅（240〜270ms）が創造的・新規性の高いコピーで有意に高い。Nature Scientific Reports (2020): 新規性のある広告がN1-P2振幅を拡大。
4. 「新規性効果」と「カテゴリー認知順位効果」を分離するための2段階設計 — Step 1: 新規ユーザーのみ（カテゴリー未知群）をスクリーニングして純粋な新規性効果を測定。Step 2: 同一ユーザーを時系列で追跡し複数接触後の反応曲線の形状を記録。

強い反論

• ノベルティ効果がA/Bテスト自体の外部妥当性を破壊する逆説 — Kohavi et al. (Microsoft Research, KDD 2013): ノベルティ効果と初頭効果は実験期間中の処置効果が時間とともに変化する主要因。短期実験で観測された「1番手の高CTR」はカテゴリー認知順位の効果ではなく「見慣れないものへの一時的注意」の可能性を排除できない。
• カテゴリー新規性とブランド新規性の識別は実験設計レベルで解決不能 — JMR (2017): 被験者の評価が「カテゴリーに初めて接した」ことに起因するのか「ブランドに初めて接した」ことに起因するのかを分離しようとした際、両変数が共線形になり識別できないことを実験で示した。
• フィールド実験での広告測定誤差は実測値を信頼不能にする規模 — Gordon, Zettelmeyer et al. (Meta社内663件大規模RCT, 2019): 上部ファネル（認知・注意）での観察推定値の中央絶対誤差率は115%。

実用的な実験設計案（3パターン）

• 設計案A: カテゴリー事前知識スクリーニング型（ラボ） — 事前調査で未認知群（0〜2点）と認知済み群（7〜10点）に分類→同一広告を1/2/4/8回提示→各回後にクリック意向を計測→両群の反応曲線の形状を比較。メリット: カテゴリー新規性を直接統制。デメリット: ラボ環境の外部妥当性が低い。
• 設計案B: Metaクリエイティブ疲弊モデル流用型（フィールド） — 完全新規カテゴリー商品で広告出稿→同一ユーザーへの接触回数ごとのCTR・CV率をコホート別に集計→反応曲線の形状を推定→既存カテゴリー商品のデータと比較。
• 設計案C: シーケンシャル露出型パネル実験（最も厳密） — A群: カテゴリー教育→商品広告 / B群: 商品広告のみ / C群: カテゴリー教育済み競合後発ユーザー→商品広告。A-B差分＝カテゴリー教育の効果 / A-C差分＝1番手vs後発の差。

実事例

新規性の高いコンテンツの反応率実測

• Amazon Sponsored Brands Video (2021〜2022): 221,920広告主・消費者3億人超のデータ。動画+静止画併用でCTR +25%、前年同期売上 +10%。新フォーマットへの初接触がCTRを押し上げるnovelty premiumの現れ。
• TikTok広告「死の谷」(ACM 2024): 短尺動画広告の視聴離脱パターン分析。最初の25%時間帯で視聴者の80%以上が離脱。冒頭の新規性・フックが全体エンゲージメントを決定する構造を実証。

新しさが消えた後のCTR低下

• Metaのクリエイティブ疲弊定量研究 (2023): 接触1→4回でCTR 40〜60%低下（低品質クリエイティブ）。クリエイティブを2週間ごとに更新するとCTR +30%回復。
• リターゲティング広告のCTR崩壊: 同一クリエイティブで接触5日後にCTR 2倍低下。週次で20〜30%のエンゲージメント低下。CPA最大2〜3倍に上昇。

推奨文献（読む順）

1. Wearout or Weariness? — Chae, Bruno & Feinberg (2019, JMR) ／ 12,000ユーザー・400サイト超の実データで広告量の非線形パターンを実測。本テーマの最重要参考文献。優先度: 最高
2. Advertising Wearout: An Experimental Analysis — Craig, Sternthal & Leavitt (1976, JMR) ／ wear-outを実験室で再現した最初期の実証研究。優先度: 高
3. Novelty and Primacy: A Long-Term Estimator for Online Experiments — arxiv:2102.12893 (2021) ／ ノベルティ効果を補正するための長期推定量。短期A/Bテストの限界と回避策。優先度: 高
4. Close Enough? — Gordon, Zettelmeyer et al. (2022) ／ 663件の大規模RCTを基準として観察的手法との乖離を分析。優先度: 高

次の問い

1. 「カテゴリー認知順位効果」のフィールド実験を自社商材で組めるか？ — 「カテゴリーとしてまだ広く認知されていない商材」で設計案Bを実行する場合、どの指標で測定するか（CTR・購入率・CPA・バイラル係数）。
2. バナーCTR 44%→0.05%の崩壊カーブを当てはめると、新カテゴリーの「ゴールデン期間」は何年か？ — 新規性プレミアムが失われるまでの時間を推定し、先行者優位の有効期間とリスクをバランスさせる判断基準として使えるか。
3. TikTok「死の谷」パターンを広告レベルに応用すると何が変わるか？ — 最初の3秒に最大の新規性を集中させるという設計原則が、カテゴリー1番手戦略とどう組み合わさるか。