頭の整理にもなるので効果検証入門を読んだ所感と実務に使えそうな方法を整理してみました。
簡単に書籍の紹介
本書はバイアスがある中で、バイアスを取り除いた介入の本当の効果を調べる手法を紹介しています。
例えば、購買意欲の高いユーザに広告配信を行った場合の介入効果を見たいとします。このような状況下でT検定などを行い、介入グループと非グループで有意に効果を確認できたとしても、介入グループは、非介入グループより購買意欲が高いので、介入がなくてもより多く購買します(バイアス)。このような状況下でバイアスを除いた本当の介入効果を調べる手法を異なる前提条件を想定し紹介しています。
分析手法
実務で使うことを想定した際に分析手法別に使えそうか考えてみました。
RCT
次の記事に備忘録としてまとめました。
書籍メモ：効果検証入門 1章 セレクションバイアスとRCT - case-kの備忘録
難しいなあと思うのは実務だと介入効果の検証のために施策を制御することのハードルがある程度あるからです。RCTを設計し効果を検証すれば正値の効果を求められるとは思いますが費用対効果を除いた施策を実施するにはある程度ビジネス再度との調整が必要だと思います。RCTを行なわない方がキャンペーンとして効果が大きいのでなかなか難しいように思います
回帰分析
次の記事に備忘録としてまとめました。
書籍メモ：効果検証入門 2章 介入効果を測るための回帰分析 - case-kの備忘録
シンプルかつ、過去のデータも十分にある状況下では使えるように思いました。予測に対する説明力がわかれば良いので
傾向スコア
次の記事に備忘録としてまとめました。
書籍メモ：効果検証入門 3章 傾向スコアを用いた分析 - case-kの備忘録
介入がランダムに行なわれ、かつ過去データも十分ある状況下では使えるように思いました。ただ、現実問題介入はルールベースで行なわれる(機械学習で推定されたユーザセグメントを使う場合も同様)なので、実務ではなかなか使えない印象を受けました。
DID
次の記事に備忘録としてまとめました。
書籍メモ：効果検証入門 ４章 差分の差分法(DID)とCausallmpact - case-kの備忘録
キャンペーンなど介入前後の効果がわかるので、実務でも使える印象を受けました。試せたらと思います。
RDD
次の記事に備忘録としてまとめました。
書籍メモ：効果検証入門 5章 回帰不連続デザイン(RDD) - case-kの備忘録
ルールベースで介入が行なわれ、かつ過去データも十分あり、いくつかの仮定を満たす状況下では使えるように思いました。ただ、前提として満たす仮定が多く分析者の主観やデータの性質を調べる必要があり、実務ではなかなか使えない印象を受けました。
所感
実務に使えそうか考えてみましたが、自分の中ではDIDや回帰モデルの説明力による効果検証は使えそうな印象を受けました。ただ、回帰モデルもDIDもバイアスを取り除くために乖離を説明する変数をモデルに加える必要があり、推論モデルを作る力の必要性を感じました。その他の方法は実務に使うのは難しそうな印象を受けました。また、著者は予測ではなく、効果検証に置いてはモデルの予測能力は考慮しなくて良いと考えておりましたが、適切な共変量を選ぶことでバイアスを取り除けるなら、適切か判断する上でモデルの予測能力は一つの指標になるんじゃないかなあと個人的には思いました。推定精度の低いモデルは適切な共変量を選べてないため精度が低いくバイアスもあるじゃないかと思います。予測能力とバイアスの関係はRCTを正解として確認できると思うのでいつか試してみたいと思いました。
