Marketing Solution Division所属の長谷井です。Marketing Solution Divisionでは、主にKDDI関連会社に対し、データ分析観点でのコンサルティング、ソリューションの提供などを行っています。
今回のトピック
マーケティングの領域ではユーザーに対して、施策を実施します。施策の結果を確認する際、効果検証は重要なプロセスです。効果検証を行う上で様々な手法が昔からあります。みなさんは差分の差分法（Difference in difference : 以下DIDと呼びます）という効果検証方法をご存知でしょうか？古くから存在し、認知されている手法で、アイデア自体はいたってシンプルです。本記事では筆者が過去分析案件でDIDを活用して効果検証を進めた経験を活かし、皆さんにその活用方法や注意点をお伝えします。
DIDとはなにか
こちらの過去記事でも記載している通り、効果測定では複数の個体に対してなんらかの介入をした時に、介入を受けていない個体との比較により介入の影響の大きさを推定します。
先述の過去記事では、介入群とその比較対象となる対照群の間でサンプルの特徴に偏りがある場合においてこれに起因するバイアスを除去するため、傾向スコアを用いて特徴の似たサンプル同士で介入効果を比較する方法を紹介しました。
しかしこの手法では、介入の影響範囲が広い場合にバイアスの除去が難しい問題があります。
例えば、対象の地域全体で販売促進施策を実施しており、施策対象と異なる地域の店舗を効果測定の比較対象とせざるを得ず、地理的な差に起因する影響を取り除くことが難しい、といったケースです。
このようなケースに対して、DIDでは目的変数の時系列推移が介入群と似ているグループを比較対象として、介入前後の目的変数の変化を比較することで対処します。
ここでは小売業における販売個数の効果検証を例に、DIDによる効果検証の方法について解説します。
DIDにおける検証では効果を測定したい施策対象に対し、その対象と同様のトレンドで推移することが見込まれる対照群を設定します。たとえば小売業で特定商品の売り上げを上げたい時に施策を打つとします。DIDで検証する場合、まずは店舗の最寄り駅からの距離や店舗所在地の地域特性、近隣で突発的なイベントの発生状況が類似している店舗を複数探し出し、施策を実施する店舗と実施しない店舗（対照群店舗）に分けます。その後、施策効果を以下の手順で計算します。
- 施策実施店舗と対照群店舗の施策前の売上差 （②－①）・・・A
- 施策実施店舗と対照群店舗の施策中の売上差（④－③）・・・B
- 上記の差 （B-A） ・・・施策効果
※図の見方
①：施策実施前の合計販売個数（対照群店舗）
②：施策実施中の合計販売個数（施策実施店舗）
③：施策実施前の合計販売個数（対照群店舗）
④：施策実施中の合計販売個数（施策実施店舗）
DIDを使う条件
DIDには比較対象の2郡が互いに平行なトレンドを持つという前提条件があります。つまり、DIDを行う前に2郡の平行トレンドを証明しないといけません。言い方を変えると、施策を実施した店舗と似たような販売個数のトレンドを持つ店舗を対照群としないと、比較できなくなります。平行トレンドは特定の期間の販売個数をグラフで可視化し、確認できます。たとえば以下の図のように、平行トレンドが成り立っている2店舗の販売個数は時間経過とともに平行に変化していきます。図ではわかりやすいように常に上昇するような例になっていますが、実際には販売個数は上がったり下がったりと波のようになるケースが多いです。
明らかに平行であれば、可視化するだけでも十分平行トレンドを確認できますが、目視で確認できるほど明らかな平行トレンドの見つけ出しが可能なケースは稀です。そこで、数値で確認できるユークリッド距離やコサイン類似度等を用いてこれらを確認し、トレンドがより似ている店舗を対照群とします。
DIDを実務で使う際に苦労する点
施策を実施する店舗と類似する対照群店舗は簡単には見つけられません。たとえば分析可能なデータの期間が限られている場合、トレンド確認に必要なデータが十分に確保できないかもしれません。もしくは十分なデータがとれていても、販売個数に大きな影響を与える突発的なイベントが一部の店舗に発生し、平行トレンドが確認できない場合もあります。想定外の事態にDIDは対応しきれません。シンプルな計算法で効果検証をできるというDIDのメリットを生かすために、販売個数に影響を与えうる因子が発生しないように分析設計をする必要があります。
おわりに
DIDの使い方と注意点について簡潔に説明しました。本記事が少しでも読者の皆様の役に立てれば幸いです。
