IN CUSTOMER · ISSUE 251
● 12 SECどこかの画面に、あなたの点数が出ています。続けてくれそうか、離れそうか。赤くなった相手から順に、連絡が行く。この号は点数を付ける側ではなく、付けられる側から見ます。
先に置きます——当たります。ただし、当てた相手に手を打つのが正しいかは、別の問いです。後者を調べた研究は無い、と2018年の論文が抄録の書き出しで書いています。この記事が探して見つからなかった話ではなく、論文自身の主張です。
引くのは査読誌の六本。2006年に同じ号へ並んだ二本、2010年、2012年、2017年の総説、2018年の一本。原典の企業は匿名で、書かれているのは業種だけです。
2006年の論文は、変わった作りです。公開サイトから誰でもデータを取れるようにし、研究者と実務家の双方にモデルを作らせ、二つの検証用データベースで予測を提出させた。大会です。抄録は自らを「方法上の要因が精度にどう寄与するかの、記述的な分析」と書きます。
発見は三つ。第一に、方法は重要である。提出物のあいだの予測精度の違いは、解約管理の施策の収益性を数十万ドル動かしうる〔利益の推定額ではなく、動かしうる幅です〕。第二に、推定データの三か月後に編成されたデータベースで予測しても、低下はごくわずか。第三に、その差の出どころは、モデルを作る手続きの側にあった。
その二つ目が、四年後に揺れます。2010年の論文は、持続力を推定期間のあとの複数の期における予測性能と定義し直しました。結論は四年前と食い違い、どちらも査読を通っています。
01大会の形で測ると、同じ公開データから別々の精度が出た。差は顧客ではなく、作る手続きの側にあった。置かれたのは精度の値ではなく、差の出どころです。〔提出物の件数も精度の値も、抄録には印字されていません。〕その手続きは、外から見えません。画面に出るのは点数だけです。
02四年後、束ね平均を併用した分類木が他の三つを上回ったが、全方法で持続力は低く数期後に劣化した。四つとは、ロジットモデルと分類木を、束ね平均〔取り直した標本のモデルの結果を平均する手続き〕の有無で二通りずつ。材料はインターネット接続事業と保険の市場の二社。ただしその分類木は、一期先までは高危険の顧客を見分ける力が期の中と同程度でした。劣化の理由は、係数が時間で変わり、有意になる変数が期で違うことです。
03危険度がいちばん高い相手を狙うのが最適かを調べた研究は無い、と2018年の論文が書き出した。二つの現場実験〔実際の商売の現場で、やり方を分けて結果を見る形〕と機械学習の答えは、危険がもっとも高いと特定された顧客は、先手の施策の対象として必ずしも最善ではない。「効かない」ではありません。無駄の原因は誤った誘因ではなく対象の選び方だ、とも。ただし二実験の割り付けが無作為だったかは、抄録にありません。
その前に、二本。2006年に同じ号へ出たもう一本は、束ね平均と逐次的に重みを付けて学習する手法を、ある匿名の米国の無線通信事業者のデータベースに当て、いずれも予測精度を有意に改善したと報告しました〔インターネット接続事業とは別の語です〕。利益は「増分的な利益につながりうる」——観測ではなく、可能性として書かれた文です。
2012年の論文は、解約予測モデルは費用の削減が目的なのに統計の指標で評価され、最適でないモデル選択になっていると指摘し、利益を軸にした指標を作りました。世界各地の通信事業者から得た11の実データ集合での結果は三つ——少数の変数で高い精度が出る、過剰標本抽出は概して有意には改善しない、多くの分類器が同程度になる。
01「精度が上がった＝顧客のことが分かってきた」。上がったのは、束ね平均と逐次的な重み付けという統計の手続きの側でした。2006年のこの一本は、稀な事象の予測では釣り合わせる取り方を勧め、ただし適切な偏りの補正が要るとも書きます。さきの過剰標本抽出の報告も、「効果が無い」ではありません。同じ操作ではなく、材料も違います。どちらかを正しい側には置きません。
02「一度当たったモデルは、しばらく使える」。三か月後もほとんど落ちないという報告と、数期後にかなり劣化するという報告が、両方あります。あいだに、一期先までは同程度という層も。測っている場所が違います——公開データの大会と、業種の違う二社。方法は重要であるとする大会と、多くの分類器は同程度とする2012年も、素直には重なりません。同じ言葉で、別のものが数えられています。
03「危ない人＝狙うべき人」。2017年11月に先に公開され、掲載号は2018年3月という総説が、どの顧客が危険にさらされているかと、どの顧客が狙われるべきかは、必ずしも同じ顧客ではないと強調します。ただし外からの独立した評価ではありません。著者12名のうち4名はこの号の他の論文の著者で、六本のうち四本が著者を共有します。十二年の並びを、独立した六つの検証として数えないでください。
六本とも、到達できたのは公式の抄録までです。全文まで読めた論文は一本もありません。だから、抄録に印字されていないことは書いていません——提出物の件数も、顧客の人数も、精度の値も。現場実験と書かれているのは六本のうち一本だけで、対照群という語は六本とも出てきません。
材料は、公開データの大会、インターネット接続事業と保険の二社、匿名の米国の無線通信事業者、世界各地の通信事業者の11の実データ集合、そして二つの現場実験。「通信」でひとまとめにはできません。共通するのは、契約が続く形の商いだということ。一回きりの取引や来店が中心の商いでは、解約が定義できません。解約を止める方法も、受けた引き止めの良し悪しも、六本の中にはありません。
危険にさらされている顧客と、狙われるべき顧客。
それらは必ずしも、同じ顧客ではない。
次の3手も、研究が命じた順番ではありません。これを書き出すと何が起きるかを確かめた研究も、ありません。解約しません。問い合わせもしません。判定もしません。
TRY IT TODAY
- 01LIST
いま続けて払っているものを、三つだけ書き出す。基準は「大事な順」ではなく「先に思い出した順」で十分。金額は書きません。
- 02MARK
その三つに、やめようとしたとき、あるいはやめたあとに引き止めや割引の申し出が来たかを、来た・来ない・やめようとしたことがない、で印を付ける。
- 03NOTE
なぜ自分にそれが来たのか(あるいは来なかったのか)、その基準が自分から見えるかを一行。「見えない」で構いません。
年代順に並べれば、2006年の大会、同じ年の精度の改善、2010年の持続力はかなり低い(最良の一方法は一期先まで同程度)、2012年の利益を軸にした指標、2017年の総説、2018年の「必ずしも最善の対象ではない」。動いたのは精度ではなく、問いのほうです。
点数が安心なのは、外れないからではなく、外れたことが後から分からないからだ——というのが、この号の読み筋です。連絡した相手が残れば施策のおかげに見え、連絡しなかった相手がどうなったかは、どこにも出てきません。今日残せるのは判定ではありません。契約が三つと、印が三つと、一行。記録が1件、残るだけです。
SECOND LAYER · FULL SYLLABUS顧客成功の継続保証力を、もっと深く学ぶ。→HOW TO READ THE NUMBERS数字の読み方＋
この号に出てくる統計の言葉です。数値は原典のまま、意味だけをほどいています。
- 統計的に有意
- 「偶然だけでは説明しにくい」という意味の専門用語。効果が大きい・重要だという意味ではありません。ごく小さな差でも、人数が多ければ有意になります。
