やってはいけない!?データ解析の限界と誤解

参考資料:
データ解析の実務プロセス入門

著者:あんちべ

出版社: 森北出版

前回の記事でデータ解析の意義について紹介しました。

今回では、データ解析に見せられる過大な期待や誤用について説明します。

データ解析を過信や軽視することなく適切に用いるには、 その威力と限界の両方を知ることが重要です。

意思決定を行うのは人であり、分析手法ではない!?

昨今、「データ分析手法を用いて意思決定をする」というようなことをよく聞きますが、この表現には注意が必要です。
あくまでデータや分析手法は意思決定の補助をするに止まります。
よく誤解されるのですが、「どのデータを用いれば良いか」、「どの評価指標を用いれば良いか」、「どの程度の水準を満たせば良いか」、「どの分析手法を適用すればよいか」を、分析手法が全て自動的に判定してくれるわけではありません。

分析には様々な側面がありますが、正解率という面だけを取り上げてみても、状況によって求められる水準が大きく変わります。

例えば、SNSの書き込みから性別を推定するプログラムは正解率が85%もあれば十分に役立つケースも多いですが、人体に用いる薬剤の副作用が所定の範囲に収まるかどうかなどの生命に関わるような問題であれば、正解率が99.99%以上を求められるケースも多々ありますよね。

このように、対象や分野、目的によって要求される正解率は異なり、対象としている分析にどの指標がどの水準に達しなければならないか。

それは、その分野の知識によって判断せざるを得ないということがおわかりいただけるでしょう。

つまり、意思決定は最終的に人間が行うものでということがわかりますよね。

データ分析手法は意思決定を強力にこれをすることはできますが、決してデータを放り込みさえすれば、自動で全て判断してくれるというわけではありません。

少し専門的な話になりますが、ツールによっては「様々な分析手法を試し、その中でも最も良い分析手法を自動で選択する」と謳うものもあります。

しかし、それはあくまで「決められた問題設定において」、「決められた評価指標で比較した場合の」最良の要素を抽出してくれるというものに過ぎません。

問題設定や評価指標が適切かどうかまでツールが判定してくれるわけではないことに注意して下さい。

データは客観的事実を表しているのか!?

「データは客観的な事実そのものであり、データに基づいた意思決定は同じく客観的な事実である」という主張が見受けられます。
完全なる謝りではありませんが、それが成り立たないケースとして、次の2つがあります。

  1. データに偏りがあったり目的と合致しない定義や取得方法で収集されていたりする場合は、そもそも「データが客観的な事実ではないケース」
  2. 仮に偏りがなく目的と合致したデータに基づく推論であっても、「データの解釈や推論に誤りがあるケース」

1.データが客観的な事実ではないケース

ギャラップ社のアメリカ大統領選挙に関する輿論調査が良い例でしょう。

これは偏りのないデータを抽出することの重要性を世に知らしめた、輿論調査にまつわる有名な話です。

1936年のアメリカの大統領選挙はフランクリン・ルーズベルトとアルフレッド・ランドン二人の候補者がいました。

当時の大手雑誌社のリテラリー・ダイジェスト230万人もの回答者から世論調査を行い、ルーズベルトの落選を予想しました。

一方で、ギャラップ社はリテラリー・ダイジェストに比べるとほんのわずかとしか言えない3000人程度の回答署から調査を行い、ルーズベルトの再選を予想しました。

再選し、予想を的中させたギャラップ社は評価を受けました。

なぜ圧倒的に回答者数に違いがあるにもかかわらず、このような結果になったのでしょうか?

それは回答者の抽出方法を異なっていたからです。

リテラリー・ダイジェストは自動車保有者と電話利用者の名簿を使って1000万人にも及ぶ対象者に調査票を送り、そのうち230万件の回答を集計しました。

しかし、 選挙があった1936年当時は大恐慌が発生していたのです。

そのため、自動車や電話を保有しているのは富裕層に限られてしまいました。

つまり、たくさんデータ量とはいっても、選挙権を持つ人たちの中の偏った一部分の意見しか反映していなかったのです。

それに対し、ギャラップ社は割当法(各構成要素を標本にするか否かを一定の確率法則に従う手段で決める方法を無作為抽出法[あるいは任意抽出法]、確率的には決めない方法を有意抽出法[あるいは有意選択法])と呼ばれる全体からバランスよく回答者を選出する手法を用いることによって、できる限り全体を反映した意見を集めることに成功しました。

結果、ギャラップ社は名声を築き、 リテラリー・ダイジェストの信用を失墜ことになりました。

ここから言えることは、大量のデータを用意すれば良いというわけではなく、それ以上に偏りのない適切なデータの取得こそが重要であるというのが、この話の教訓です。

2. データの解釈や推論に誤りがあるケース

とある道路の事故に関して、雨の日の方が晴れの日より事故死者数が少ないというデータがあったとします。
この場合、「雨の日の方が晴れの日より事故死する人が少ない」というのは、計測や集計のミスがない限りにおいては事実です。
ただし、この事実から「雨の日の方が晴れの日より安全だ」、あるいは「雨には事故死を防ぐ何らかの要因がある例えば車が炎上した時に雨で消火されるためかもしれない」などという解釈や推論を導いたとして、果たしてそれは事実でしょうか。
このケースでは、雨の日より晴れの日の方がただ車を運転する人が多いからなんですね。そのため、単純に事故死者の数を比較するのではなく、雨の日と晴れの日の事故の発生率を見た方が良いでしょう。このように、データはある一面から見たら事実を語りますが、データに基づいた事実だからといって必ずしも正論ということにはなりません。

データと推論の間に何か論理的な乖離がないかは、常に確認しましょう。

データから事情を説明するには

「ある事象を説明するのに必要なデータとは何か」を明確に定義することができ、なおかつそれを全く不足なく計測・収集できるという前提で満たせて、初めてデータからその事象を正しく説明することができます。
そうでないならば、「ある程度説明できる」にとどまります。
どこまで説明できるかが程度問題に落とし込まれるからには、何らかの指標や計測方法で説明力を測り、比較検討せねばなりません。

それはそれで簡単ではありません「勘や経験よりもデータに基づいて出した答えの方が事実である(可能性が高い)」というのは十分信頼性があるデータが得られる場合の話であり、 そうでないなら必ずしも成り立つとは言えません。

わずかばかりの偏ったデータをいじって対象分野の知識を全く持たない素人が出した結論よりも、その業界のベテランによる勘や経験で出した結論の方が真実に迫ることもあるでしょう。

現実問題として、ある事象を説明するためのデータが何なのかを定義し、なおかつそれを全く不足なく計測・収集できるという前提を満たすことは非常に困難です。
データをどのように定義し収集するかを人間が決める以上、データを利用したからといってそこから得られた結果が100%客観的で誤りのない事実であるとは言えません。

我々にできることは、対象を説明するために必要なデータは何かをを出来る限り綿密に洗い出し、そこから理論をつなげて結論を出せるように計画を整えることです。
どのようにデータを計測・収集すれば良いかは 後の記事にて説明します。

AB テストに任せればすべてうまくいく!?

データ解析の手法には、いくつかの選択肢の中から最適なものを選択するものがあります。
中でも代表的なものとしてAB テストがあります。
AB テストはWEB サイトを構築する際、最適な見た目や操作性を探索するのに頻繁に用いられるテスト手法です。
これは、例えば楽天やアマゾンなどのWebの商店での商品購入ページにおいて、あるユーザのグループが閲覧するページでは購入ボタンを画面上部に表示し(これを便宣的にデザインAと呼びます。
)、もう一方のユーザー群には購入ボタンが画面下部にあるデザイン(こちらをデザインBと呼びます。)でページを表示し、 AB どちらの方が購入されやすいかをデータから探るというものです。

ABテストに寄せられる期待は大きく、今や様々な AB テスト用のツールが提供され、あちこちで活用されています。
そのため、AB テストさえ行えば自ずと最適なデザインになると思う方も多いかもしれません。

しかし 、AB テストは局所的な最適解を選択するに過ぎません。

Webサイトのデザイン一つをとってみても、ボタンの位置だけでなく用いる全体的な配色や画像、テキストなどを総合的にバランスを取りつつ最適化していく必要があり、それらの各要素の組み合わせは膨大な数になります。
そのため、 AB テストで全パターンを網羅するには相当のユーザー数や期間必要になり、データ解析のコースを非常に大きくなります。
また、そもそも AB ともに良い案ではないならば、マシな案が選ばれるだけです。
ある程度のページやイラスト、依頼者の要望に従って行う必要があり、最終的に「 AB ともに捨てがたいが、どちらかに絞らなくてはならない」という場面になって初めて、 ABテストが威力を発揮します。
AB テストさえあれば全体的な最適解が得られるというものではありません。

ただし、これは AB テストのダメな手法であるという意味では全くありません。 AB テストに限らず、 選択肢の中から最適なものを選択するという手法はどれも選択肢の中で局所的な最善を探索するだけであって、全体的に見て最適解を得るわけではないということです。

要するに、選択肢を分析手法に投げ込みさえすれば確実に売上が改善されるというわけではありません。

まとめると、分析手法やツール任せで価値を自動的に得られるわけではなく、そもそものデータの取得には分析計画の立案の時点で考慮すべき問題がたくさんあるということです。

ただし、それぞれの適切な対応方法があり、攻略できない問題ではありません。

次回の記事で適切なデータ分析手法の活用についてお伝えしていきます。

それによって、データ解析で価値を得られるようになります。

参考資料:
データ解析の実務プロセス入門

著者:あんちべ

出版社: 森北出版