○○するだけでデータの定義が決まる

参考資料:
データ解析の実務プロセス入門

著者:あんちべ

出版社: 森北出版

データの定義とは

データの数値の見方でなによりも大切なことが「データの定義」です。
以前の記事「そもそもデータとは何か!?」でも触れましたが、データとは情報を定義に従って数値や文字に落とし込んだものです。
同じ情報でも定義次第でどのようなデータになるのか全く異なるため、定義を詳細かつ簡潔に明示しなければなりません。
つまり、良きデータを得るためには良き測定が必要なのです。
良き測定とは何かを知ることで、良きデータを得るための第一歩を踏み出すことができます。
良き測定の基準となるのは妥当性と信頼性です。
これは「ものさし」に例えるとわかりやすいかもしれません。
妥当性は、ものさしの当て方や測り方が間違ってないか、あるいは正しいものさしを使っているか(身長を温度計で測ろうとしていないか)にあたります。
信頼性は、ものさしが途中で曲がっていたり日によって伸び縮みしていないかにあたります。
妥当性と信頼性について様々の評価基準があります。
これから妥当性と信頼性についてやや詳しく説明し、 そしてそれをどのように評価し改善するかについてみていきます。

妥当性

妥当性は、主に「その項目はどの程度全体を可頼りなく代表しているか」、「目的変数と説明変数とに関連あるか」、「仮設やモデルとそのデータに整合性・関連性があるか」ということにまつわる、データの良さの基準です。

妥当性を見出すには以下の7つの基準があります。

  1. 内容的側面
  2. 本質的側面
  3. 構造的側面
  4. 一般化可能性
  5. 外的側面
  6. 予測的妥当性
  7. 結果的側面

1. 内容的側面

測定方法や内容が、目的に沿っているかどうかという性質です。
例えば、数学力を測りたいのに何個英単語覚えているかを測定しても目的を達成できないため、その測定の内容的妥当性は低いと言えます。

2. 本質的側面

その時どうするべき根拠があるかどうかという性質です。
測定しやすいから、あるいはたまたま手元にあったデータだから分析するのではなく、測定することに明確な理由づけができるかどうかを考えます。

3. 構造的側面

取得するデータの型が、目的は分析手法に合っているかどうかという性質です。

4. 一般化可能性

このデータから導かれる結果が一般化できるかという性質です。
データの性質が他のサンプルを取得期間に対しても一貫しているかを表します。
この性質を持たないデータから得られた結果を、一般化することはできません。
たとえば、子供用玩具を取り扱う店のクリスマス直前の販売実績には一般化可能性があるとは言えず、これをもとに1年の売上を予測するのを非常に危険でしょう。

5. 外的側面

あるデータが、 関連するであろうデータと相関があるかという性質です。
例えば、独自に英語能力を測定したデータを用いる時、それがTOEICやTOEFLなど広く知られた外部の測定データとの間にどの程度相関するのかは重要でしょう。
ただし、事前にTOEICやTOEFLで得られるデータが英語能力を十分に測定できていることが前提となります。

6. 予測的妥当性

あるデータが、 予測したい将来時点のあるデータと関係があるかという性質です。
例えば、将来時点の所得を予想したいという目的において、 どの大学に入ったかということから将来どの程度の所得になるかを正確に予測できるのであれば、予測的妥当性があると表現します。
逆に、 先ほどと同じ目的において、毎月何冊の本を読むかをいうデータが将来時点の所得と全く関係がなければ、読書量には予測的妥当性がないと表現します。

7. 結果的側面

そのデータを公開・利用することで関係者に与える影響の大きさを表す概念であり、波及効果とも呼ばれます。
データの妥当性の中に結果的側面を含めるということは、 データを公開・ 利用する際は統計的な性質だけでなく、実社会にどう影響を与えるかまで考えるべきであると示唆します。
何らかの経営指標を策定する時、生じてしまいがちなのが数字や指標の「一人歩き」 です。
これは、その数値や指標を盲目的に信じ追いかけることによって、そもそもその数値や指標によって実現したかったことからかえって遠ざかる現象です。
数値や指標には何らかの目的や前提、条件設定があるにもかかわらず、それらを無視して適用されることがあります。
一人歩きしやすいのは、前提や条件、目的が理解困難なケースです。
逆に、一人歩きしてもさほど問題になりにくいのは、そのデータに一貫性・汎用性が高く、前提条件などの説明がわかりやすい、あるいは前提条件などが変更されても影響を及ぼしづらいケースです。

このような結果的側面も含めたデータの妥当性を考えることが大切です

信頼性

信頼性は、 安定性と一貫性という2つの側面から成り立っています。
測定における安定性とは、 同一対象から同一条件で同一の測定を行った場合、同一の結果が出るという性質です。
一貫性とは、 同一対象に同じような測定を行った場合同じような結果が出るという性質です。
例えば、 顧客満足度を測定するためのアンケートを取る場合、 ある顧客に全く同じアンケート複数回行っても全く同じ結果が出るならば安定性があるといえ、 ある顧客に質問内容は同じではあるが質問文や回答項目の表現や順序を変えたとしてもほぼ同じ結果が出るならば一貫性があると言えます。
この場合、 安定性がない(低い)ということは、「同一対象から同一の条件で同一の測定」という要件を満たしていない可能性が示唆されます。
一貫性がない(低い)ということは、「質問文は表面上異なるが同じ内容を質問している(だからほぼ同じ結果が出るはずである)」とアンケート実施したら想定しているにもかかわらず、 大きく異なる結果を得ることを意味します。
このことからは、 質問文が測定したい内容に即していない可能性が示唆されます。

信頼性の程度を把握するための手法には、以下の3つのような方法があります。

  1. 再テスト法
  2. 内的一貫性のテスト
  3. 評価者の信頼性を評価

1. 再テスト法

同じ項目について複数回データを取得し、その結果の相関の高低で安定性の高低を測る手法です。
アンケートにもよく用いられますが、 あまりに測定の間隔が短いと回答者が質問項目と以前の回答結果を覚えたまま(質問に答えるのではなく)記憶に従って全く同じ回答しようとするため、安全性を測定できないケースがあります。

2. 内的一貫性のテスト

同じような項目を、証言や順序を変えて取得・質問しても結果が変わらないかどうかで、 一貫性を図る手法です。

3. 評価者の信頼性を評価

データの中には評価者の主観によるものもあります。
例えば、デザインの美しさや操作性などについてアンケートをとる場合です。
その場合、 評価者の信頼性を次の2つに分けて測ります。

3-1. 評価者間一貫性

各評価者の評価値がどの程度一致しているかの性質です。
ある評価者だけが高得点をつけているだけで、 各評価者による合計得点が高くなる可能性もあります。
そのようなケースを評価者間一貫性が低いと表現します。

3-2. 評価社内一貫性

評価者内の同一対象への評価のバラツキです。
同じ評価者でも、費用や好みの変化によって評価値がバラつくことがあります。

妥当性と信頼性を満足できるものなのか

妥当性と信頼性を十分に満たすことは、実際問題として非常に困難です。
そもそも何をもって十分と判断するかについても難しい面があります。
また、妥当性と信頼性を難しい関係があり、信頼性の高い項目だけに絞ろうどうすると、今度は特定の内容に偏った質問項目ばかりになってしまうこともあります。

これらはもともと教育の分野で用いられた概念であり、社会的にも非常に繊細な問題を含むためとくに厳密に考えられています。
しかし、私の経験上のデータにおいてこれらを十分満足するのは実際的に不可能と言っても差し支えないでしょう。
例えば 外的な妥当性については、外部で参照すべきデータがあるかどうかはケースバイケースですし、さらにはそれが何らかの形で保障されているケースはほとんどないと言って良いと思われます。
そのため、杓子定規にこれらの性質を全て十分に満たさなければならないというものではありません。
ただ、 良きデータを求める際、そもそも良き測定が満たすべき性質に何があるのかを知っておくことが重要です。
それを把握することによって、手元のデータがなぜダメなのか、どうすれば改善できるのかについて確認し、関係者に共有していくように努めましょう。

参考資料:
データ解析の実務プロセス入門

著者:あんちべ

出版社: 森北出版