IN DATA · ISSUE 531
● 12 SEC「入り口で一度きちんと点検すれば、データの質は保てる」。そう考えがちです。この号は、データの品質を扱う論文6点で確かめます。性格は、実務誌の論説1点、総説1点、指標を提案した概念の論文1点、費用の分類を提案し1社の事例で例示した論文1点、研究課題を提起した3頁の序説1点、予測モデルを扱った研究1点(読めたのは題名まで)です。
先に向きを言うと、6点が支えるのは三つです。品質には正確さ・完全さ・新しさ・一貫性などいくつもの側面があること。同じデータでも、ある用途には足り、別の用途には足りないと論じられていること。データは時とともに中身も構造も変わり、品質も動的になると提起されていること。多くは概念・総説・序説の主張で、効果を測った研究ではありません。この号は、点検の方法や道具を勧めることもしません。
費用を論じた2011年の論文は、先行研究を整理して “Data quality is often defined as ‘fitness for use’”(データの品質は「用途への適合」と定義されることが多い)と書きます。1998年の論説も、データの値そのものの問題として、正確さ・一貫性・新しさ・完全さの4つを挙げています。
定義に用途が入るなら、点検の「合格」は、ある用途にとっての合格です。ここからは、質の低さの負担、用途と水準、時間という三つの面で6点を見ます。
01質の低いデータは、顧客・費用・判断・戦略に響く、と論説は論じた。1998年の論説(品質の相談を業とする実務家の啓発の文章)は、典型的な企業への影響を、顧客の不満、業務の費用の増加、判断の質の低下、戦略を立てて実行する力の低下にまとめました。挙げた例は、宛先の誤り、頼んだのと違うサイズの品が届くこと、請求の誤りとその訂正の手間です。
02同じデータでも、足りる用途と足りない用途がある、と主張した。2007年の論文は “The same data resource may have an acceptable level of quality for some contexts but this quality may be unacceptable for other contexts”(同じデータが、ある文脈では許容でき、別の文脈では許容できない質でありうる)と書き、用途の価値を重みにした指標を提案しました。例で使い方を示した概念の論文です。
03完璧な品質は目標にせず、手間と損のつり合う水準を探す、と提案した。2011年の論文は、質の低いデータの費用を「直接の/隠れた」と「日々の業務/戦略の判断」の2軸で4つに分け、保守の手間と質の低さの損失の合計が最も小さい水準を最適とする定義を提案しました。補修部品の会社1社の事例で使い方を例示しています。
以下の三つは、6点が一度の点検で終わらない側の材料として書いていることです。どれも序説・論説の記述か題名までの情報で、時とともに質がどれだけ落ちるかを測った研究は6点にありません。
01時がたてば、データの中身も構造も変わる。2017年の序説は、時がたつとデータは中身も構造も変わって動的になり、“Data quality, therefore, also becomes dynamic”(ゆえに、データの品質もまた動的になる)と書きます。主題は、表の形とグラフの形のあいだでデータを移すと品質がどう変わるか、という研究課題でした。
02誤りは、あとから見つけて直すのが難しい。1998年の論説は、誤りは見つけにくく直しにくいので “it is much better to create accurate data in the first place”(はじめから正確なデータを作るほうがずっとよい)と書きます。1月の実績が7月まで確定しない例も挙げ、新しさという側面の大切さを示す例としました。
03誤りの割合と大きさが、予測の正確さにどう効くかを扱った研究がある。1999年の研究は、題名によれば、ニューラルネットの予測モデルで、データの誤りの割合と誤りの大きさが予測の正確さに及ぼす影響を扱ったものです。要旨にも本文にも届かなかったため、結果の向きや大きさは書きません。誤りが集計を経て日々の判断にまで伝わるかも、確かめていません。
質の低さの費用の総額について、1998年の論説は、推定は難しいと断ったうえで “I am aware of three proprietary studies that yielded estimates in the 8–12% of revenue range.”(売上の8〜12%の範囲の推定を出した非公開の研究を3件知っている)と書きます。3件の中身は示されていません。2011年の論文はこの数字を引いたうえで、費用の推定には大きな不確かさが伴うと書いています。
6点のうち実証の材料をもつのは、1社の事例と、題名までしか読めなかった予測の研究だけです。事例の会社は世界に18の子会社を持つ補修部品の会社で、日本の小さな店の顧客名簿や在庫表を調べた研究は、読めた範囲にありません。全文まで読めたのは6点のうち3点で、読めていないものについては書きません。
同じデータでも、
足りる用途と、足りない用途がある。
概念の論文は、そう論じた。
シラバス側はこの単位を「品質は一度の点検で確定する状態でなく、たえず手入れを続ける過程。多次元で用途依存で、時間とともに劣化する」と置きます。向きは6点と食い違いませんが、序説が書いたのは「動的になる」で、「劣化」を直接支える記述は6点にありません。「過程」という見立ても編集側の命題です。2011年の論文は、どこまで直すかは保守の手間と損失のつり合いで決まり、会社の性格しだいだと論じています。
TRY IT TODAY
- 01DATE
今日の日付と、自分の商いで大事にしている数字を一つ書く(月の売上・常連の数など)。その数字を出すもとの記録(売上表・在庫表・顧客名簿など)の名前も一行で。
- 02LOG
そのもとの記録について、正確さ・完全さ・新しさ・一貫性の4つの側面ごとに、最後に見直した時期と、気づいている食い違いや欠けを書き出す。分からなければ「空白」と書く。
- 03SORT
その数字を何に使っているか(傾向を見る・一人ずつに連絡するなど)を一行書き、4つの側面に「この用途で狂うと困る」「今は困らない」の印をつけて数える。直し方は決めない。
この号が運べたのは三段です。品質は用途への適合と定義されることが多く、同じデータでも用途で足りたり足りなかったりすると論じられていること。完璧を目指さず、手間と損のつり合う水準を探す考え方が、1社の事例つきで提案されていること。データも品質も時とともに動くと提起されていること。損失の大きさの数字は、根拠の示されない非公開の推定です。
次の号は、こうして扱ってきた数字を、誰もが見られる形にするダッシュボードの話へ進みます。
SECOND LAYER · FULL SYLLABUS「データの質を保つには？」を、もっと深く学ぶ。→
