Bill Franks氏はTeradataで主任分析官として、分析とビッグデータ量の動向についてのインサイトを提供している。彼はTaming The Big Data Tidal Waveの著者であり、つい最近2冊目となる本The Analytics Revolutionを出版した。アクティブスピーカーでありInternational Institute for Analyticsの教職員でもある。詳しい情報はこちらから。www.bill-franks.com.

あまりに多くのビッグデータへの取り組みが失敗しているのは、企業が徹底してアナリティクスにおける真実に真剣に向き合っていないためだ。その理由を説明したい。

2015年1月、Economist Intelligence Unit（EIU）とTeradata（情報開示：私の雇用主でもある）は、データの十分な活用に成功している企業とそうではない企業の違いを調べることを目的に行った研究の結果を発表した。

この研究では多くの発見があったが、その中でも特に問題となっていたのは「コードレッド」に関する結果、つまり企業のCEO自身がディレクター、マネージャー、アナリスト、データサイエンティストの誰よりもデータ分析に関して楽観的な姿勢でいることを明らかにしたものだ。EIUによる調査結果から例を挙げると、CEOは従業員が会社のデータから正確かつ適切に情報を読み取っていると考えている確率が高い。実際、そのように考えているCEOは38%だった。一方で、全回答者では24%、そしてシニアVP、VP、ディレクターではわずか19%であった。同様に、43%ものCEOが関連するデータは取り込まれていて即時に手に入るものだと考えているが、全回答では29%である。

なぜこのような違いが生じるのだろうか。原因は企業のデータ資源やそれを分析する技術の蓄積ではなく、むしろそれを取り扱う人間の方にあることが判明した。ビッグデータに関する取り組みは、偏見や誤った推測、またデータ自身に語らせることの失敗とそれに対する恐怖感につまづいてしまうのだ。データが示す見識は、データサイエンティストからCEOへと組織の階段を上っていく過程で、分析における真実が失われてしまう。これによって、意図していなかった結果が積み重なっていく。

既知と未知の事項をCEOと話し合う

既知のリスクに対する考え方を例にとってみよう。データによって完璧な図を描くことはアナリティクスでは難しいため、常にいくつかの仮定を想定していなければならない。その仮定が間違っていた時に何が起こるか認識するため、これらのリスクを見極め、査定評価する必要がある。リスクが大きな結果を引き起こさない場合もあるが、壊滅的な結果となる場合もあるからだ。

2008年に起きた株価暴落について考えてみよう。多くの人が住宅価格は上がるものだという単純かつロジカルな見方をしていた。しかしほとんどのアナリストは、もし価格が下がったら何が起きるかについて十分な分析をしていなかったのだ。さて、実際に何が起きたかはご存知の通り、世界的な大不況となった。住宅バブル崩壊前に投資をしていた人はそれぞれのレベルで深い傷を負った。事態の収拾がつかなくなるまで、この危険性について考慮したり認識したりした人は、ほんのわずかであった。

ビジネスにおいては同じようなことがより小さなスケールで起きる。CEOは危険性に関して明確なビジョンに欠けている。CEOに根拠のない考え方の危険性を十分に認識させることは、データサイエンティストやビジネスアナリスト、マネージャーの働きかけ次第なのである。CEOは根拠のない考え方に致命的な「レベル1」の危険性があることを理解する必要がある。家を例にとると、価格が下がり続ければ全てが破綻してしまうことになるというように。たとえ危険が及びそうでなくとも、少なくとも危険になる状況は目に見えているはずである。多くの人はこのような暗い側面を役員たちと話し合うのに消極的で、多くの役員も聞きたがらない。しかし、成功するためには皆がこのハードルを越えなければならないのだ。

真実を恐れる態度を克服する

そして、認識バイアスが入り込み、真実を恐れる事態が起きてしまう。例えば営業担当が自身の売上見通しを聞かれた際には、たとえそれまでの実績や現状の見込みに関するデータで固めていたとしても目標を達成できるかどうか確信が持てないものだ。しかし、販売部門のVPには予想を達成できますと言ってしまいがちだ（当然ながら、ミスが大きくなければの話）。彼らは周囲に期待されている情報をシェアし、実際の数字には幅があるという認識を表に出さないものだ。

そして、実際集計をすると問題が発生する。各メンバーは真剣に疑いの気持ちを持っているにもかかわらず、VPはチームの5人のメンバーからバラ色の見通しを受ける。そしてデータはVPに取りまとめられてCEO、もしくはCFOに報告される。実際のところ、その数字はとてつもない疑いに裏付けられているが、真実は仕事を失うかもしれないという恐怖、目標は達成されるという企業文化的な見方の下で打ち消される。失敗は選択肢にない。ただ、何人かの営業担当は何とか目標を達成できるかもしれないが、全員が達成する機会はそれほどない。これによりVPは当初の見通しと比べて非現実的な結果を突きつけられてしまう。

その結果として何が起こるか。企業は予測を誤り、関係者全員がショックを受けるのだ。これは、フロントラインにいるスタッフが上辺を良く見せようとするあまり、積もり積もって全社レベルで企業予測の見誤りを引き起こした一例である。

実際の未来を過小評価しない

もう1つの典型的な問題は、与えられた分析データの信頼性をCEOが過小評価すること、もしくは単にそれを全く考慮しないことである。私たちはデータと仮定に自信を持ち、正しい質問を投げかけリスクを考慮には入れるだろう。しかし予測した信頼度については見極めていないのである。

これは統計学では、典型的なモデルの評価テクニックである。予測の精度はプラスマイナス1%もしくは20%か。もし、売上を5%伸ばすことが重要であるとして、5%のプラスマイナス範囲で10%の売上増加を予測したとしたら、おそらく問題ないだろう。だが、予測がプラスマイナス15%の範囲で10%の売上増加だとすると、気をつけないと年の終わりには店じまいをする結果となるかもしれない。

では、どう変わるべきか？

データがどう分析され、データを元にどう決定がなされるかに関して、その過程・文化を変えていく必要がある。もしデータサイエンティストがミーティングで全ての予測とリスクを準備し、非難され口論になったとしたら、次の機会にまたミーティングがある場合、彼らは間違いなくネガティブな真実は隠してしまうだろう。しかし、データに対する関心や公正性が評価される企業文化が根付いていれば、データサイエンティストらはポジティブな点だけではなく、自身が知っている全てのデータを自由にシェアすることができる。

CEOはリスクについて積極的に尋ね、透明性を基本とする文化を培わなければならないが、それは他のスタッフにおいても同じことが言える。会社の上層部と情報伝達をする際に、どのレベルにいるチームのメンバーも、データに関する真実をきちんと考慮し、完全に明白にする責任を持つことが必要だ。

上層部はこうしたしかるべき努力をし、会社の人間に質問を投げかけていかなければいけない。一方的なダッシュボードや説明になるのではなく、スタッフも質問を投げ返し、データに関する話し合いをきちんとしていくべきである。場合によっては重大なリスクは全くないかもしれない。しかしその結論に至る事実に関して予測をするための知識があるということを証明するのだ。あなたがCEOやディレクターだっとしたら、全員が全ての潜在的なリスクを正しく立証でき、正しい予測をしたと考えない方がよい。真実を求め疑問を投げかけ、それに対し喜んで対処していくことが重要である。

【via VentureBeat】 @VentureBeat
【原文】