Cameron Sim氏はCrewsparkのCEOである。

1140億米ドル。これは、2018年の時点で世界中の企業がビッグデータにかけることになる費用である。わずか5年で3倍以上の増加だ。だが、このうちいくらが有効活用されているのだろうか？

過去10年ほどの間に、Mapredeceや大規模ストレージのためのスキーマレスデータベースの導入といったビッグデータを扱う新しい手法や、HadoopやStorm、Sparkなどストレージや処理向けの補足的な技術が広く取り入れられきた。しかし、ビッグデータの活用は単に特定のプラットフォームやパラダイムを実装すればいいというものではない。ベストなのは、企業がデータ構築とその運用方法を再設計することである。

ビッグデータには有望な利益が見込まれているにもかかわらず、新しい機能やデータプラットフォームを取り入れるべく大きな一歩を踏み出した企業は数少ない。グローバル企業を対象とした企業調査では、「データの収集や整理、検証、保管のための堅固なプロセスを持っている」と答えたのはわずか35％であった。同じく厄介なことに、67％の企業は「ビッグデータ戦略の成功を測定するための十分に定義された基準がない」という。それどころか、ビッグデータソリューションが受身的に部署ごとに統合されていたり、あるいは全く統合されていなかったりしているのだ。

IDCの2014年の報告によれば、世界中で利用可能になるデータ量は、2020年には44ゼタバイトにまで激増する。これは2013年の10倍のデータ量である。この新世代の大規模データ量に対応できない企業は、事業運営的にも技術的にも負債を負うことになるだろう。企業の自然淘汰が作用するのなら、後れを取った企業は衰退する運命にある。

ビッグデータの時限爆弾が爆発すると、以下のことが予測される。

透明性が破滅的に失われる

大規模なビッグデータプラットフォーム管理経験のあるITプロフェッショナルはほとんどおらず、業界内で大量のスキル不足を生み出している。米国企業では、2018年までにデータに基づく意思決定を行うことのできる管理職が150万人不足することになるだろう。この溝を埋めるために、企業はデータと分析に対する予算の50％を第一線の管理職教育のために割く必要に迫られる、という推定をMcKinsey Quarterlyが最近のレポートで報告している。また、この必要性を理解している企業がごく少数であるという点もレポートは指摘する。

データのニーズが高まるにつれ、情報マネージメントとデータ拡張性におけるベストプラクティスを十分に理解していない管理職は、データドリブンのシステムを管理する上で大きな壁にぶつかるだろう。業務遂行時における透明性にかけるため、どのデータが不正確でどれが重要なのか、主要なレポートや測定基準が適切に動作しているのかを見極めるのに苦労するだろう。

こうした複雑な部分をきちんと把握し、データについて適切な問いを立てることは、必須のスキルとなるはずだ。それらが欠けていれば、企業運営上の可視性が不十分であることを意味するだけでなく、情報に基づく決定を妨げ、企業の競争力を弱めてしまう。

人件費の高騰

2014年には、データサイエンティストは労働時間の推定50～80％をデータセットのクリーニングと処理に費やしたとされる。企業は、短期的にみるとデータ調整作業の自動化を、外部委託や国外もしくは近隣地域のデータ専門家に任せがちである。すでにCloudFactoryやMobileWorks、Samasourceのようなマイクロワークのプラットフォームは、このようなサービスに対する需要によってより一層の盛り上がりを見せており、2018年までに50億米ドル規模の業界へと成長する見通しである。

だが、外部委託に頼るアプローチは、比例して成長していない。予測されている44ゼタバイトのデータの話に戻ると、この急成長度合いは何千もの国内外のチームリソースに加えて、長期にわたって実行可能な解決策が必要とされる。持続可能などんな解決策も、かなりの量の自動化が必要になるだろう。

コミュニケーションの障害

今日の企業は、選別されたデータを通して互いにやり取りをしているが、そのプロセスを促進するための努力も次の20年間に起こるであろうことに比べれば色褪せてしまう。企業間データネットワーキングの新標準の設立は、すべての事業規模の貿易会社、出版、精選されたデータセットの測定、アルゴリズムとメタデータへの対応を巻き込んで行われるだろう。このグローバルなデータ市場に参入する力のない企業は、利用可能な市場情報を資本化することができなくなる。

この商業上の膨大なデータ共有化は、グローバル経済のあらゆる分野ですでに進行中である。研究に対する第三者検証を許可するべきとの声に押される形で、GlaxoSmithKlineのような製薬会社は、最近では臨床実験のデータをもっと広範囲に共有する計画を提案した。オバマ大統領は技術系企業に対し、潜在するハッキング脅威についてのデータを共有するように求めた。

Forresterのレポートは、データサービスが2015年の「製品提供分野の主流」になると予想し、John DeereのFarmSightやLexisNexisのデータベース解析などの製品を例に挙げている。こうした傾向が今のペースで進めば、ビッグデータを効果的に利用できるかどうかは、市場を制する上の鍵となるだけでなく、市場に参入するための必要条件にすらなるだろう。

こうした課題は目の前に迫りつつあることではあるが、このビッグデータ時限爆弾を回避することは可能だ。あなたの会社で時限爆弾の爆発を防ぐためにできる3つのことを以下に紹介したい。

1. 「まずデータを集めて、分析は後で」というアプローチをとらない

将来的に高い分析力を確保するためには、企業は今まさに、新規のデータセットをすばやく効率的に取り込むことができるプラットフォームの構築に投資をするべきだ。企業は、データの入手と連携の方法、かつ昔から続く従来のシステムからエンドツーエンドの自動化データや分析への移行をいかに行うべきかを検討するべきである。

この取り組みの軸となるのは、目標に沿って、慎重に、かつ高い透明性をもってこの新しいプラットフォームに投資する能力であり、それは闇雲にデータを集めることや収集されたデータを解析する努力に投資することと真逆に位置するものだ。

2. どんなに大変な作業に思えても、レガシーデータアプリケーションを再設計する

多くの企業は、アップグレードや戦略の変更にかかるコストを優先せず、高い維持費のかかる時代遅れのレガシーシステムに頼りきっている。例えば、SamsungのSmartHub TVのソフトウェアはクラウドで起動するが、そのすべての金融取引は、移行にかかる費用がかさむために、未だに店舗で処理されている。

インターネットで集めたデータ結果は、多くの企業では多数の事業部にわたって保管されている。データの中には、例えばソーシャルネットワークの統計など、社外に保存されているデータもあり新たな複雑な層を作り出している。膨大なデータにおいて技術革新するには、企業はさまざまな部門部署にわたって操作上の透明性に重きを置いて、レガシーデータアプリケーションを修正しなければならない。

3. モジュラー、さまざまなレベルの粒度の視点からデータマネジメントをする

多くのインサイトを含む生のデータを、さまざまなレベルの粒度でうまく組織化されたエンティティ、モジュラーにまとめられれば、効率的に事業の見識を得られるようになるし、絶え間なく変わるビッグデータの状況にも機敏に対応していくことが可能になるだろう。そうすれば、ビッグデータという時限爆弾をうまく処理することができるはずだ。

（謝辞：Hippo ReadsのPoornima Apte氏およびEdward Newell氏が調査に協力してくれた）

【via VentureBeat】 @VentureBeat
【原文】