やはりビッグデータは奥が深い！

これまで、私が書いてきた内容に似た記事が出ていたので、ちょっと考える人なら同じなんだなと思った。参考までに少々長いが抜粋させて頂いた文書を参照して頂こう。

「データサイエンティスト、お金もうけできてこそ存在意義

栄藤稔・ＮＴＴドコモ執行役員

　「ビッグデータ」という言葉とともに「データサイエンティスト」という職業がにわかに脚光を浴びている。人材が不足している、どうやって育成するかという議論も活発である。しかし、彼らはいったいどういう人たちなのか？

（中略）　

データサイエンティストは平たく言うと、「データ処理と統計数理ができて、ビジネスの適用分野への深い知識があって、実際にデータの価値化（お金もうけ）ができる人材」とのこと。両先生によるとその数は、日本国内で1000人ほどらしいが、私は100人くらいだと思っていた。このずれは、データ価値化に対する私の大きな期待にある。

（中略）

　システムがオンライン化した企業では、データ解析により業績が向上する可能性がたくさんあり、そこにデータサイエンティストが活躍する場がある。こんな業界の笑い話がある。「靴の小売業者がビッグデータ神話に乗り、多額の費用で解析した結果、冬にブーツが売れ、夏にサンダルが売れることがわかった」。似た話には「シャンプーを買う人はリンスも買う」「夜は新橋が丸の内より混んでいる」がある。何が問題かお分かりだろう。データからもうけになるシナリオが作れていない。

　データサイエンティストならば「灰色っぽいブーツをそろえて売り上げを20％増やします」と言うだろう。私は同僚に言っている。「ビッグデータと言うなら近未来を予測し、もうけ話にできなきゃ意味がない」と。

（後略）

［日経産業新聞2013年10月17日付］」

しかし

そう考えるのが妥当であるが、視点を変えると私と同じレトリックに陥っていることがわかる。これは何かと言えばビッグデータはビジネスだけに使われるデータ分析ではない。それがBI（Business Intelligence）とは違う所である。データの細かさのレベルが違う。コンビののデータでも「バスケット分析」でも長大なデータを扱うが、ビッグデータではセンサーを使って人の一挙手一投足を監視しデータ化するのである。桁違いのデータ量である。

ここでは昨日書いた日産のリーフがネット接続で走行データをつぶさに監視していることを書いたが、まさに気の遠くなるデータ量を扱うのである。これを分析して予測し、この先にある施策を確定していく。リーフもネット接続で異常が起きたいときの対応であるが、ビッグデータが分析されれば未然に異常を推測することが可能になるだろう。

病気でも未病への対処が現実になりそうだ。今でもDNAを分析する事でガンの確立が分かるという、必ずしもそうならないかも知れないが、確立論として処理する事ができる。

トゥームレイダー (映画)で活躍したアンジェリーナ・ジョリーが母が乳がんで亡くなった事をから自ら乳房を切除した事は記憶に新しい。そして犯罪なども予測するSFの世界が実現するかもしれない。

データ分析には分析者の恣意性が入る。これはMustであるから、それを排除するためにAIが使われていくと思われる。最近はMoocの記事でも書いたが論文の評価をAIが行う所まで来ているようだ。

このようにビッグデータは、使い方によって何にでも応用が可能だ。しかしこのビッグデータをどうやって利用するか、させてもらえるか、データの貸出先やコストも問題がクリアできなければ、大きな企業にしか使えないものに成ってします。JR東がビッグデータを売るにあたって個人情報の問題が表面化したが、人の情報に関しては極力注意を払わないと利用できないクズデータになってしまう。

今後は、一般企業をどのように活用できるかを検討して行きたい。