FC2ブログ

Entries

パターンの限界?

先週、「ビックデータ戦略」という本を上梓させていただきました。
http://www.shuwasystem.co.jp/products/7980html/3308.html

名前はともかくとして、膨大なデータの中からパターンを発見して、そこからビジネスにつなげるという話です(例:レコメンド、Aを買った人はBも買う”パターン”が発見できたので、Aを買った人全員にBをレコメンドなど)。それはそれでビジネスには重要なので、全面的に賛成。

ただ、最近思うに、”パターン”には限界があるということ。
パターン(統計学といってもいいかもしれない)は、100のサンプルのうち99あてはまれば、のこりの1つのサンプルは捨てても、確からしさは確保される(正規分布的な考え方)。

でも、その残り1つのサンプルを捨てていいかといえば、ダメな場合もある。
たとえば、東日本大震災は、1000年に一度のM9地震で、地震という確率分布があるとすれば、3σくらいの確率でしか発生しないだろう、つまり、統計的には”棄てられる”。でも、それが3σの確率で起きた時のインパクトは極めて大きい、(ブラックスワン現象)。

つまり、パターン発見、さらには、科学の帰納的アプローチには自ずと限界があること。
じゃあ、どうすべきか?今の自分の理解では、やっぱり、カール・ポッパーが提案する反証可能性、棄却された1のサンプルの重要性を反証すること、なんだろう。

逆にいえば、こうした反証可能性を提示できるアルゴリズムがあれば、コンピュータはもっと賢くなるのかもしれない。


ビッグデータ戦略―大規模データ分析の技術とビジネスへの活用ビッグデータ戦略―大規模データ分析の技術とビジネスへの活用
(2012/03)
長橋 賢吾

商品詳細を見る
この記事にトラックバックする(FC2ブログユーザー)
http://bemasterof.blog24.fc2.com/tb.php/251-c4c77f94

トラックバック

コメント

コメントの投稿

コメントの投稿
管理者にだけ表示を許可する

Appendix

プロフィール

kengo

Author:kengo
コンセプト:
①ブラックボックスとしてのITを解きほぐす:どんどん便利になっていくIT、便利になる反面、ブラックボックスになっているもの事実。ブラックボックス化しつつあるITを解きほぐしていきます。

②エンジニアのためのファイナンス:ファイナンスは企業全体を見るツールとしてとても重要。企業そしてビジネス全体をどう見ていくか、そんな情報を提供します。

③映画・書評:IT・ビジネス系の書評、見た映画についてつづっていきます。

メールはこちらまで




Disclaimer
このBlogは長橋賢吾の個人的な考えを掲載したものであり、長橋賢吾が所属ないし関係する機関、組織、グループ等の意見を反映したものでありません。

MicroAd

FC2アフィリエイト

旅ポケドットコム

メールフォーム

名前:
メール:
件名:
本文:

アクセス解析

reviewplus