by shigemk2

当面は技術的なことしか書かない

ビッグデータの衝撃

  • ビッグデータとは、狭義では「既存の一般的な技術では管理するのが困難な大量のデータ群」と定義
  • 管理が困難な理由は、volume variety velocity であると言われる。
  • 大量のデータを管理する取り組みは以前からあったが、ソーシャルやweb上でデータを取り扱うようになったこと、

データの管理、分析、処理のコストが大幅に下がった事が以前と違う点である。

  • 点のデータではなく、顧客の動線(=インタラクション)データがより重要になってきた
  • 新技術ハドゥープやNoSQL
  • ただしデータが構造化されていてば既存の技術を無理に置き換える必要はない
  • ビッグデータの分析には、機械学習やセマンティック検索、データマイニングや統計解析などの技術が必要となる
  • ビッグデータの分析、収集により、生活習慣が露わになってしまうため、プライバシーの問題が一部で指摘されている
  • これを受けて、一部の国ではデータのトラッキングを制限する法律が制定されている
  • 故に、個人情報や個人に対する情報を扱う事業者は、予め利用目的を特定した上で利用者と合意を取る、利用目的を変更する場合は分かりやすく通知する、といった透明性の確保を求められるようになってきている
  • ビッグデータを取り扱う際、社内データだけでなく、社外データの購入も検討し、社内データの売却も検討する必要がある
  • データサイエンティストの取り合いが始まっている