ビッグデータ時代に熱望される3つのスキル

ビッグデータとはその名の通り、大量のデータを指す。その定義は人により異なるが、一般的には数百テラバイトからペタバイト級以上のデータを指すことが多い。
しかし最近になってなぜ、「ビッグデータ」というキーワードが注目を集めるようになったのか？その理由について、ビッグデータ関連の記事を寄稿するなど、ビッグデータ事情に詳しい栗原氏によると、「ビジネスパーソンの注目が集まった」ことだという。
「大容量データをどう効率的に処理・保管するか、というビッグデータ類似のコンセプト自体は10年以上前からありました。しかし、データ管理のテクノロジーが安価になったことで大量データの処理が容易になり、データを戦略的資産としてビジネスでどのように有効活用していくべきか？　というテーマが、特に経営層の間で注目を集めるようになったことが最近になりビッグデータへ向かう動きを推進しています」

モノが売れない時代において他社と差別化を図っていくためには、効率化だけではなく、イノベーションを起こす製品やサービスを生み出すことを企業側は今、迫られている。そこで、これまで蓄積した膨大なデータや、特に「非構造化データ」と呼ばれる、SNSやメールなどの数値化できないデータをHadoopなどの分散処理技術を活用しながら分析し、そこから得た有益な知見をビジネスに活かしていくことに、多くの企業が軸足を移そうとしているのだ。
「例えばコールセンターで蓄積された大量の音声データを元に、“声の分析”を試みることで顧客サービスの向上に活かそうとするケースも出てきています」

そこで今、必要とされているのが「データサイエンティスト」と呼ばれる、データ分析のスペシャリスト。すでにアメリカでは十数万人の不足が叫ばれているほど、ビッグデータ時代の中心的なポジションになるといわれている。
「データ設計スキルや統計学の知識を持つエンジニアのニーズは今後、間違いなく右肩上がりで増えるでしょう。その上でビッグデータ活用のカギを握るのが、これまで手つかずだった非構造化データを含めたデータの分析・管理。そのためには、『Hadoop』『並列リレーショナルデータベース』『NoSQL』『BIツール』『データマイニングツール』といった、ビッグデータ時代に対応した新技術を活用しながら、企業が求める戦略的なデータ分析管理を主導することがエンジニアに求められています」

「ビッグデータの本格的な到来を予感したのは、ブロードバンド時代の到来。それによって加速度的にデータが増加しました。そして現在、ビジネスにおける日本の市場が縮小傾向にある中で、情報に付加価値をつけることの重要性がさらに高まってきました」と語る草野氏。特にECサイトやSNSを通した、ネットによる非対面コミュニケーションが増えている中で、顧客の情報をただ蓄えるだけでなく抽出・分析し、付加価値をつけていくことがネット企業だけでなく、さまざまな業種で求められているという。
その一方、大量データの分析ニーズは日に日に高まっているのにも関わらず、そのニーズを受け止めるだけの人材や予算がないことが、ビッグデータ時代を迎える日本にとっての喫緊の課題だと、草野氏は指摘する。

「これまでの日本のIT投資の8割は“バックオフィスの効率化”に重点が置かれる一方、戦略販促の強化に対する投資は、あまり行われてきませんでした。しかし先ほど触れたように、これからのIT投資は確実に、ビッグデータのビジネス活用に回されるケースが増えてくるはずです。その一方で、これまで投資をしてこなかったわけですから、結果的にビッグデータに対応できるエンジニアが圧倒的に不足しているのが現状。今後、ますます大きな問題となっていくでしょう」
そこで同社では、ビッグデータが叫ばれる何年も前から、ビッグデータエンジニアの育成に力を入れてきた。特に「収集」「蓄積」「分析」「活用」という、ビッグデータを活用していくために必要な4つの分野をトータルでチェックし、戦略を立てられるスキルが重要となる。そのため、エンジニアは新技術に対してフリースタンスでいることで、日々生まれるさまざまな新技術をキャッチアップしていけるマインドを持つことが、これからのビッグデータ時代で活躍する絶対条件だという。
「例えば現在Hadoopが注目を集めていますが、高度で複雑なデータ処理を不得手とするなど、Hadoopが決して万能な技術というわけではありません。大事なのは『どう分析すべきか？』という視点を持ちながら、それにマッチしたツールを選ぶ技術の見極め。そのため当社ではHadoopと、従来の分析データベースツールをハイブリッド化させることで、クライアントの求めるデータ活用にこたえています」

2006年にブレインパッドに入社した小林氏は現在、大量のログ解析開発で、NoSQLやHadoopを活用しながら取り組んでいるエンジニア。
「これまではWebサイトの受託開発や、サーバやネットワーク開発などを担当してきましたが、ビッグデータの将来性に魅力を感じて転職したのが、入社理由です」

その小林氏が、エンジニアとしてビッグデータ処理を担当する上でのやりがいはどこにあるのだろうか？
「以前、バッチ処理で失敗した経験があって苦労したことがあります。それは処理に時間がかかること。でもHadoopやMapReduceなどの技術を活用することで、これまで1週間かかっていたものが6時間で終了する。その劇的な改善が目に見えてわかることは、私にとって大きなやりがいですね」
今ではHadoopを深く理解した上でビッグデータの分散処理に活用している小林氏だが、入社当時はデータ処理技術に対する知識や経験はあまりなかった。しかし小林氏は独学によって、そうした大量データ分散処理技術をキャッチアップしていったという。
「例えば『Hadoop』関連の勉強会などには積極的に参加しています。まだ未成熟技術なので、比較的短いスパンでその仕様やノウハウが結構頻繁に変わるんですね。そうして知識を吸収し、自分で実践してみることが重要なんだと思います。これから私のようにビッグデータに関わる仕事を選ぶのであれば、こうした形でデータベース技術を習得できるチャンスはあります」
小林氏自身の今後の目標は、大量データの分析処理上、不足しているツールを自分で開発し、オープンソースといして公開。やがてHadoopのように世界中の多くのエンジニアに活用してもらえる技術を確立することだという。