• はてなブックマークに追加
  • Yahoo!ブックマークに登録

非構造化データのビジネス活用があらゆる産業を変える!?

ビッグデータ時代に熱望される
3つのスキル

今年になって「ビッグデータ」という言葉がクローズアップされるようになった。今後、大量なデータを保管するだけではなく、効率的な分散処理、そして分析によってビジネスにどう活用していくかが重要視されている。本格的なビッグデータ時代を迎える今、必要とされるエンジニアについて探ってみたい。

(総研スタッフ/山田モーキン) 作成日:11.12.07

ビッグデータビジネスのカギを握るのは「非構造化データの分析」


株式会社テックバイザー・ジェイピー
チーフコンサルタント 弁理士 技術士(情報工学)
栗原 潔氏

ビッグデータとはその名の通り、大量のデータを指す。その定義は人により異なるが、一般的には数百テラバイトからペタバイト級以上のデータを指すことが多い。
しかし最近になってなぜ、「ビッグデータ」というキーワードが注目を集めるようになったのか?その理由について、ビッグデータ関連の記事を寄稿するなど、ビッグデータ事情に詳しい栗原氏によると、「ビジネスパーソンの注目が集まった」ことだという。
「大容量データをどう効率的に処理・保管するか、というビッグデータ類似のコンセプト自体は10年以上前からありました。しかし、データ管理のテクノロジーが安価になったことで大量データの処理が容易になり、データを戦略的資産としてビジネスでどのように有効活用していくべきか? というテーマが、特に経営層の間で注目を集めるようになったことが最近になりビッグデータへ向かう動きを推進しています」

モノが売れない時代において他社と差別化を図っていくためには、効率化だけではなく、イノベーションを起こす製品やサービスを生み出すことを企業側は今、迫られている。そこで、これまで蓄積した膨大なデータや、特に「非構造化データ」と呼ばれる、SNSやメールなどの数値化できないデータをHadoopなどの分散処理技術を活用しながら分析し、そこから得た有益な知見をビジネスに活かしていくことに、多くの企業が軸足を移そうとしているのだ。
「例えばコールセンターで蓄積された大量の音声データを元に、“声の分析”を試みることで顧客サービスの向上に活かそうとするケースも出てきています」

そこで今、必要とされているのが「データサイエンティスト」と呼ばれる、データ分析のスペシャリスト。すでにアメリカでは十数万人の不足が叫ばれているほど、ビッグデータ時代の中心的なポジションになるといわれている。
「データ設計スキルや統計学の知識を持つエンジニアのニーズは今後、間違いなく右肩上がりで増えるでしょう。その上でビッグデータ活用のカギを握るのが、これまで手つかずだった非構造化データを含めたデータの分析・管理。そのためには、『Hadoop』『並列リレーショナルデータベース』『NoSQL』『BIツール』『データマイニングツール』といった、ビッグデータ時代に対応した新技術を活用しながら、企業が求める戦略的なデータ分析管理を主導することがエンジニアに求められています」

「Hadoop」技術が旬 ビッグデータ関連の採用市場最前線


株式会社リクルートエージェント
グローバル人材サービス事業部
シニアコンサルタント
IT業界担当
廣瀬洋平氏

「自社でネットサービスを展開している企業やベンダーサイドを中心に、Hadoop経験のあるエンジニアの採用ニーズは増えている」と語るのは、ビッグデータ関連の採用市場に詳しい、株式会社リクルートエージェントの廣瀬氏。
2004年ごろからGoogleによって導入された「MapRedece」技術をはじめ、大量データ処理技術を持つエンジニアに対する採用ニーズは以前から高くあった。それが昨今のネット通信量の急激な増大、またSNS等に代表される非構造データをいかに低コストで分散処理できるかがビジネス上の大きな課題となりつつある中で、その解決のカギを握るHadoop技術を持つエンジニアに注目が集まっているのだ。
しかし決して、Hadoopだけが今後も採用市場で高い市場価値を持つわけではないとも、廣瀬氏は指摘する。
「本格的なビッグデータ時代が到来してまだ日が浅いこともあり、大量データを効率的に処理する技術はまだ成熟していない状況。今も日々、世界中のエンジニアがビッグデータに対応する新技術を開発し、オープンソースとして公開しています。ですから今後、Hadoop以上に優れた技術が主流になるケースも十分、考えられます」

重要なのはHadoopをはじめとした大量データ分散処理技術に対する関心が高いということ。一つ一つの技術のソースコードをチェックして、自分なりに大量データをどう効率的に処理していくかを考え、それを実証するため積極的に新しい技術を取り入れ挑戦していく姿勢こそ、本格的なビッグデータ時代を迎える今、最も必要とされているスキルともいえる。
その一方、先ほど紹介したような「データサイエンティスト」のように、データを専門的に分析するスキルを持つエンジニアの採用ニーズも今後、高まっていくことが予想される。しかし現状、高度な分析スキルのベースとなる、数学的な専門知識を持つ人材がことネットサービス業界において圧倒的に不足している。そのため、数学や統計・分析スキルを持つ人材の市場価値はさらに高まり、ネット業界以外からも広く採用しようとする動きが顕在化していく流れにあるという。

ビッグデータビジネス先進企業から見える、ビッグデータ時代に活躍するエンジニアの条件

2004年に創業した株式会社ブレインパッド。大量データ分析のための支援ビジネスを展開している同社は現在、各業種トップ5に入るような大手企業をメインに順調に成長している。現在のビッグデータ時代の到来を見越して起業したという同社代表取締役社長の草野氏から見て、現在のビッグデータブームをどのように捉えているのか、その詳細について伺った。

「Hadoop」+「従来型分析データベースツール」のハイブリッド技術によってビッグデータのトータル戦略が必要


株式会社ブレインパッド
代表取締役社長
草野 骼j氏

「ビッグデータの本格的な到来を予感したのは、ブロードバンド時代の到来。それによって加速度的にデータが増加しました。そして現在、ビジネスにおける日本の市場が縮小傾向にある中で、情報に付加価値を付けることの重要性がさらに高まってきました」と語る草野氏。特にECサイトやSNSを通した、ネットによる非対面コミュニケーションが増えている中で、顧客の情報をただ蓄えるだけでなく抽出・分析し、付加価値をつけていくことがネット企業だけでなく、さまざまな業種で求められているという。
その一方、大量データの分析ニーズは日に日に高まっているのにもかかわらず、そのニーズを受け止めるだけの人材や予算がないことが、ビッグデータ時代を迎える日本にとっての喫緊の課題だと、草野氏は指摘する。

「これまでの日本のIT投資の8割は“バックオフィスの効率化”に重点が置かれる一方、戦略販促の強化に対する投資は、あまり行われてきませんでした。しかし先ほど触れたように、これからのIT投資は確実に、ビッグデータのビジネス活用に回されるケースが増えてくるはずです。その一方で、これまで投資をしてこなかったわけですから、結果的にビッグデータに対応できるエンジニアが圧倒的に不足しているのが現状。今後、ますます大きな問題となっていくでしょう」
そこで同社では、ビッグデータが叫ばれる何年も前から、ビッグデータエンジニアの育成に力を入れてきた。特に「収集」「蓄積」「分析」「活用」という、ビッグデータを活用していくために必要な4つの分野をトータルでチェックし、戦略を立てられるスキルが重要となる。そのため、エンジニアは新技術に対してフリースタンスでいることで、日々生まれるさまざまな新技術をキャッチアップしていけるマインドを持つことが、これからのビッグデータ時代で活躍する絶対条件だという。
「例えば現在Hadoopが注目を集めていますが、高度で複雑なデータ処理を不得手とするなど、Hadoopが決して万能な技術というわけではありません。大事なのは『どう分析すべきか?』という視点を持ちながら、それにマッチしたツールを選ぶ技術の見極め。そのため当社ではHadoopと、従来の分析データベースツールをハイブリッド化させることで、クライアントの求めるデータ活用にこたえています」

新たなデータベース技術を積極的にキャッチアップして、ビッグデータの専門家になれるチャンスがある


株式会社ブレインパッド
サービスイノベーション室
小林 隆氏

2006年にブレインパッドに入社した小林氏は現在、大量のログ解析開発で、NoSQLやHadoopを活用しながら取り組んでいるエンジニア。
「これまではWebサイトの受託開発や、サーバやネットワーク開発などを担当してきましたが、ビッグデータの将来性に魅力を感じて転職したのが、入社理由です」

その小林氏が、エンジニアとしてビッグデータ処理を担当する上でのやりがいはどこにあるのだろうか?
「以前、バッチ処理で失敗した経験があって苦労したことがあります。それは処理に時間がかかること。でもHadoopやMapReduceなどの技術を活用することで、これまで1週間かかっていたものが6時間で終了する。その劇的な改善が目に見えてわかることは、私にとって大きなやりがいですね」
今ではHadoopを深く理解した上でビッグデータの分散処理に活用している小林氏だが、入社当時はデータ処理技術に対する知識や経験はあまりなかった。しかし小林氏は独学によって、そうした大量データ分散処理技術をキャッチアップしていったという。
「例えば『Hadoop』関連の勉強会などには積極的に参加しています。まだ未成熟技術なので、比較的短いスパンでその仕様やノウハウが結構頻繁に変わるんですね。そうして知識を吸収し、自分で実践してみることが重要なんだと思います。これから私のようにビッグデータに関わる仕事を選ぶのであれば、こうした形でデータベース技術を習得できるチャンスはあります」
小林氏自身の今後の目標は、大量データの分析処理上、不足しているツールを自分で開発し、オープンソースといして公開。やがてHadoopのように世界中の多くのエンジニアに活用してもらえる技術を確立することだという。

ビッグデータ時代に必要とされる、3つのスキル

今回の取材を通して見えてきた、本格的なビッグデータ時代の到来によって、エンジニアに必要とされる3つのスキルをまとめてみた。
1.HadoopやNoSQLなどビッグデータの分析や処理に必要不可欠な新技術の経験
2.上記以外でも次々に生まれる新技術に対して積極的にキャッチアップしていく姿勢
3.データ分析に関する専門知識やスキルの習得
これまでもニーズはあった大量データの保管や処理、そして活用に対して「ビッグデータ」というキーワードが生まれたことで今年、一気に注目を集めた。しかし現状、ビジネスとしてもまたエンジニアの採用面からしてもこれから、という状況ではあるが、今回ご登場いただいた方たちは、揃って「間違いなくビッグデータ市場は拡大していく」と断言している。だから今からでも、将来有望なビッグデータに対応できるスキルや経験を積むことは決して無駄ではないし、またオープンソースの技術が多い点では、未経験でも独学でキャッチアップできるチャンスがあるということ。来年、さらに大きな変化が予想されるビッグデータ市場の今後の動向から目が離せない。

  • はてなブックマークに追加
  • Yahoo!ブックマークに登録

このレポートに関連する企業情報です

データマイニング(分析)サービス、分析結果から最適化計算されたアクションプラン策定・実行、実行結果のフィードバック、効果検証フェーズ、キャンペーン管理システム提供など、データベースマーケティングに関する総合的なサービス提供を行っています。 【取引先】日本航空、セシール、日経BP、アスクル、博報堂、ドク…続きを見る

あなたを求める企業がある!
まずはリクナビNEXTの「スカウト」でチャンスを掴もう!
スカウトに登録する

このレポートを読んだあなたにオススメします

細胞蘇生技術を農業に転用、データマイニングで成長率400%

不況知らずの急成長企業☆トップが明かす3つの理由

赤字転落、下方修正、リストラ……多くの企業が非常に厳しい状況にある中でも、独自の技術やサービスで急成長を続ける企業は存在する。そ…

不況知らずの急成長企業☆トップが明かす3つの理由

週刊 やっぱりR&D 求人トレンド解析室

グリッドコンピューティング/高速化は「創造力」が鍵

求人トレンド解析室多数のコンピュータをネットワークでつないで1つのスーパーコンピュータのように稼働させる技術。既に数年前から世界で注目さ…

グリッドコンピューティング/高速化は「創造力」が鍵

新たにスタジオ制を導入した狙いとは?

「エンジニア社長」池田氏が語る新生gloopsの開発体制

人気企業の採用実態国内トップクラスのソーシャル・アプリケーション・プロバイダーであるgloops(グループス)が、スタジオ制の導入を発表…

「エンジニア社長」池田氏が語る新生gloopsの開発体制

月間1,500万人以上のユーザーが利用するSNS「mixi」を学問的にひも解く

ミクシィと早稲田大学がデータで明かすSNSの楽しさ

人気企業の採用実態2011年にミクシィと早稲田大学大学院商学研究科は、「mixi」上のユーザー一人当たりのつながりとコミュニケーションの…

ミクシィと早稲田大学がデータで明かすSNSの楽しさ

Hadoopを始めとする高度な分析技術、独自の広告効果測定技術etc.

サイバーエージェントが拓くネット広告の高度分析技術

人気企業の採用実態サイバーエージェントのインターネット広告代理事業。現在、個別ユーザーの関心に応じた広告を表示する高度な分析技術をはじめ、インタ…

サイバーエージェントが拓くネット広告の高度分析技術

応募者は「イケた!」と思ったのに……なぜ不採用?

スキルが高い人材でも「NG」を出した人事の証言

求人の募集要項にあるスキルは満たしていたのに、なぜか結果は不採用。そんな経験をした人も多いのでは? では、採用に至らな…

スキルが高い人材でも「NG」を出した人事の証言

この記事どうだった?

あなたのメッセージがTech総研に載るかも

あなたの評価は?をクリック!(必須)

あなたのご意見お待ちしております

こちらもお答えください!(必須)

歳(半角数字)
(全角6文字まで)
  • RSS配信
  • twitter Tech総研公式アカウント
  • スカウト登録でオファーを待とう!
スマートグリッド、EV/HV、半導体、太陽電池、環境・エネルギー…電気・電子技術者向け特設サイト

PAGE TOP