データ爆発時代のインフラエンジニア、生き残りの条件

「数年前に比べて、特にエンタメ系のB to Cビジネスにおける大量データ化の流れは加速度的に勢いを増している」と指摘する伊勢氏。その最大の要因は、利用者のコンテンツクオリティの要求レベルアップ。数年前なら多少解像度の低い画像や動画でも満足できたものが、ハイビジョン画像の普及などの影響で「データの質」を重視するユーザーが増えた結果、通信・保存されるデータ量が劇的にアップしたのだ。

そこで今、危惧されているのが大量データを蓄積するストレージやNASなどサーバ側の圧倒的な容量不足。
「確かにこの数年で、ストレージの大容量化などサーバ側も進化していますが、その進化をはるかに超える勢いで大量データ化が進行しているのが現状。特に現在活況を呈しているソーシャル系コンテンツの場合、こちらが予想できないスピードでやり取りされるトラフィックが増えています。そこでもしサーバ側のデータ容量が切迫してくると、データの出し入れのレスポンスが遅延することにもなり、そうなれば確実にユーザー離れを引き起こすことに。まさに企業にとって致命的な事態になりかねない状況が、今すぐ目の前に迫っている危機的状況にあると言えるでしょう」

今後、ますます大量データ化が進む中で、現場の最前線にいるインフラエンジニアに求められる能力は何なのか？その問いに対して、伊勢氏は2つのキーワードを提示してくれた。
ひとつは「仮想化技術の追求」。リアルなインフラ設備をどれだけフル活用しようとしても、コストや運用面などの観点で見ればおのずと限界がある。そこで「仮想化」というテーマに注目が集まるわけだ。
「いかにして任意のストレージ空間を生み出せるか。そのために仮想化したストレージやストレージをつなぐ仮想ネットワークを実用化させていくことが今求められていて、仮想化をテーマにした勉強会や事例紹介が頻繁に行われています。同じく最近注目されているHadoopやMapReduceに関しても、こうした仮想化技術とどうやってうまく組み合わせていくのか、今まさに全国のインフラエンジニアたちが取り組んでいるところです」

またもうひとつのカギが「モノ作り」だ。インフラエンジニアの場合、これまではモノ作りの領域から離れた立場にいるケースが多かったが、これからはインフラエンジニアといえど、否応なしにモノ作りに対して積極的にアプローチしていく姿勢が必要不可欠な時代になると伊勢氏は指摘する。
「例えばHadoopのような技術も単にそれだけを覚えれば済むわけではなく、カスタマイズすることで最適なシステムを築き上げる力が必要なのです。またこれも一例ですが、ニフティクラウドサービスを手がけたインフラエンジニアは、VMwareなどの既存製品に頼るだけではなく、さまざまなツールを自作し組み合わせる事でインフラ環境を構築しました。つまりこれからの時代、何かモノを買って解決できるケースが減少していく一方で、自分たちで新たなシステムを作り上げていかなければならないのです」
伊勢氏いわく、モノ作りの最低ノルマとして「OSやルーターをスクラッチでプログラミングできるレベル」とのこと。これからは「インフラエンジニア」から「インフラシステムプログラマー」にキャリアアップすることが、大量データ時代で活躍する絶対条件になりそうだ。

「サーバインフラとインターネット回線という2つの領域で見たとき、明らかにサーバインフラの処理能力がボトルネックになっている」と指摘するのは、インフラエンジニア向け勉強会を主催するなど、インフラに精通している馬場氏。
しかし馬場氏は、大量データをどう処理するかという方法論に目を向ける前に必ずするべきことがあると力説する。それは「データの見極め」だ。
「クライアントが保有している大量のデータの中身を精査してみると、必ずしもそのすべてのデータが業務上、本当に必要なのか疑わしいケースは必ずあるもの。特にアクセスログに関しては、過去数年分の膨大なデータを日常的にアクセスする必要があるケースが稀です。それならば、『直近1年分のデータを除いた過去のデータはアーカイブ化する』という判断をすることで、簡単に大量データを効率的かつ低コストで処理対応できるはず。そうしたデータ内容を見極める判断力が、インフラエンジニアに必須の能力となるはずです」

そうしたデータの質を判断した上で、現有のインフラ設備で対応できるものはそのまま活用し、それでも難しければその時点でHadoopやMapReduce、データマイニングなどの並列・分散処理方法を考えた上での解決策を模索していくべきだと馬場氏は指摘する。

以上のような流れを受けて今後、さらにインフラエンジニアが大量データ時代で活躍していくための条件として、馬場氏は「インフラ・アプリ両面からビジネス全体を理解できること」を挙げる。
「これまではインフラのある特定の領域のみを理解していれば運用や保守なども含めて対応できていた部分はあります。しかしこれからはクライアントのビジネス全体を理解した上でデータフローやユーザーアクションをどれだけリアルにイメージできるかが、インフラエンジニアに問われるはず。その上でどのようなインフラシステムがクライアントのビジネスに最適なのかを、インフラエンジニア自ら提案していくことがまさに今、求められているのです」

またインフラエンジニアがそうなっていくために、ビジネス環境やインフラ技術がこの先、どう変化・進化していくのかを予測する能力も重要だという。
「現状を的確にとらえ、変化の“ヒント”を集めることだと思います。例えば私が主催する勉強会のようなイベントに参加して、同じ参加者に『サーバのリプレイスどうしてます？』なんていう質問を投げかけることでリアルな情報や意見を交換したり、グーグルなどの巨大なサーバインフラを支える先端技術の導入事例を学んだり。このように自分から積極的に動いていく姿勢こそ、これからのインフラエンジニアがまず身につけなければならないもっとも重要な要素なのではないでしょうか」