• はてなブックマークに追加
  • Yahoo!ブックマークに登録
Hadoopを利用したデータ解析、検索技術で売上拡大を実現する
楽天エンジニアが挑む、ビッグデータの分析・活用とは
楽天市場の商品数は約8800万。会員数7000万人超がアクセスするトラフィックはピーク時に20Gbpsを超える。同社は、このビッグデータをどのように解析し、活用しているのか。最前線で活躍するエンジニアに聞いた。
(取材・文/中村伸生 総研スタッフ/宮みゆき)作成日:12.02.10
サービス品質を大きく引き上げる、Eコマースの膨大なデータの解析と活用

 ユーザーからのアクセスログは、Eコマースを運営する事業者に、貴重な情報をもたらす。どのような画面遷移で購入ページにたどり着き、何を購入したか。その行動分析と販売データには、新たなビジネスチャンスとなる宝の山があるからである。

 一例を挙げれば、Webサービスの場合、よりユーザーの心に響くレコメンデーションの提供につながり、表示される画面のパーソナライゼーションを可能にする。他にも、サービスの品質を大きく向上させる様々なマーケティングデータとしての活用が可能だ。このように、多様な価値が潜むユーザーの大量のアクセスログは、事業者から見ればまさに宝の山と言えるだろう。

 ピークタイムには1分間で1000件を超える購入が行われている楽天のEコマース。ページビューも1日当たり1億に達するという。これほどのデータを活用しない手はない。当然のことだが、統計上で解析の対象となる母集団の数が多ければ多いほど、マーケティングデータとしての精度は高まり、有用な価値として収斂される。

 しかし、アクセスの規模が大きくなれば大きくなるほど、新たな課題が生じる。あまりにも膨大すぎて、データの管理や解析が容易ではなくなるのだ。しかも、絶えずデータは増え続けていく。

 楽天もこの問題に直面していた。本来ならばリアルタイムでデータを解析し、その結果を適切に加工してユーザーの画面に表示したいところである。何故ならば、例えば人気の赤いカバンを買ったばかりのユーザーに、次の購入動機の形成のために同じ赤いカバンをその後何日にもわたってリコメンドするのは意味が無いからである。こうした不都合を解消しようにも、従来までのデータマイニングの手法では処理が到底追いつかない。そこで同社は独自のデータ処理技術の構築に乗り出した。


独自プロダクトの開発活用で、大量データの処理時間を大幅に短縮化

 まず構築したのは楽天スーパーDBである。楽天は「楽天市場」「楽天トラベル」「楽天銀行」など、多様なビジネス・サービスをWeb上で展開しているが、その一つ一つから得られたデータを集約。商品・サービスDB、顧客属性DB、購買履歴DB、閲覧履歴DBを統合した。さらに、これらのデータを活用し、楽天の様々なサービスにデータの解析内容を還元するレコメンデーションプラットフォームとして楽天技術研究所の技術を活用し、TOHOが構築されたのである。このプラットフォームは、各サービスの特性ごとにリコメンドロジックのカスタマイズが可能で、各種のパーソラナズサービスなどに活用されている。

 そして、さらに膨れ上がるデータの処理を目的に、独自プロダクトの開発にも乗り出した。まずは分散データストレージとして「ROMA」が開発された。これは、分散キー・バリュー型のデータストアで、データを「キー」と「値(バリュー)」の組み合わせとして保存する。キーに応じてデータを複数のサーバに分散して保存させるため、サーバの増設によってデータ容量やスループットを容易に向上させることができる。その上、複製データを複数のサーバで保存するので耐障害性の面でもメリットが大きい。

 このROMA は、楽天と、プログラミング言語「Ruby」の開発者である、まつもとゆきひろ氏によって開発が進められた。まつもと氏は、楽天技術研究所のフェローも務めている。また、ROMAはオープンソースとしてソースコードが公開されている。

 データの処理に関しても、高速化が図られた。オープンソースの分散処理プラットフォームである「Hadoop」の活用である。楽天は2008年と早期からHadoopの検証を進め、その運用技術の蓄積を行ってきた。翌年春には早くも運用を開始。現在ではその活用対象の範囲を広げている。Hadoopによるデータ処理の高速化は顕著で、販売ランキングの集計処理で言えば、従来まで数日かかっていたものが数時間に短縮。デイリーランキングの表示を可能にした。他にもスケーラビリティの確保や煩雑な運用からの開放など、Hadoop導入のメリットは大きいようである。


検索周辺技術の進化が売上拡大を引き寄せる
安井 卓氏
シニアエンジニア
サーチ運用グループ

安井 卓氏

 次に、楽天内でビッグデータの高速処理技術を確立し、実際のビジネスに大きく貢献させた例を紹介しよう。お話をお聞きしたのはサーチ運用グループの方々である。まず、なぜ検索(サーチ)に関する開発が大量データの高速処理技術に関連するのか、技術リーダーの安井氏に伺った。

「楽天は楽天市場や楽天トラベルなど広範囲なサービス領域を形成していて、一つのIDで様々な消費活動が行えます。そんな楽天経済圏を意のままに回遊しようとすれば、検索サービスを使いこなす必要があります。そこで楽天ではユーザーが個別に望む、あるいは潜在的に必要とする検索結果を表示するように努めています。そうすることによって、モール全体の魅力が向上し、訪れたユーザーの購買意欲をいっそう引き出せるからです。一種の検索エンジン最適化と言えるでしょう。そのためにユーザーの膨大な検索ログを解析し、ユーザーの行動分析や販売データで得た解析結果を反映させていけば、より一層顧客の望む検索結果を提供できるようになります。
また、検索結果の表示だけではなく、検索ワードを入力するフォームの下に出てくる候補ワードのサジェスト表示にも、検索ログの解析結果を積極的に反映させています。サーチ運用グループの中で私と杉木が主に担っているのは、主にこうした検索補助機能の確度向上です」

 楽天のサービスで、検索フォームにワードを入力した際に、後に続く候補ワードの確度の高さから、このサジェスト機能を便利だと感じた人は少なくないだろう。この機能の向上に技術の面から取り組む安井氏は、流通に与える影響が極めて大きいと言う。
「Hadoopを導入して、より大量のデータを高速処理できるようになったことから、よりきめ細かいサジェストが可能になりました。その結果、Hadoop導入以前と比べてユーザーの利用率が20%以上もアップしたのです。流通が活性化したのは間違いありません。確実に利益を生んだ技術導入でした」

 実際に、プロデューサーとしてエンジニアサイドとビジネスサイドの双方にわたって活躍する宮沢氏は、楽天のエンジニアたちを心強いと評する。
「安井や杉木たちの開発成果によって、検索ワードの有用性に気づかされました。例えば後で検証してみたのですが、震災時に『放射能』というワードから、ガイガーカウンターだけではなく、飲料水のニーズまで把握できていたのです。このデータ活用は面白いと感じました。現在、検索ワード解析をマーケティングデータとして活用すべく、ビジネスサイドを動かしています。広告やマーケティングだけではなく、シンクタンク的に情報を提供するビジネスにも進化できないかと模索中です。グローバルにも対応していきたいですね」

杉木 健二氏
エンジニア
サーチ運用グループ

杉木 健二氏
開発部門のプロフィットセンター化を主導するエンジニアたち
宮沢 幸子氏
プロデューサー
サーチ運用グループ

宮沢 幸子氏

 一方、こうした積極的な取組みをバックアップしてくれる風土が、楽天にはあると杉木氏は答える。
「開発テーマはビジネスサイドから出てくることも多いのですが、その逆も少なくありません。OSSなど、どんどん新しい技術を取入れ、それを活かした新しいサービスに関するアイデアなどを、エンジニアサイドから事業部門に提案できる環境なのです。しかも、新技術を検証し、アジャイル開発で早期にサービスインさせて効果を見るというサイクルを早く回しているのが、楽天の開発部門の特長です。
エンジニアにとって、これほど刺激的な環境はありませんよ。加えて、自分のやりたいことを主張しやすいですし、それを認めてくれる役員クラスも身近にいます。風通しが良い社風なのですね。私は現在、大規模データのリアルタイム解析処理技術と、それに付随するNoSQLに関心を持って技術を深耕しています。社内の開発部門には一つの領域のエキスパートがたくさんいますし、楽天技術研究所との交流も盛んです。技術のリソースには困ったことがありません」

 続けて安井氏は、開発部門のプロフィットセンター化をどんどん進めていきたいと語る。
「楽天は、与えられたミッションだけをこなせば良いと考えるエンジニアには向いていません。みんな、職務をまっとうしながら、どんどんと新しい興味の対象技術を見つけて自発的に取り組んでいます。また、そうしたアクションが奨励される風土です。このような数々の取組みの中から、ビジネスサイドを動かすアイデアや提案が幾つも生まれています。
その中には、楽天の流通拡大に大きく寄与し、商売の成功を引き寄せた技術も少なくありません。社内では開発部門をコストセンターではなく、売上拡大に貢献するプロフィットセンターとして期待されていると思っています。少なくとも私は、常にそう意識しながら日々の開発に挑んでいます。エンジニアであっても、自分たちが開発したものがいかに会社の収益に繋がるかという視点をきちんと持つべきだと考えているからです」

 ビッグデータの処理技術というトレンドの先端テクノロジーを先導し、それをビジネスへと昇華させていこうとするエンジニアたちがいる楽天。そんな同社は、サービスの更なる展開やグローバル化推進を見据えてエンジニアの中途採用を拡大させている。先端の技術スキルと事業の当事者としての手応えの両方を獲得したいと考えるなら、真っ先に候補に挙げたい企業と言えるのではないだろうか。

シニアエンジニア サーチ運用グループ 安井 卓氏

オープンソースのエンジニア向けWebサイトの立ち上げを経て、2010年1月に楽天入社。CGMのコンテンツがついたEコマースを手掛けてみたいと考えたのが転職理由。

プロデューサー サーチ運用グループ 宮沢 幸子氏

2006年、楽天に入社。新卒で大手SIerに入社し、上流工程を担っていたが、顧客の要件に従って行う開発ではなく、自分たちの手で新しい事業にチャレンジできる企業として楽天を選択した。

エンジニア サーチ運用グループ 杉木 健二氏

検索技術の研究で博士号を取り、楽天に2010年に新卒入社。学生時代より研究会でしばしば楽天のエンジニアと交流し、その技術レベルの高さを知っていた。

  • はてなブックマークに追加
  • Yahoo!ブックマークに登録

このレポートに関連する企業情報です

楽天は、Eコマース、FinTech、デジタルコンテンツ、通信など、70を超えるサービスを展開し、世界12億以上のユーザーに利用されています。これら様々なサービスを、楽天会員を中心としたメンバーシップを軸に有機的に結び付け、他にはない独自の「楽天エコシステム」を形成しています。続きを見る

あなたを求める企業がある!
まずはリクナビNEXTの「スカウト」でチャンスを掴もう!
スカウトに登録する

このレポートの連載バックナンバー

人気企業の採用実態

あの人気企業はいま、どんな採用活動を行っているのか。大量採用?厳選採用?社長の狙い、社員の思いは?Tech総研が独自に取材、気になる実態を徹底レポート。

人気企業の採用実態

このレポートを読んだあなたにオススメします

グローバル構想を先端技術で導き、サービス領域拡大を目指す

楽天の海外進出を拡大させるエンジニアたちの活躍とは

人気企業の採用実態楽天が海外各地での事業展開や、海外有力企業の買収によるサービス領域拡大を進めている。グローバル構想をWeb上に実装し、魅力的なサ…

楽天の海外進出を拡大させるエンジニアたちの活躍とは

電子書籍サービス「kobo」、英語公用語化で進むグローバル戦略

三木谷社長が自ら語る「楽天はどこに向かうのか?」

店舗数3万9000店以上、流通総額(取扱高)も1兆円を超えた楽天市場を中心にさまざまな事業を展開する楽天。現在、電子書…

三木谷社長が自ら語る「楽天はどこに向かうのか?」

楽天テクノロジーカンファレンス2011 “Embrace BIG Change!”

楽天が目指す変革──Globalization、Agile、Big Data

人気企業の採用実態国内最大のeコマース・サイト「楽天市場」を運営、2010年の「英語の社内公用語化」宣言に、中国検索最大手「百度」との合弁事業開始…

楽天が目指す変革──Globalization、Agile、Big Data

現地対談!グローバル人材に必要なのは、他流試合を厭わないこと

MIT石井裕教授と語る“世界で闘える人材”育成とは

マサチューセッツ工科大学(MIT)メディアラボ。世界を刺激し続けているデジタル技術の研究・教育拠点だ。今回はそのMIT…

MIT石井裕教授と語る“世界で闘える人材”育成とは

新規事業のスクラム活用、Flare、Haskellなどの最新技術を導入

世界中から集まるグリーエンジニアたちの技術力に迫る

人気企業の採用実態外国人エンジニアも積極的に採用しているグリー。国籍に関わらずエンジニアが働きやすい環境であるため、彼らも高いパフォーマ…

世界中から集まるグリーエンジニアたちの技術力に迫る

やる気、長所、労働条件…人事にウケる逆質問例を教えます!

質問を求められたときこそアピールタイム!面接逆質問集

面接時に必ずといっていいほど出てくる「最後に質問があればどうぞ」というひと言。これは疑問に思っていることを聞けるだけで…

質問を求められたときこそアピールタイム!面接逆質問集

この記事どうだった?

あなたのメッセージがTech総研に載るかも

あなたの評価は?をクリック!(必須)

あなたのご意見お待ちしております

こちらもお答えください!(必須)

歳(半角数字)
(全角6文字まで)
  • RSS配信
  • twitter Tech総研公式アカウント
  • スカウト登録でオファーを待とう!
スマートグリッド、EV/HV、半導体、太陽電池、環境・エネルギー…電気・電子技術者向け特設サイト

PAGE TOP