楽天エンジニアが挑む、ビッグデータの分析・活用とは


楽天市場の商品数は約8800万。会員数7000万人超がアクセスするトラフィックはピーク時に20Gbpsを超える。同社は、このビッグデータをどのように解析し、活用しているのか。最前線で活躍するエンジニアに聞いた。（取材・文／中村伸生　総研スタッフ／宮みゆき）作成日：12.02.10

　ユーザーからのアクセスログは、Eコマースを運営する事業者に、貴重な情報をもたらす。どのような画面遷移で購入ページにたどり着き、何を購入したか。その行動分析と販売データには、新たなビジネスチャンスとなる宝の山があるからである。

　一例を挙げれば、Webサービスの場合、よりユーザーの心に響くレコメンデーションの提供につながり、表示される画面のパーソナライゼーションを可能にする。他にも、サービスの品質を大きく向上させる様々なマーケティングデータとしての活用が可能だ。このように、多様な価値が潜むユーザーの大量のアクセスログは、事業者から見ればまさに宝の山と言えるだろう。

　ピークタイムには1分間で1000件を超える購入が行われている楽天のEコマース。ページビューも1日当たり1億に達するという。これほどのデータを活用しない手はない。当然のことだが、統計上で解析の対象となる母集団の数が多ければ多いほど、マーケティングデータとしての精度は高まり、有用な価値として収斂される。

　しかし、アクセスの規模が大きくなれば大きくなるほど、新たな課題が生じる。あまりにも膨大すぎて、データの管理や解析が容易ではなくなるのだ。しかも、絶えずデータは増え続けていく。

　楽天もこの問題に直面していた。本来ならばリアルタイムでデータを解析し、その結果を適切に加工してユーザーの画面に表示したいところである。何故ならば、例えば人気の赤いカバンを買ったばかりのユーザーに、次の購入動機の形成のために同じ赤いカバンをその後何日にもわたってリコメンドするのは意味が無いからである。こうした不都合を解消しようにも、従来までのデータマイニングの手法では処理が到底追いつかない。そこで同社は独自のデータ処理技術の構築に乗り出した。

　まず構築したのは楽天スーパーDBである。楽天は「楽天市場」「楽天トラベル」「楽天銀行」など、多様なビジネス・サービスをWeb上で展開しているが、その一つ一つから得られたデータを集約。商品・サービスDB、顧客属性DB、購買履歴DB、閲覧履歴DBを統合した。さらに、これらのデータを活用し、楽天の様々なサービスにデータの解析内容を還元するレコメンデーションプラットフォームとして楽天技術研究所の技術を活用し、TOHOが構築されたのである。このプラットフォームは、各サービスの特性ごとにリコメンドロジックのカスタマイズが可能で、各種のパーソラナズサービスなどに活用されている。

　そして、さらに膨れ上がるデータの処理を目的に、独自プロダクトの開発にも乗り出した。まずは分散データストレージとして「ROMA」が開発された。これは、分散キー・バリュー型のデータストアで、データを「キー」と「値（バリュー）」の組み合わせとして保存する。キーに応じてデータを複数のサーバに分散して保存させるため、サーバの増設によってデータ容量やスループットを容易に向上させることができる。その上、複製データを複数のサーバで保存するので耐障害性の面でもメリットが大きい。

　このROMA は、楽天と、プログラミング言語「Ruby」の開発者である、まつもとゆきひろ氏によって開発が進められた。まつもと氏は、楽天技術研究所のフェローも務めている。また、ROMAはオープンソースとしてソースコードが公開されている。

　データの処理に関しても、高速化が図られた。オープンソースの分散処理プラットフォームである「Hadoop」の活用である。楽天は2008年と早期からHadoopの検証を進め、その運用技術の蓄積を行ってきた。翌年春には早くも運用を開始。現在ではその活用対象の範囲を広げている。Hadoopによるデータ処理の高速化は顕著で、販売ランキングの集計処理で言えば、従来まで数日かかっていたものが数時間に短縮。デイリーランキングの表示を可能にした。他にもスケーラビリティの確保や煩雑な運用からの開放など、Hadoop導入のメリットは大きいようである。

シニアエンジニア
サーチ運用グループ
安井卓氏

　次に、楽天内でビッグデータの高速処理技術を確立し、実際のビジネスに大きく貢献させた例を紹介しよう。お話をお聞きしたのはサーチ運用グループの方々である。まず、なぜ検索（サーチ）に関する開発が大量データの高速処理技術に関連するのか、技術リーダーの安井氏に伺った。

「楽天は楽天市場や楽天トラベルなど広範囲なサービス領域を形成していて、一つのIDで様々な消費活動が行えます。そんな楽天経済圏を意のままに回遊しようとすれば、検索サービスを使いこなす必要があります。そこで楽天ではユーザーが個別に望む、あるいは潜在的に必要とする検索結果を表示するように努めています。そうすることによって、モール全体の魅力が向上し、訪れたユーザーの購買意欲をいっそう引き出せるからです。一種の検索エンジン最適化と言えるでしょう。そのためにユーザーの膨大な検索ログを解析し、ユーザーの行動分析や販売データで得た解析結果を反映させていけば、より一層顧客の望む検索結果を提供できるようになります。
また、検索結果の表示だけではなく、検索ワードを入力するフォームの下に出てくる候補ワードのサジェスト表示にも、検索ログの解析結果を積極的に反映させています。サーチ運用グループの中で私と杉木が主に担っているのは、主にこうした検索補助機能の確度向上です」

　楽天のサービスで、検索フォームにワードを入力した際に、後に続く候補ワードの確度の高さから、このサジェスト機能を便利だと感じた人は少なくないだろう。この機能の向上に技術の面から取り組む安井氏は、流通に与える影響が極めて大きいと言う。
「Hadoopを導入して、より大量のデータを高速処理できるようになったことから、よりきめ細かいサジェストが可能になりました。その結果、Hadoop導入以前と比べてユーザーの利用率が20％以上もアップしたのです。流通が活性化したのは間違いありません。確実に利益を生んだ技術導入でした」

　実際に、プロデューサーとしてエンジニアサイドとビジネスサイドの双方にわたって活躍する宮沢氏は、楽天のエンジニアたちを心強いと評する。
「安井や杉木たちの開発成果によって、検索ワードの有用性に気づかされました。例えば後で検証してみたのですが、震災時に『放射能』というワードから、ガイガーカウンターだけではなく、飲料水のニーズまで把握できていたのです。このデータ活用は面白いと感じました。現在、検索ワード解析をマーケティングデータとして活用すべく、ビジネスサイドを動かしています。広告やマーケティングだけではなく、シンクタンク的に情報を提供するビジネスにも進化できないかと模索中です。グローバルにも対応していきたいですね」

エンジニア
サーチ運用グループ
杉木健二氏

プロデューサー
サーチ運用グループ
宮沢幸子氏

　一方、こうした積極的な取組みをバックアップしてくれる風土が、楽天にはあると杉木氏は答える。
「開発テーマはビジネスサイドから出てくることも多いのですが、その逆も少なくありません。OSSなど、どんどん新しい技術を取入れ、それを活かした新しいサービスに関するアイデアなどを、エンジニアサイドから事業部門に提案できる環境なのです。しかも、新技術を検証し、アジャイル開発で早期にサービスインさせて効果を見るというサイクルを早く回しているのが、楽天の開発部門の特長です。
エンジニアにとって、これほど刺激的な環境はありませんよ。加えて、自分のやりたいことを主張しやすいですし、それを認めてくれる役員クラスも身近にいます。風通しが良い社風なのですね。私は現在、大規模データのリアルタイム解析処理技術と、それに付随するNoSQLに関心を持って技術を深耕しています。社内の開発部門には一つの領域のエキスパートがたくさんいますし、楽天技術研究所との交流も盛んです。技術のリソースには困ったことがありません」

　続けて安井氏は、開発部門のプロフィットセンター化をどんどん進めていきたいと語る。
「楽天は、与えられたミッションだけをこなせば良いと考えるエンジニアには向いていません。みんな、職務をまっとうしながら、どんどんと新しい興味の対象技術を見つけて自発的に取り組んでいます。また、そうしたアクションが奨励される風土です。このような数々の取組みの中から、ビジネスサイドを動かすアイデアや提案が幾つも生まれています。
その中には、楽天の流通拡大に大きく寄与し、商売の成功を引き寄せた技術も少なくありません。社内では開発部門をコストセンターではなく、売上拡大に貢献するプロフィットセンターとして期待されていると思っています。少なくとも私は、常にそう意識しながら日々の開発に挑んでいます。エンジニアであっても、自分たちが開発したものがいかに会社の収益に繋がるかという視点をきちんと持つべきだと考えているからです」

　ビッグデータの処理技術というトレンドの先端テクノロジーを先導し、それをビジネスへと昇華させていこうとするエンジニアたちがいる楽天。そんな同社は、サービスの更なる展開やグローバル化推進を見据えてエンジニアの中途採用を拡大させている。先端の技術スキルと事業の当事者としての手応えの両方を獲得したいと考えるなら、真っ先に候補に挙げたい企業と言えるのではないだろうか。