• はてなブックマークに追加
  • Yahoo!ブックマークに登録

純粋?異常?○○すぎるエンジニア vol.4

18億レコードをエクセルで分析!?
膨大なデータ分析に挑む

何かに対して深いこだわりを持つエンジニア、つまり“○○すぎるエンジニア”を探すこの企画。今回紹介するのは、学生のころからのライフワークにしている膨大な「データ分析」に、表計算ソフトのエクセルを駆使して挑み続けているエンジニアだ。

(総研スタッフ/山田モーキン) 作成日:11.02.17

テーマはゲームから株価、そして無限に……データ分析の虜となったエンジニア


○○すぎるエンジニア
ケン・ミレニアム株式会社
システム部 主任研究員
藤村 匠氏

 2009年、藤村匠氏(32歳)はある特異なシミュレーションソフトを開発した。
何万パターンものシミュレーション条件を絶妙に、臨機応変に変更でき、膨大に蓄積された株価データから自動で分析、条件設定から結果判定までシームレスに実現する。それまで技術者が手作りのシミュレーション方法を使って一つ一つ分析し、何日もかかって結果を得ていたものが、すべて自動でかつ数時間で行えるようになった。

藤村氏はわずか2カ月余りでシミュレーションソフトの基本部分を開発。その後10カ月程度かけておよそ18億レコード(4万パターン)にも及ぶ膨大な株価のデータ分析に取り組んだ末、それまで世界中のどの研究機関でも実現しえなかった『市場転換点分析』ソフトを完成、リリースすることに成功した。
シミュレーションというと、プログラムが複雑で難しそうなイメージがあるが、意外にも一般的に使われる表計算ソフト「エクセル」を使って完成させたという。進捗管理や設計書などで使っている話は聞くが、どういうことなのか?

また、通常であればこれだけ膨大なデータ分析を地道に取り組むのは、かなりの根気と努力が必要だが本人いわく、「データ分析が、自分のライフワーク」だと涼しげな顔で語る。
藤村氏がデータ分析にかける思いの裏には、どんな理由があるのか?早速、本人に語ってもらおう。

学生時代、趣味で始めたゲームのデータ分析からすべてがはじまった


日々、モニターに表示される無数の株価データの山。これが、藤村氏が挑むデータ分析のテーマだ

 私がデータ分析に関心を持ったきっかけ、それは学生時代にはまったゲームでした。例えばRPGなら、モンスターの体力や特徴を入力して分析を行い「このモンスターならこの方法で攻撃するのがベスト」という最適パターンを導き出すプログラムを開発してみたり。またパズルゲームでどうしても解けない問題があり、悔しくて膨大なパターンの中から最短時間でクリアするための攻略法を導き出すプログラムを作ってみたりもしました。そうした経験を通して、無数のデータから有益な結果を導き出すことの面白さを覚えたのが、今の仕事にも通じていると思いますね。

一昨年に開発した株価のシミュレーションソフトも、基本的にはゲームと同じで、無数の条件やデータを組み合わせながらシミュレーション分析し、条件ごとに良し悪しを判断するもの。しかしゲームと違って大変だったのが、まず私自身が株に対する知識があまりない状態だったこと(笑)。例えば業績が悪化した銘柄って当然、株価も下がると思うじゃないですか。でも中には上がる銘柄があったりするなど、一定のルールが無いんですよね。また株価に影響を与えるデータが膨大であることも大変でした。業績や市場動向のさまざまな指標や数値も合わせて考慮する必要があるため、データ量は膨大かつ複雑になります。

結局、基本的なシステムは2カ月ほどで完成したのですが、その後のデータ検証作業に10カ月もかかることに。最終的には18億レコードにも及ぶ検証と、分析方法も相当なパターン数になっていました。(※現在は、リリース後に3つの追加ソフトを開発。24億レコードまで増加している)
実際には打ち合わせ→抽出→再検証や機能追加・変更の繰り返しで、かなり地味で根気のいる作業。それでも私にとっては、数をこなしていく中で想像もしていなかった『事実』が見えてきて、「実はそうだったんだ!」という驚きの発見があってワクワクしたり、パフォーマンスが上がっていく等、目に見える結果が出てくることが楽しかったですね。

シミュレーションで表計算ソフトを使うってどういうこと?


「最初は“開発言語はエクセルVBAです!”って恥ずかしくて言えなかった」という藤村氏

 数年前から「シミュレーションソフト」を作りたいと思っていて、柔軟に条件を変更できるようにオブジェクト指向言語を使って、インターフェースはPHPで、データはOracleを使おうかと考えていました。
しかしシミュレーションソフトの要件定義で、日々仕様が増えていく。多分、完成してからもデータ項目が増えたり仕様が変わったりする。しかも、1つの検証に開発〜抽出〜分析結果で2.3日かかっていたら遅いとの指摘も。

プライベートでは、簡単な分析やデータを収集するのにエクセルを利用していましたが、「研究するのに Excel(VBA)って……」という私自身の勝手なイメージがあったので、検討すらしていませんでした。しかし、分析データが増えても簡単に追加でき、仕様や条件・表示方法を臨機応変に対応するとなると、「使い慣れているエクセルで作ってみようか」と思い選択しました。
この選択が功を奏して、研究発表中に数値の変更やグラフ表示を変更、分析の観点を変えた新しい表・グラフなど、その場でExcelを変更・作成して、確認・了承を得ることができたため、次々に出てくる研究項目を迅速に消化できたんです。その結果、精度の高いサービスを提供することできました。もしCやJavaを使っていたら、打ち合わせ〜再設計・修正〜数日後の再レビューの繰り返しで、結果が出ていなかったと思います。

現在の研究段階では、一つ一つのデータに対して、人の考えを組み込んでさらに精度を高めているため、時間がかかっているのが現状。やはり研究員としては、「人の手を全く関与することなく自動で分析できる究極のソフトを作りたい!」という思いを強く持っていますね。
さらに飛躍すれば、株価だけでなくあらゆる数値を伴うデータに対しても対象範囲を広げ、分析できるソフトを生み出すことも可能です。例えば政治家の発言を数値化し、分析することで次の発言を予想したり、外部に与える影響度合いを計算するシミュレーションソフトとか(笑)。
そんな夢を持てるからこそ今も、そしてこれからも日々、膨大なデータと向き合って苦しんだり、楽しんだりできるこの仕事が好きなのかもしれません。

藤村さんが勤務する企業:ケン・ミレニアム株式会社の事業方針


ケン・ミレニアム株式会社
代表取締役 副社長
速水 千秋氏

 当社は現在、主に個人投資家を対象に株式投資教育や自社開発した投資ソフトサービスを提供しています。また社内でも個人投資家の傾向を分析するソフト、コールセンター機能、メール配信システム、顧客管理システムや社員の評価システムなど臨機応変に対応するためにすべて自社開発を行ってます。
社員数は20名弱、そのうちエンジニアは5名と少数精鋭部隊ですが、今回紹介した藤村をはじめ、個性が強く、それぞれが自分の研究テーマに没頭するほど強いこだわりを持っています。お金のためではなく、自分の研究によって世の中を変えたい、人を幸せにしたいと本気で考えるエンジニアが活躍していることが、当社の強み。
その中で藤村は、いい意味で冷静で技術者と経営者やユーザーの間に立ってコミュニケーションができる「通訳者」的存在。さらに結果を出すことにこだわりを持っており、そのことが投資シミュレーションソフトをはじめとした当社の主力サービスを生み出したと言えます。

今後、藤村のようなエンジニアがより自分の好きなテーマを研究できる環境を作るため、数年後をめどに研究所を作ろうとしています。もし、何か自分なりの研究テーマを持ち、世の中や人のために貢献したいと真剣に考えている方であれば、ぜひ当社の研究員となって活躍してもらえたらうれしい限りです。

【今回の○○】壮大な夢が、地道で根気のいるデータ分析業務に挑み続けるモチベーションを支える

 今回の○○であるデータ分析は、藤村氏が語るように地味で根気のいる作業の繰り返しであり、苦手とする方も多いはずだ。しかし、その地道な作業の積み重ねによって導き出される新しい発見の数々は、見つけた本人にとって非常に刺激的かつ興奮するもの。

私たちは日々さまざまなデータに囲まれ、時にそのデータを有効に利用することで、快適な生活を実現している。データを分析することで、新たな価値を生み出すことが可能だからこそ、データ分析には壮大な夢を抱けるのかもしれない。
終わりのないテーマに挑み続ける姿勢こそ、エンジニアとして理想の生き方ではないだろうか。

  • はてなブックマークに追加
  • Yahoo!ブックマークに登録
あなたを求める企業がある!
まずはリクナビNEXTの「スカウト」でチャンスを掴もう!
スカウトに登録する

このレポートの連載バックナンバー

純粋?異常?○○すぎるエンジニア

仕事や技術を愛するあまり、ときにはやや異常(?)にすら映ってしまうエンジニアのプロフェッショナリズム。“○○すぎる”人々を通じてエンジニアらしさを解明します。

純粋?異常?○○すぎるエンジニア

このレポートを読んだあなたにオススメします

大手ゲーム会社から新興Webコンテンツ会社へ

大手ゲーム会社から新興Webコンテンツ会社へ・29歳

エンジニア☆マル秘転職活動記大手ゲーム会社に就職したM・Tさんだったが、本格的なゲームづくりをやらせてもらえず、部内のWebシステム開発などを経験…

大手ゲーム会社から新興Webコンテンツ会社へ・29歳

体験入社に給与シミュレーション、退職者の本音が聞けるetc. 

エンジニア切望!理想の完全転職成功サービス30

エンジニアにとって理想の転職サービスとは何か? 今回、転職経験のあるエンジニア300人にアンケート調査を実施した。その回答からは…

エンジニア切望!理想の完全転職成功サービス30

卒業後N年目の転職事情

東京大学理学部‘99年春卒・K氏(29歳)

出身大学でみるエンジニア転職談高校のときに数学と物理が得意で、2年生のときに東京大学の理学部に入学しようと決意したKさん。無事、希望の学部に入学でき… 

東京大学理学部‘99年春卒・K氏(29歳)

卒業後N年目の転職事情

東京工業大学理学部‘98年春卒・K氏(29歳)

出身大学でみるエンジニア転職談小学生のときから理科実験が得意で、中学、高校とずっと理系できたKさん。東京工業大学は国立で、通学も便利という理由で受験…

東京工業大学理学部‘98年春卒・K氏(29歳)

コードは一晩寝かせろ、考えるのは人間だ…300人の声から厳選 

これぞエンジニア魂!僕らの座右の銘&ポリシー30選

エンジニア300人が、仕事をしていく上で大事にしている「座右の銘」や「格言」「ポリシー」などの大事な言葉を一挙紹介!エンジニアだ…

これぞエンジニア魂!僕らの座右の銘&ポリシー30選

僕たち私たちの転職忍者の術★31

バレないようにコッソリ転職活動したいでござる の巻

在籍中に転職活動をする場合、今の会社にバレないようこっそり慎重に進めたいもの。ときには家族や友人にも内緒で活動したいケ…

バレないようにコッソリ転職活動したいでござる の巻

この記事どうだった?

あなたのメッセージがTech総研に載るかも

あなたの評価は?をクリック!(必須)

あなたのご意見お待ちしております

こちらもお答えください!(必須)

歳(半角数字)
(全角6文字まで)
  • RSS配信
  • twitter Tech総研公式アカウント
  • スカウト登録でオファーを待とう!
スマートグリッド、EV/HV、半導体、太陽電池、環境・エネルギー…電気・電子技術者向け特設サイト

PAGE TOP