データ エンジニア

仕事内容: 楽天グループ株式会社でデータ エンジニアを募集します。 部門概要 AI・データ事業本部として、データドリブンな意思決定を支援する強力な分析プラットフォーム「楽天アナリティクス」の開発に取り組んでいます。ユーザー行動、購買履歴、位置情報といった多様なデータと、楽天グループの豊富な統計データ資産をセキュアに統合し、高度な分析を可能にすることで、事業成長に貢献します。また、プロダクト開発部門として、データ収集からデータパイプライン構築、分析UIまでを一貫して開発しています。 採用理由 楽天アナリティクスのデータ分析パイプラインの強化、そしてAIを含む新技術の活用によるデータ処理高度化を通して、事業成長に貢献できるデータエンジニアを募集します。データエンジニアリングの知識と経験を活かし、データ分析基盤の強化に積極的に取り組み、その過程でAI技術の活用にも興味を持つ方を歓迎します。 ポジションの詳細 データエンジニアとして、1時間あたり数テラバイトのデータを処理する高スループットのデータパイプラインを構築・維持し、ユーザーが迅速にデータにアクセスできるようにします。開発・導入からインシデント対応、データ品質管理まで、パイプラインのライフサイクル全体に貢献します。SREチームと連携し、PrometheusやGrafanaなどのツールを活用し、パイプラインのパフォーマンスと信頼性を向上させます。また、カスタマーサービスチームやプロダクトチームと連携し、多様な顧客ニーズに対応するデータアクセスソリューションを提供します。 技術スタック ストリーミングデータ処理: Spark、Flink、Dataproc バッチデータ処理: Spark、Dataproc 監視とアラート: Elasticsearch/OpenSearch、 Prometheus、Grafana データ調査: Python、PySpark、SQL、BigQuery、Hive CI/CD と自動化: Jenkins、Ansible プログラミング言語: Scala、Java パイプラインワークフロー: Airflow、Composer クラウドサービス: Google Cloud Platform

求める人材: 必須資格: 技術スキル - エンタープライズ製品（例：電子商取引、金融サービス、通信）における 5 年以上の実践的なデータ エンジニアリング経験。 - Spark、Flink、Kafka、Cloud Pub/Sub、Dataproc、SQL、BigQuery、Cloud Dataflow、Cloud Storage、Cloud Composer などのビッグデータ テクノロジーを使用して、ストリーミング アプリケーションやバッチ アプリケーションを設計、開発、デプロイした実績のある経験。 - Spark アプリケーションを基礎から開発し、本番環境に導入する能力。 - 既存の Spark アプリケーションを理解し、変更して新しい機能を実装し、バグを解決する能力。 - 構成の調整、JVM チューニング、コード リファクタリングを通じて Spark アプリケーションのパフォーマンスのトラブルシューティングと最適化の経験。 - SQL または Spark を使用してデータ品質保証 (QA) を実行し、データの不一致を調査する能力。 ソフトスキル/コンピテンシー - 製品の改善に対する強い責任感と積極的なアプローチ。 - 論理的な問題解決能力と実行への体系的なアプローチ。 - 構想から完成までイニシアチブを推進する実績のある能力。 - 優れたコラボレーションおよびコミュニケーションスキル。 - 非同期環境で生産的かつ確実に作業できる能力。 希望する資格: - 少なくとも1TBのデータを定期的に処理するアプリケーションの開発と最適化に取り組んだ経験 - BigQuery、Dataproc、PubSub などのクラウド ビッグデータ テクノロジーの経験。 - Jenkins、Ansible などの DevOps ツールに関する実務知識。

年俸900万円～1149万円 給与: 900万円 ～ 1149万円 ※経験・能力を考慮の上、決定します。

シフト制 勤務時間・曜日: フレックスタイム制（詳細は面談時にご案内します）

休暇・休日: 土日休み

【保険制度】 ・雇用保険 ・労災保険 ・健康保険 ・厚生年金 待遇・福利厚生: ・フレックス制

試用期間なし

その他: 本求人はSPARK株式会社が持つ人材紹介求人です。 求人に関しての問い合わせは下記までお願いします。 03-4582-3760 雇用形態: 正社員 給与: 9,000,000円 - 11,490,000円 年俸 平均所定労働時間（1か月当たり）: 160時間