分散トレーニングおよび推論最適化エンジニア (LLM)

仕事内容: 楽天グループ株式会社で分散トレーニングおよび推論最適化エンジニア (LLM)を募集します。 - オンプレミスとマルチクラウド環境全体でコンピューティング リソースの割り当てを最適化し、トレーニングと推論のワークロードの効率を最大化します。 - 多様なアクセラレータ リソースのハイブリッド オーケストレーションを管理し、シームレスなスケーラビリティとコスト効率の高い展開を実現します。 - LLMと生成AIに特に焦点を当て、大規模分散トレーニングのフレームワークを開発および強化する ポジションの詳細 GPUトレーニング＆推論最適化エンジニアとして 、楽天のGPUクラスターにおけるLLMトレーニングおよび推論ワークロードのパフォーマンス、効率、スケーラビリティの最大化に注力していただきます。トレーニングフレームワーク（PyTorch、DeepSpeed、FSDPなど）と推論エンジン（vLLM、TensorRT-LLM、Triton、SGLangなど）を徹底的に最適化し、楽天のAIモデルが最高の効率で動作することを保証します。 この役割には、トレーニング時間の短縮、GPU 使用率の向上、推論レイテンシの最小化に重点を置いた、GPU アクセラレーション ML フレームワーク、分散トレーニング、推論最適化に関する高度な専門知識が必要です。 主な責任 - LLM トレーニングフレームワーク ( PyTorch、DeepSpeed、Megatron-LM、FSDP など) を最適化して、GPU の使用率を最大化し、トレーニング時間を短縮します。 - 分散トレーニングのボトルネック ( NCCL の問題、CUDA カーネルの効率、通信のオーバーヘッドなど) をプロファイルして最適化します。 -低レイテンシ、高スループットの LLM サービス (vLLM、TensorRT-LLM、Triton、SGLang)向けに推論の最適化 (量子化、動的バッチ処理、KVキャッシュなど)を実装および調整します。 - インフラストラクチャ チームと連携して、大規模なトレーニング ジョブの GPU クラスターのスケジュール、リソース割り当て、フォールトトレランスを改善します。 -トレーニングスループット、メモリ効率、推論のレイテンシを測定および改善するためのベンチマーク ツールを開発します。 - 最先端の技術 (専門家の混合、推測的デコードなど) を研究して適用し、LLM のパフォーマンスを最適化します。

求める人材: 必須資格: - GPU アクセラレーションによるML トレーニングと推論の最適化、できれば LLM または大規模ディープラーニング モデルでの 3 年以上の実務経験。 - PyTorch、DeepSpeed、FSDP、またはMegatron-LMに関する深い専門知識と、分散トレーニングの最適化の経験。 - LLM 推論の最適化 (例:量子化、プルーニング、KV キャッシュ、連続バッチ処理) に関する深い知識。 - コンピュータサイエンス、エンジニアリング、または関連分野の学士号以上の学位。 言語: 英語 (総合 - 3 - 上級)

年俸900万円～1149万円 給与: 900万円 ～ 1149万円 ※経験・能力を考慮の上、決定します。

シフト制 勤務時間・曜日: フレックスタイム制（詳細は面談時にご案内します）

休暇・休日: 土日休み

【保険制度】 ・雇用保険 ・労災保険 ・健康保険 ・厚生年金 待遇・福利厚生: ・フレックス制

試用期間なし

その他: 本求人はSPARK株式会社が持つ人材紹介求人です。 求人に関しての問い合わせは下記までお願いします。 03-4582-3760 雇用形態: 正社員 給与: 9,000,000円 - 11,490,000円 年俸 平均所定労働時間（1か月当たり）: 160時間