AI評価サイエンティスト

仕事内容 雇用形態：正社員 職種：QA/テストエンジニア、データサイエンティスト、IT研究開発 ⭐この求人のポイント⭐ ￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣ ✅LLM・生成AIの品質を科学的に定義し、測定・改善する専門ポジションです。 ✅LLM-as-Judge、評価指標、ベンチマーク、レッドチーミングまで幅広く扱います。 ✅評価結果を研究・開発・プロダクト改善へ直接つなげられます。 ✅週3出社・週2リモートのハイブリッド勤務です。 ⭐主な業務⭐ ￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣ ✅AI出力品質を測る評価指標・評価設計の策定 ✅LLM-as-Judgeの校正、ルーブリック設計、バイアス・採点妥当性の検証 ✅ベンチマーク設計、妥当性・データ汚染の検証 ✅報酬モデル・選好学習を含む評価研究 ✅win rate、task success、factuality、harmなどの評価指標設計 ✅合成データ・実利用ログを用いた評価セットの構築 ✅大規模評価パイプライン、CI/CD品質ゲートの構築 ✅マルチターン、ツール利用、長文コンテキストの評価ハーネス構築 ✅再現性の担保、レッドチーミング、ハルシネーション検知・校正 ✅A/Bテスト、統計的有意差検定、トレンド・回帰の自動検知 ✅品質レポート作成と研究・開発・プロダクトチームへのフィードバック ⭐教育サポート⭐ ￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣ ✅JAPAN AI SaaS、Cursor、ChatGPT、ClaudeなどのAIツールを会社負担で利用できます。 ✅有償の開発ツールは年30,000円まで支援対象です。 ✅技術書など学習用書籍を半期30,000円まで会社費用で購入できます。 ✅日本語・英語の学習プログラムや資格取得を会社費用で利用できます。 ⭐企業情報⭐ ￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣ ✅JAPAN AI株式会社は、ジーニーグループのAI事業会社です。 ✅JAPAN AI STUDIOを中核に、企業向けAIエージェント・AIプロダクト群を開発しています。

求めている人材 ⭐必須条件⭐ ￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣ ✅関連分野の修士以上、または同等の専門性 ✅機械学習エンジニア、データサイエンティスト、研究職、ML評価などの実務経験3年以上 ✅LLM・生成AIの評価に関する深い知識 ✅統計・実験設計の知識と実務経験 ✅Pythonによる機械学習・評価パイプラインの実装経験 ✅PyTorch、JAX、TensorFlowなどの機械学習フレームワーク経験 ✅評価指標の設計・実装経験 ✅日本語または英語で業務上のコミュニケーションができること ⭐歓迎条件⭐ ￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣ ✅機械学習・NLP領域での論文発表経験 ✅reward modeling・preference learningの経験 ✅LLM-as-Judgeの校正・ルーブリック設計経験 ✅AI安全性・Responsible AI・レッドチーミングの経験 ✅ベンチマーク妥当性、IRT、construct validity等の知見 ✅マルチエージェント・ツール利用・長文コンテキスト評価の経験 ✅Spark・BigQueryなど大規模データ処理、CI/CD、論文再現の経験

月給73万1943円～146万3884円 給与詳細 ※基本給・固定残業代の総額 基本給：月給 57万1429円 〜 114万2857円 固定残業代：あり 1ヶ月あたり16万514円 〜 32万1027円（固定残業時間：1ヶ月あたり45時間） 固定残業時間を超えた勤務時間については別途残業代を支給する 【一律手当】 全員に一律で支払われる通勤・皆勤・家族手当金額：なし 全員に一律で支払われるその他手当金額：なし ✅賞与年2回（5月・11月） ✅昇給年2回（4月・10月） ✅ストックオプション制度あり 【給与例】 給与例 【給与例】月給857,143円（給与レンジ中間値） 想定年収：800万円〜1,600万円

固定時間制 勤務時間詳細 実働時間：1日あたり8時間 平均勤務日数：1ヶ月あたり20日 10:00〜19:00 週3出社・週2リモート。勤務時間帯は柔軟で、コアタイムは要相談です。

休日休暇 ✅完全週休2日制 ✅土日祝休み ✅年次有給休暇 ✅夏季休暇（3日） ✅年末年始休暇（12月31日〜1月3日） ✅慶弔休暇

【保険制度】 ・雇用保険 ・労災保険 ・健康保険 ・厚生年金 待遇・福利厚生 【社会保険】 健康保険、厚生年金保険、雇用保険、労災保険 【福利厚生】 ✅書籍購入補助（半期30,000円まで） ✅リフレッシュ手当（毎月5,000円まで） ✅部活動手当（毎月5,000円まで） ✅家賃手当（当社指定の駅を対象とし毎月30,000円まで） ✅シャッフルランチ／ディナー（四半期に一度、ランチ1,000円まで・ディナー5,000円まで） ✅資格取得支援制度・英語学習支援制度（業務に必要な場合のみ） ✅リフレッシュ休暇制度（3年間継続勤務した社員へ毎年2日） ✅定期健康診断（年1回） ✅従業員持株会 ✅社会保険完備 ✅交通費全額支給

試用期間なし

[SJD] この求人は職業紹介事業者による紹介案件です。応募情報は職業紹介事業者に送信されます。 【職業紹介事業者】 会社名：株式会社アークウィズコンサルティング 所在地：東京都千代田区麹町４丁目８番地１麴町クリスタルシティ東館２階 【紹介先企業】 会社名：株式会社ジーニー 所在地：東京都新宿区西新宿6丁目8番1号 住友不動産新宿オークタワー6階

• ストックオプションあり
• 資格取得支援あり
• 住宅手当あり
• 通勤交通費全額支給
• 在宅OK
• 賞与あり
• 完全週休2日制
• 交通費支給
• 長期休暇あり
• 土日祝休み