【Prod】AI Agent Evaluation Lead

【プロダクト】 テックタッチ（既存プロダクト × 生成AI組み込み） システム導入だけで終わらせない、利活用のためのDXを推進するプラットフォーム「テックタッチ」。 あらゆるWebシステムの画面上に、操作ガイドやナビゲーションを表示させることで、すべてのユーザーが迷わず・間違わずにシステムを使いこなすことができる世界を目指すプロダクトです。 すでに多くの企業で利用されている本プロダクトに、生成AI機能を組み込む開発が進行中です。 既存プロダクトへのAI組み込みには、新規開発とは異なる難しさがあります - 既存ユーザーの業務に影響を与えないよう、AIの出力品質を担保する必要がある - 確立された品質基準に、AI特有の「確率的・非決定論的な振る舞い」の評価観点を追加していく - 予測困難なAIの出力が、既存機能やユーザー体験と整合するかを検証する こうした課題に対応するため、AI精度評価の仕組みを構築していくフェーズにあります。 ★テックタッチの技術力と信頼 - 操作ガイドやナビゲーションをノーコードで作成することができる（開発部門を介さないユーザーの体験改善を実現） - システムの特性やクライアントごとのルールに応じた設定/メンテナンスを簡単にした技術力 - エンタープライズ企業を中心に、SaaS企業や自治体など、幅広い顧客への導入実績 新規プロダクト・その他 上記以外にも、立ち上げ初期の新規プロダクトや、AI/生成AIを活用した機能開発が複数進行中です。詳細は選考時にお伝えします。 【主な業務内容】 プロダクト横断で、全社のAI精度評価の基準・プロセスを整備していきます。 1. プロンプト・設定の最適化（AI Accuracy） 「AIが賢く、期待通りの回答をすること」を追求します。全社共通の評価フレームワークを構築し、各プロダクトに適用します。 - 評価基準の策定 - プロンプトエンジニアリング - 評価データセットの構築 2. 品質保証プロセスの構築（Process & Strategy） 開発ライフサイクル全体におけるAI品質保証の「仕組み」と「ロードマップ」を策定し、各プロダクトチームへ展開します。 - シフトレフト/シフトライトの実践 - フィードバックループの構築 - ロードマップ策定 3. 全社横断での標準化推進 - 評価ガイドラインの策定 - ナレッジ共有 - 評価基盤の整備 【ポジションの魅力】 - AIエージェント時代に不可欠な、より高度なAI品質評価スキルを実務で身につけられる - 特定プロダクトに閉じず、全社横断でAI品質評価の標準化・仕組み化を推進できる - 既存の安定稼働プロダクト〜新規プロダクトまで幅広く関わり、品質保証の経験領域を広げられる - 大きな裁量を持って、評価基準・プロセス設計から運用定着までをリードできる - 0→1で仕組みを作り、成果を残すことができる

- LLM/RAGの技術的特性への深い理解と実践経験 - ChatGPT、Claude等のLLMを業務で活用した経験 - RAG（Retrieval-Augmented Generation）の仕組みの理解 - 評価フレームワークの使用経験 - Langfuse、Weights & Biases、MLflow等のツールを用いたAI/LLMの評価・モニタリング経験 -データドリブンな改善スキル - データに基づいて課題を特定し、改善提案ができる - 定量的な評価指標の設計・運用経験 - スタートアップでの0→1フェーズへの意欲 - 未整備な環境でプロセスを構築することへの前向きな姿勢 - 変化を楽しみながら柔軟に対応できるマインド

LLM/AI関連 - LangChain、Dify、Flowise等のLLMフレームワーク使用経験 - プロンプトエンジニアリングの知識・実践経験 開発・分析関連 - Python / TypeScript等を用いた簡単なスクリプト作成による業務効率化経験 - SQLでのデータ抽出・分析経験 - モニタリングツール/可観測性（Observability）ツールの導入経験 ドメイン知識 - 経費精算、ワークフロー系システムの知見 - BtoB SaaSプロダクトの知見

- AIの「正解がない」評価に対して、粘り強く取り組める方 - 新しい技術・手法に対する好奇心と学習意欲がある方 - PdM/SEなど他職種と積極的に連携し、プロダクト品質向上に取り組める方 - ドキュメント作成・ナレッジ共有を大切にできる方 - 不確実性が高い環境を楽しめる方