モデル更新・評価・モニタリング・バージョン管理を含むLLM Ops基盤の構築・運用（LLM Ops）

■ 向き合うissue 通話・メール・Slackなどのコミュニケーションデータを活用したLLMアプリケーション（検索・要約・通知）の品質と再現性を高めるため、モデル更新・評価・モニタリング・バージョン管理を含むLLM Ops基盤を構築・運用する ■ issueの概要 - LLMの回答品質が時間とともに変化しても、改善やデプロイが属人化している - モデル・プロンプト・RAGデータセットの更新履歴や影響範囲が管理できない - 評価指標（Faithfulness, Helpfulness, Relevanceなど）が定量化できていないといった課題を解消し、LLMの継続的改善・安全な更新を可能にする運用フレームを実現する ■ issueを解くことによる事業・社会へのインパクト 通話・顧客対応・営業活動などの「人のコミュニケーション」をAIが継続的に理解し、改善提案や自動化を高精度に行えるようになる。これにより、IVRyが提供する音声×AIプロダクトの信頼性・透明性・更新速度が飛躍的に向上し、「学習するSaaS」を実現する ■ 技術スタック - 言語：Python, SQLなど - データ基盤：BigQuery, dbt - クラウドインフラ：AWS, GCP, Azure - AI : Cursor, Devin

- LLMやEmbeddingモデルを活用したアプリケーションの開発・運用経験・LLMモデル／プロンプトの更新 - バージョン管理・評価プロセスを設計した経験 - PythonによるLLMワークフローの自動化経験（例：MLflow, LangChain, Airflow） - RAG構成やLLM評価指標（Faithfulnessなど）に関する理解

- DatabricksやVertex AIを用いたMLflow／モデルレジストリ運用経験・LLMモデルの切替 - 再学習・評価の実務経験 - プロンプトテスト、A/Bテスト、Human Feedback Loop設計の経験 - 生成AIのコスト最適化、推論高速化（vLLM, quantization等）に関する知見 - Slack Botや社内RAGなど、LLMを活用した業務自動化実装経験