【主な業務内容】 ・税務、会計、その他バックオフィス領域における業務課題を理解し、AIを活用したソリューション、プロダクト、AIエージェントを設計・実装する ・顧客・実利用者へのヒアリングや利用状況の観察を、プロダクト責任者・事業部門と共同で行い、対象業務、期待する成果、許容できない失敗を明確にする ・AIエージェントの品質を継続的に評価するための評価セットを設計・構築する ・代表的な業務ケース、失敗ケース、境界ケースの収集・整理 ・正解例、期待する振る舞い、評価基準、ルーブリックの設計 ・実利用環境で発生した事例をもとにした評価セットの継続的な更新 ・自動評価、人手評価、実利用結果を組み合わせ、AIエージェントの品質を評価・分析する ・業務要件に合わせて、モデル、プロンプト、コンテキスト、RAG、検索方式、ツール構成などを適応・最適化する ・複数のモデルやプロバイダーを比較し、品質、コスト、レイテンシを踏まえて適切な構成を選定する ・評価結果や顧客フィードバックをもとに、AIエージェントのプロンプト、ワークフロー、検索、ツール利用、フォールバックなどを改善する ・モデル、プロンプト、評価セット、評価器などのバージョンを管理し、評価結果を再現・比較できる仕組みを整備する ・LLMアプリケーションのトレース、エラー分析、実験管理、品質モニタリングを整備する ・長時間実行されるAIエージェントについて、リトライ、冪等性、途中再開、人へのエスカレーションなどの信頼性を設計する ・複数のAI機能で再利用できる評価標準、ツール、品質管理プロセスを整備する ・開発したAI機能を、実際のプロダクトや顧客の業務フローへ組み込み、利用結果をもとに継続的に改善する ※仕事内容の変更範囲：会社の指示する業務 【働く魅力・やりがい・ポジションの魅力】 お客さまのバックオフィス業務を支援し、スモールビジネスの活性化へつながるような製品サービスの開発を行うことが可能です。 また、ご自身がお持ちのAIに関する知見を活かして、新たな価値を創出するプロダクト開発に携わることができます。 【使用技術・開発環境】 クラウド：AWS（SageMaker、Bedrockなど）、Databricks 開発環境：Jupyter Lab、SageMaker Studio、Databricks 開発言語：Pythonなど その他： PyTorch, Pandasなど コミュニケーションツール：Slack、Zoom、Jira、Confluence、Backlog、DocBase 【採用背景】 AI活用やデータビジネスの拡大に伴い、弥生製品や業務システムにおいても先端技術を取り入れ、新たな価値を創出し、DX（デジタルトランスフォーメーション）を実行することが不可欠となっています。 これを推進するためには、技術の獲得から開発・実装・運用までを一貫してリードできる人材が求められています。 その中でも特に、各事業部が製品開発を行う際のAI機能実装を支援できる体制を強化することが重要です。 そこで今回、事業部横断でAI導入をサポートしながら、開発現場と共に新しい価値を実現していけるエンジニアを募集することとなりました。 【配属先チームの特徴】 弥生のエンジニア全体を統括する全社横断組織となります。今回の募集は、その組織の初期メンバーとなります。 【チーム人数】 これから立ち上げていく組織となります。 【活躍しているメンバーの経歴／特徴等】 これから立ち上げていく組織となります。 【このポジションから参画して描く事が出来るキャリア】 弥生全体の技術獲得・実装・運用をリードしていくようなポジションで、 そのチームをリードし、弥生の将来を担う製品群の立ち上げを行うことができます。

・プロダクション環境で利用されるシステムを設計・実装し、機械学習またはLLMを用いた機能を実利用者へ届け、利用後の改善まで担った経験 ※限定ユーザー向けPoCや社内導入を含み、商用リリースの有無は問いません ・顧客・実利用者または利用部門から課題やフィードバックを収集し、業務上の成功条件やリスクを、評価基準・評価データ・改善施策へ落とし込んだ経験 ※評価対象はLLMに限りません ・品質とのトレードオフを踏まえ、レイテンシ、コスト、スループットのいずれかを計測し、技術選定または改善につなげた経験 ・事業部門やプロダクト開発チームと合意形成し、技術的な意思決定と実装をリードした経験 ・会計、税務、その他バックオフィス系のドメインを主体的に学ぶ意思があること

以下はいずれも歓迎要件であり、すべての経験を求めるものではありません。 評価・品質管理 ・LLM-as-Judgeやルーブリックを用いた自動評価器の設計・内製経験 ・自動評価と人手評価の一致度検証、評価器のキャリブレーション経験 ・LLMアプリケーションの可観測性、トレース分析、実験管理の経験 ・アノテーション設計、評価データの品質管理、サンプリング設計の経験 ・オフライン評価と実利用環境での成果の関係を分析した経験 ・モデル、プロンプト、評価データなどのバージョン管理と再現性確保の経験 モデル適応・推論 ・複数のモデルやプロバイダーを比較し、選定・移行した経験 ・プロンプト設計、コンテキスト構築、RAG、ツール利用、ファインチューニングなどを用いたモデル適応の経験 ・モデルルーティング、キャッシュ、バッチ処理などを用いた推論コスト・速度の改善経験 ・長時間実行されるAIエージェントの信頼性設計経験 ・リトライ、冪等性、途中再開、フォールバック、人へのエスカレーションなどの設計経験 ・機械学習モデルの構築・評価、またはMLOpsの実務経験 顧客・データ・ドメイン ・顧客ヒアリング、業務観察、ユーザーリサーチなどを通じて業務要件を整理した経験 ・顧客の要望の背景にある課題を特定し、解決策を設計した経験 ・RAGや検索基盤の構築・改善経験 ・機密情報・個人情報の除去、匿名化、アクセス制御を含むデータ管理経験 ・OCR、帳票処理、文書解析などの自然言語処理の応用経験 ・会計、税務、企業のバックオフィス業務に関する知識または実務経験 ・監査対応、内部統制、説明可能性が求められる領域での開発経験 ・英語の技術情報を日常的に収集し、業務へ取り入れた経験

・モデルや技術からではなく、顧客の業務課題やプロダクトの成功条件から考えられる方 ・技術チームの中だけで仮説を作らず、顧客や実利用者と直接対話し、その声を改善へ反映できる方 ・顧客の要望をそのまま機能へ置き換えるのではなく、背景にある課題や失敗リスクを整理できる方 ・評価をリリース直前の確認作業ではなく、開発と意思決定の中心に置ける方 ・品質、コスト、速度、開発期間のトレードオフを整理し、具体的な判断につなげられる方 ・不確実性が高い状況でも、小さく検証し、利用結果から素早く改善できる方 ・特定のモデルやツールに固執せず、目的に応じて技術を選択できる方