newmoの00_03 Perception Engineer（認識 / 正解データ生成）｜自動運転開発室の求人

newmo について

newmoは「移動で地域をカラフルに。」をミッションに掲げ、メルカリ日本事業を統括していたCEO青柳をはじめ、各領域のエキスパートが集結したモビリティテックカンパニーです。

Physical AI（End-to-End 自動運転モデル）× 大規模リアルアセットを統合し、日本の移動インフラを根本から再設計する次世代モビリティ社会インフラを構築しています。自社タクシーフリートから得られる膨大な現場データを高速に学習・改善へ反映する "データ循環型AI開発エコシステム" を強みに、少子高齢化・人手不足で縮小する地域交通をアップデートし続けています。

経済産業省・NEDO「GENIAC」採択、堺市での国家プロジェクト参画、自動運転リーディング企業との戦略的提携など、挑戦は加速しています。

採用背景

newmoでは「自動運転タクシーサービスの社会実装」に向けて、自社での自動運転ソフトウェア開発を進めています。E2Eモデルの性能は、学習に使う正解データ（Ground Truth）の質で決まります。正解データを作ることを専門チームの役割と位置づけ、チーム名も Ground Truth としています。

正解データを作る工程はいくつもの段階に分かれ、前の段階の誤差の影響が後ろで初めて見えることもあります。品質を上げるには領域をまたいだ連携が欠かせないため、Localization と Perception のエンジニアが同じチームに所属しています。工程全体が共通の責任で、Ground Truthを作るという一つの目標に向かって動いていただきます。

その中で本ポジションが担うのは、収集したデータの品質確認から、認識モデルによるラベル付けまでです。ここに3つの条件が同時にかかります。

3つの条件

入力の品質
品質の悪いデータが混ざったままだと、そこから作る正解データも信用できません。

正解データの精度
入力の品質を上げきっても認識の精度は100%にならず、誤検出と見逃しのトレードオフを取りながら精度を上げていくことになります。

データ量
人手のアノテーションを増やし続けるやり方では、毎日溜まるデータの量に追いつきません。

この3つを同時に満たす方法を考えて実行していただきます。

業務内容

※すべてを担当する必要はなく、強みを軸に周辺領域へ越境しながら開発いただきます。

1. 認識モデル開発・正解データ生成（メイン領域）

• 物体検出・セグメンテーション・トラッキングなど、認識モデルの調査・実装・改善
• カメラ / LiDARを統合した3D認識と、正解データを自動生成する仕組み（オートラベリング）の設計・実装
• 誤検出と見逃しの傾向を分析し、どこまで自動でラベルを付け、どこに人の確認を入れるかの設計
• 逆光・夜間・悪天候・遮蔽など、実車で起きる条件が認識に与える影響の分析と対策

2. センサデータ基盤・表現設計

• センサデータの品質評価と仕様策定
• 物理特性や信号ノイズを考慮したデータ仕様・入力表現（Representation）の設計
• 下流モデル（E2Eモデル、Planning等）が扱いやすい、堅牢なデータ処理パイプラインの構築・改善

3. データ・評価ループの構築（Data-Centric AI）

• 難例（Hard Example）抽出、評価データ整備などの改善ループ構築
• 実車ログ解析・失敗事例分析による精度・データ品質の継続的フィードバック
• シミュレーションでは見えない"実世界のふるまい"を読み解く評価プロセスの設計

4. システム連携・アーキテクチャ設計

• Planningとのインターフェース設計
• E2Eモデル学習時の入力設計
• 実車・シミュレーションを含めた評価基盤との連携

ポジションの魅力

• 精度を上げるために、手段を選べる
  論文で出たばかりの手法の再現から自社データで学習した独自モデルまで、いまの技術スタックや既製のアノテーションツールでできる範囲に合わせる必要はありません。

• 改善のサイクルを自社で回せる
  自社でタクシー事業を運行しているため、生の実車データが毎日蓄積されます。どんなセンサをいくつ、どこに付けるかまで自分たちで決められるので、集めたデータで改善し、実車で確かめるところまでを自分たちの判断だけで進められます。

• 正解データを作る仕組み全体を設計できる
  毎日溜まるデータに人手だけで追いつくことはできないため、自動化が前提になります。自動化のためのモデルを学習させる目的で大規模な人手アノテーションに投資することも含め、どこを自動に任せるかから設計できます。

• 作った正解データが、そのまま学習データになる
  認識の出力は、E2Eモデルの学習データそのものになります。正解データの質がモデルの性能に直結するため、MLエンジニアと連携しながら「どこまでの精度が本当に必要か」に踏み込んで開発できます。

参考情報

• newmo CTOが語る、自動運転の今と未来予測〜フィジカルAI・山の登り方・偶然と制約〜
• newmo 技術ブログ
• newmo、シリーズA総額で179億円の調達を完了。累計調達金額は199億円に到達、自動運転タクシーへ本格参入

• 当事者意識と実行力 — 課題や問題を指摘するだけでなく、必要であれば自ら泥臭く手を動かして改善・修正できる方
• 微細な変化への洞察力 — 単なる要素技術にとどまらず、ハードウェアの微細なノイズや環境変化に気づき、仮説検証を行える方
• コラボレーション — 未知の課題に対して、チームや別領域のエンジニアと協力しながら柔軟に解決策を探せる方

• Perception（認識）の実務経験 — カメラ / LiDAR などのセンサを用いた認識に関する実務経験（下記のいずれか）

  • 物体検出（2D / 3D）
  • セグメンテーション（セマンティック / インスタンス / 点群）
  • 地図・BEV（BEV 表現、オンライン HD Map 推定、車線・道路構造の認識）
  • 追跡（多物体トラッキング、データアソシエーション、速度・加速度の推定）
  • マルチセンサフュージョン（カメラ / LiDAR の統合、時刻・座標の整合）

• 実車データ解析の経験 — 実車・実機から取得したセンサデータ（カメラ / LiDAR / IMU / GNSS 等）を解析し、課題特定・改善につなげた経験

• 課題推進力 — 技術的な不確実性が高い課題に対して、自ら調査・仮説構築・実装・検証まで推進できる力

• 実装スキル — Python / C++ でのデータ処理・アルゴリズム実装経験

• 語学力 — 日本語でのコミュニケーション能力（JLPT N2 相当以上）

• 自動運転車や自律移動ロボット（ドローンなど）の開発経験
• 自己位置推定・状態推定（Localization）の実装経験
• 車載組込み環境での開発経験（Linux、リアルタイム性）
• 大規模データでのモデル学習・評価の経験
• センサハードウェアの物理特性に関する知識、ケーブル配線や熱管理など実装レベルの課題への対応経験