Perception Engineer(認識/センサデータ基盤) | 自動運転開発室

◆newmoのミッション◆
newmoは、「移動で地域をカラフルに。」をミッションに掲げるモビリティスタートアップです。

タクシーやハイヤーなど、これまで地域の移動を支えてきた仕組みをアップデートし、誰もが安心して移動できる社会をつくっていきます。
地域によっては公共交通が減り、移動が不便になりつつあります。一方で都市部では、業務の煩雑さや人手不足といった課題が残っています。
newmoは、こうした現場の課題に真正面から向き合い、テクノロジーを使ってより良い"移動のかたち"をつくり続けています。

◆募集背景◆

newmoでは「自動運転タクシーサービスの社会実装」に向けて、自社での自動運転ソフトウェア開発を進めています。

現在は、

• 実車データの収集
• 学習用データセットの作成
• シミュレーション
• 自動運転モデルの評価・改善

といった開発基盤の整備を進めています。

newmoではEnd-to-End自動運転モデルを開発しており、Perceptionはその入力品質を直接左右する重要な領域です。

本ポジションでは、センサデータ基盤の設計・整備から認識モデルの開発・評価・改善までの一連の流れを横断して、Perceptionシステム全体の品質を引き上げる役割を担っていただきます。

◆業務内容◆

※ 下記の全てを担当するわけではなく、特定領域に強みを持ちながら、周辺領域にも越境して開発を進めていただきます

• Perceptionアルゴリズム開発
  • 物体検出・セグメンテーション・トラッキングなどの認識モデルの調査・実装・改善
  • カメラ・LiDARを用いた3D空間認識やセンサフュージョンの設計・開発
• センサデータ基盤・表現設計
  • キャリブレーション、座標変換、時刻同期などセンサシステムの設計
  • センサデータ処理パイプラインの設計・改善
  • 下流モデルが扱いやすい入力表現・データ仕様の設計
• データ・評価ループの構築
  • オートラベリング、難例抽出、評価データ整備などのData-Centricな改善
  • オフライン評価・実車ログ解析・失敗事例分析
  • 認識精度とデータ品質を継続的に改善するサイクルの構築
• システム連携
  • Planning / E2Eモデルとのインターフェース設計
  • 実車・シミュレーションを含めた評価基盤との連携

◆ポジションの魅力◆

• Perception全体の設計に関われるフェーズ
  • 自動運転の立ち上げ段階において、認識モデル単体ではなく、データや評価を含めたPerception全体の設計に関わることができます
• 実車データに基づく改善サイクル
  • 自社のタクシー事業から得られる実車データをもとに、認識・データ・評価の改善サイクルを継続的に回すことができます
• End-to-Endモデル開発チームとの密な連携
  • Perceptionの出力はEnd-to-Endモデルの入力として直接使われます。MLエンジニアと連携しながら、モデルが求める入力表現の設計にまで踏み込んで開発できる環境です

• Perception（Computer Vision / 3D Perception / センサフュージョン等）またはロボティクス領域における認識開発の経験
  • 目安：3年以上、または同等の実務経験
• 以下のいずれかに関する実装・改善経験
  • 物体検出 / セグメンテーション / トラッキングなどの認識アルゴリズム
  • マルチセンサを用いた環境認識（例：カメラ・LiDARの統合、3D空間理解）
  • キャリブレーション / 3D幾何 / 座標変換
• Python, C++などを用いたソフトウェア開発経験
• モデルの評価指標を設計し、失敗分析に基づいてデータやモデルを改善した経験
• 技術的な不確実性が高い課題に対して、自ら調査・提案・実装まで推進できる能力
• 日本語でのコミュニケーション能力（JLPT N2相当以上）

• カメラ・LiDAR等を用いたマルチモーダルな3D Perceptionの開発経験
• BEVベースの認識手法や最新の3D Perceptionアーキテクチャに関する知識・経験
• 自動運転・ロボティクス、車載センサシステムに関する開発経験
• TensorRT / CUDA などを用いた推論最適化の経験
• トップカンファレンス（CVPR, ICCV, NeurIPS等）での論文発表実績
• エンジニアリングチームのリードまたはメンタリング経験

求める人物像 newmoの大事にしている以下のコンピーテンシーを体現できる方

・持続的改革を実行するための精神（Grit)
・自走力
・誠実さ
・チームへの信頼、貢献
・熱意
・ステイクホルダーへのリスペクト
・高い目標意識
・リスクと安全のバランスを取る力