1_06 Perception Engineer(認識/センサデータ基盤) | 自動運転開発室

newmoのミッション
私たち newmo（ニューモ）は、「 移動で地域をカラフルに。」 をミッションに掲げ、フィジカルAI（End-to-End自動運転モデルなど）と大規模なリアルアセットを統合し、日本の移動インフラを根本から再設計する次世代のモビリティテックカンパニーです。
私たちは、既存のタクシー・ハイヤーの運行エコシステムを最先端のテクノロジーで全レイヤーにわたりアップデートし、少子高齢化や人手不足に起因する地域交通の縮小という社会課題に対し、デジタルとリアルアセットの双方を統括する自社内製技術をもって、新たな “移動のかたち”をつくり続けています。
私たちの真の強みは、自社フリートから得られるエッジデータと走行・安全データを、内製化された自動運転パイプラインへ高速フィードバックする「リアルアセット・データ直結型」の稀有なAI開発エコシステムにあります。
さらに、経済産業省・NEDO「GENIAC」への採択、堺市での国家プロジェクトへの参画、自動運転ソフトウェアをリードする企業との協業など、多くのパートナーとともに挑戦を加速。日本特有の環境に対応したAI基盤モデルの社会実装をリードしていきます。
現在、私たちは2028年の自動運転レベル4商用化を見据え、自社システムの内製開発（newmo Autonomy）を本格始動しました。
狙うのは、従来の認識・予測・計画を切り離したルールベースのモジュール型にとらわれない、センサー入力から直接車両を制御する最先端の「End-to-End自動運転モデル」の開発です。
安全性と技術革新を究極のレベルで両立し、社会実装へ導く。この難易度の高い社会課題に、初期コアメンバーとして共に挑んでくれる方を募集いたします。

募集背景
newmoでは「自動運転タクシーサービスの社会実装」に向けて、自社での自動運転ソフトウェア開発を進めています。

現在は、

• 実車データの収集
• 学習用データセットの作成
• シミュレーション
• 自動運転モデルの評価・改善

といった開発基盤の整備を進めています。

newmoではEnd-to-End自動運転モデルを開発しており、Perceptionはその入力品質を直接左右する重要な領域です。

本ポジションでは、センサデータ基盤の設計・整備から認識モデルの開発・評価・改善までの一連の流れを横断して、Perceptionシステム全体の品質を引き上げる役割を担っていただきます。

業務内容

※ 下記の全てを担当するわけではなく、特定領域に強みを持ちながら、周辺領域にも越境して開発を進めていただきます

• Perceptionアルゴリズム開発
  • 物体検出・セグメンテーション・トラッキングなどの認識モデルの調査・実装・改善
  • カメラ・LiDARを用いた3D空間認識やセンサフュージョンの設計・開発
• センサデータ基盤・表現設計
  • キャリブレーション、座標変換、時刻同期などセンサシステムの設計
  • センサデータ処理パイプラインの設計・改善
  • 下流モデルが扱いやすい入力表現・データ仕様の設計
• データ・評価ループの構築
  • オートラベリング、難例抽出、評価データ整備などのData-Centricな改善
  • オフライン評価・実車ログ解析・失敗事例分析
  • 認識精度とデータ品質を継続的に改善するサイクルの構築
• システム連携
  • Planningとのインターフェース設計
  • E2Eモデル学習時の入力設計
  • 実車・シミュレーションを含めた評価基盤との連携

ポジションの魅力

• Perception全体の設計に関われるフェーズ
  • 自動運転の立ち上げ段階において、認識モデル単体ではなく、データや評価を含めたPerception全体の設計に関わることができます。
• 実車データに基づく改善サイクル
  • 自社のタクシー事業から得られる実車データをもとに、認識・データ・評価の改善サイクルを継続的に回すことができます。
• End-to-Endモデル開発チームとの密な連携
  • Perceptionの出力はEnd-to-Endモデル学習時の入力としても使われます。MLエンジニアと連携しながら、モデルが求める入力表現の設計にまで踏み込んで開発できる環境です。

参考情報

• newmo CTOが語る、自動運転の今と未来予測〜フィジカルAI・山の登り方・偶然と制約〜
• newmo 技術ブログ
• newmo、シリーズA総額で179億円の調達を完了。累計調達金額は199億円に到達、自動運転タクシーへ本格参入

• Perception（Computer Vision / 3D Perception / センサフュージョン等）またはロボティクス領域における認識開発の経験
  • 目安：3年以上、または同等の実務経験
• 以下のいずれかに関する実装・改善経験
  • 物体検出 / セグメンテーション / トラッキングなどの認識アルゴリズム
  • マルチセンサを用いた環境認識（例：カメラ・LiDARの統合、3D空間理解）
  • キャリブレーション / 3D幾何 / 座標変換
• Python, C++などを用いたソフトウェア開発経験
• モデルの評価指標を設計し、失敗分析に基づいてデータやモデルを改善した経験
• 技術的な不確実性が高い課題に対して、自ら調査・提案・実装まで推進できる能力
• 日本語でのコミュニケーション能力（JLPT N2相当以上）

• カメラ・LiDAR等を用いたマルチモーダルな3D Perceptionの開発経験
• BEVベースの認識手法や最新の3D Perceptionアーキテクチャに関する知識・経験
• 自動運転・ロボティクス、車載センサシステムに関する開発経験
• TensorRT / CUDA などを用いた推論最適化の経験
• トップカンファレンス（CVPR, ICCV, NeurIPS等）での論文発表実績
• エンジニアリングチームのリードまたはメンタリング経験

求める人物像 newmoの大事にしている以下のコンピーテンシーを体現できる方

・持続的改革を実行するための精神（Grit)
・自走力
・誠実さ
・チームへの信頼、貢献
・熱意
・ステイクホルダーへのリスペクト
・高い目標意識
・リスクと安全のバランスを取る力