00_80 インターン（Perception・Localization領域） | 自動運転開発室

newmo について

newmoは「移動で地域をカラフルに。」をミッションに掲げ、メルカリ日本事業を統括していたCEO青柳をはじめ、各領域のエキスパートが集結したモビリティテックカンパニーです。

Physical AI（End-to-End 自動運転モデル）× 大規模リアルアセットを統合し、日本の移動インフラを根本から再設計する次世代モビリティ社会インフラを構築しています。自社タクシーフリートから得られる膨大な現場データを高速に学習・改善へ反映する "データ循環型AI開発エコシステム" を強みに、少子高齢化・人手不足で縮小する地域交通をアップデートし続けています。

経済産業省・NEDO「GENIAC」採択、堺市での国家プロジェクト参画、自動運転リーディング企業との戦略的提携など、挑戦は加速しています。

採用背景

newmoでは「自動運転タクシーサービスの社会実装」に向けて、自社での自動運転ソフトウェア開発を進めています。E2Eモデルの性能は、学習に使う正解データ（Ground Truth）の質で決まります。正解データを作ることを専門チームの役割と位置づけ、チーム名も Ground Truth としています。

正解データを作る工程はいくつもの段階に分かれ、前の段階の誤差の影響が後ろで初めて見えることもあります。品質を上げるには領域をまたいだ連携が欠かせないため、Localization と Perception のエンジニアが同じチームに所属しています。工程全体が共通の責任で、Ground Truthを作るという一つの目標に向かって動いていただきます。

その中で本ポジションが担うのは、収集したデータの品質確認から、認識モデルによるラベル付けまでです。ここに3つの条件が同時にかかります。

3つの条件

入力の品質
品質の悪いデータが混ざったままだと、そこから作る正解データも信用できません。

正解データの精度
入力の品質を上げきっても認識の精度は100%にならず、誤検出と見逃しのトレードオフを取りながら精度を上げていくことになります。

データ量
人手のアノテーションを増やし続けるやり方では、毎日溜まるデータの量に追いつきません。

この3つを同時に満たす方法を考えて実行していただきます。

業務内容

※すべてを担当する必要はなく、強みを軸に周辺領域へ越境しながら開発いただきます。

###　認識モデル開発・正解データ生成（メイン領域）

• 物体検出・セグメンテーション・トラッキングなど、認識モデルの調査・実装・改善
• カメラ / LiDARを統合した3D認識と、正解データを自動生成する仕組み（オートラベリング）の設計・実装
• 誤検出と見逃しの傾向を分析し、どこまで自動でラベルを付け、どこに人の確認を入れるかの設計
• 逆光・夜間・悪天候・遮蔽など、実車で起きる条件が認識に与える影響の分析と対策

###　センサデータ基盤・表現設計

• センサデータの品質評価と仕様策定
• 物理特性や信号ノイズを考慮したデータ仕様・入力表現（Representation）の設計
• 下流モデル（E2Eモデル、Planning等）が扱いやすい、堅牢なデータ処理パイプラインの構築・改善

###　データ・評価ループの構築（Data-Centric AI）

• 難例（Hard Example）抽出、評価データ整備などの改善ループ構築
• 実車ログ解析・失敗事例分析による精度・データ品質の継続的フィードバック
• シミュレーションでは見えない"実世界のふるまい"を読み解く評価プロセスの設計

###　システム連携・アーキテクチャ設計

• Planningとのインターフェース設計
• E2Eモデル学習時の入力設計
• 実車・シミュレーションを含めた評価基盤との連携

###　自己位置推定・センサキャリブレーション（メイン領域）

• 特性の異なるセンサ（GNSS / IMU / LiDAR / カメラ / 車輪速）を統合した自己位置推定の設計・実装・改善
• 状態推定・フィルタ設計、誤差モデリング、出力する位置・姿勢の信頼度の設計
• 位置推定の入力を揃えるためのキャリブレーション（内部・外部パラメータ推定）、座標変換、時刻同期の設計・改善
• 実車で発生するノイズ・熱・アンテナ特性などを踏まえた補正ロジックの改善

###　センサデータ基盤・表現設計

• センサデータの品質評価と仕様策定
• 物理特性や信号ノイズを考慮したデータ仕様・入力表現（Representation）の設計
• 下流モデル（E2Eモデル、Planning等）が扱いやすい、堅牢なデータ処理パイプラインの構築・改善

###　データ・評価ループの構築（Data-Centric AI）

• 難例（Hard Example）抽出、評価データ整備などの改善ループ構築
• 実車ログ解析・失敗事例分析による精度・データ品質の継続的フィードバック
• シミュレーションでは見えない"実世界のふるまい"を読み解く評価プロセスの設計

###　システム連携・アーキテクチャ設計

• Planningとのインターフェース設計
• E2Eモデル学習時の入力設計
• 実車・シミュレーションを含めた評価基盤との連携

ポジションの魅力

• 精度を上げるために、手段を選べる
  論文で出たばかりの手法の再現から自社データで学習した独自モデルまで、いまの技術スタックや既製のアノテーションツールでできる範囲に合わせる必要はありません。

• 改善のサイクルを自社で回せる
  自社でタクシー事業を運行しているため、生の実車データが毎日蓄積されます。どんなセンサをいくつ、どこに付けるかまで自分たちで決められるので、集めたデータで改善し、実車で確かめるところまでを自分たちの判断だけで進められます。

• 正解データを作る仕組み全体を設計できる
  毎日溜まるデータに人手だけで追いつくことはできないため、自動化が前提になります。自動化のためのモデルを学習させる目的で大規模な人手アノテーションに投資することも含め、どこを自動に任せるかから設計できます。

• 作った正解データが、そのまま学習データになる
  認識の出力は、E2Eモデルの学習データそのものになります。正解データの質がモデルの性能に直結するため、MLエンジニアと連携しながら「どこまでの精度が本当に必要か」に踏み込んで開発できます。

• フリートの管理を、設備ごと設計できる
  大規模なフリートを運用する前提があるため、車両が増えても人手を増やさずに回す必要があります。キャリブレーションや点検のオペレーションを、ソフトウェアに限らず設備まで含めて見直し、作業時間と精度を同時に改善できます。

• 推定した軌跡が、そのまま学習データの土台になる
  自車の位置・姿勢の推定結果は、E2E モデルの学習データを作る土台になります。軌跡の質がそのまま学習データの質に効くため、ML エンジニアと連携しながら「モデルが本当に必要とする精度と速さは何か」に踏み込んで開発できます。

参考情報

• newmo CTOが語る、自動運転の今と未来予測〜フィジカルAI・山の登り方・偶然と制約〜
• newmo 技術ブログ
• newmo、シリーズA総額で179億円の調達を完了。累計調達金額は199億円に到達、自動運転タクシーへ本格参入

• 認識（Perception）の実装経験または自己位置推定・状態推定（Localization）の実装経験
• プログラミング経験（C++/Pythonなど）
  • いずれかの言語で、基礎的なアルゴリズムやデータ構造を理解し、自分でコードを書いて動かせること
• コミュニケーション能力、ドキュメンテーション能力、チームワークスキルを持ち、自ら手を動かしてタスクを進められること
• 日本語でのコミュニケーション能力（JLPT N2相当以上）

• Machine Learning/LLMに関する知識と経験
• Computer Visionに関する知識と経験
• 自動運転・ロボティクスに関する知識と経験
• 車両システムや制御に関する知識と経験

求める人物像 newmoの大事にしている以下のコンピーテンシーを体現できる方

・持続的改革を実行するための精神（Grit)
・自走力
・誠実さ
・チームへの信頼、貢献
・熱意
・ステイクホルダーへのリスペクト
・高い目標意識
・リスクと安全のバランスを取る力