GENIAC採択プロジェクト始動。双腕セミヒューマノイドのロボット基盤モデルを、実験と実機で改善する
仕事概要
募集背景
ugoは2026年9月、経済産業省・NEDOのGENIAC(ロボット基盤モデルの研究開発)に採択されました。双腕セミヒューマノイド「ugo Nova」で製造組立作業を自律化する、VTLA(Vision-Tactile-Language-Action)モデルを開発します。
- GENIACに採択(2026年9月9日発表)
- ugo Novaを発表(2026年9月16日発表)
触覚を含む約30万エピソードの収集と学習基盤の整備が進み、モデル改善の実験を回す手が必要です。π0.5などの公開基盤モデルを、自社データと実機で性能改善していくエンジニアを募集します。
あわせて、物理シミュレータ上の強化学習で接触の多い作業を解き、実機へ転移する取り組みも進めます。VLA・模倣学習と、Sim RL・Sim2Realの両面からモデル開発に取り組むエンジニアを募集します。
ポジションの概要
- 対象タスクと評価指標が定義された状態で、実験の設計・実行・分析・改善を自走していただきます
- 扱うのは、映像・触覚などのセンサーの時系列データから、ロボットの行動(制御の出力)を学習するモデルです
- 入口は次の2つです。どちらの経験から入っても、両方の領域に関わっていただきます
- VLA・模倣学習:公開基盤モデルのファインチューニングと、学習レシピ・データ構成の改善
- Sim RL・Sim2Real:物理シミュレータ上での強化学習と、実機への転移
- 技術方針・アーキテクチャの決定はテックリードと部長が担い、その議論にも参加していただきます
- マネジメント業務はありません
- 本ポジションは、機械学習の研究・開発経験をすでにお持ちの方が対象です。未経験からの育成枠ではありません
このポジションの魅力
- 実機とデータを持つ環境:自社ロボット・自社タスク・自社収集データを起点に、学習から実機評価まで一貫して回せます
- 未確立の領域に取り組める:触覚・力覚を使った接触の多い組立タスクは、手法が固まっていない領域です
- 実験の結果が実機ですぐ見える:開発したモデルでロボットが動く様子を、目の前で確かめられます
業務内容
VLA・模倣学習
-
π0.5・GR00T等の公開基盤モデルのファインチューニングと、学習レシピ・データ構成の改善
-
模倣学習・強化学習の手法の再現実装と、自社タスクでの比較評価
-
異なる身体性のデータ(ウェアラブル機器・UMI等)を実機へ適用する学習手法の検証
Sim RL・Sim2Real -
Isaac Lab等の物理シミュレータでの、接触の多い組立タスク(挿入・締結等)の環境構築と報酬設計
-
強化学習方策のSim2Real(Domain Randomization等)と、実機での検証
-
強化学習で獲得した方策のVLAへの蒸留や、VLAに残差強化学習を組み合わせる手法の検証
評価と分析 -
シミュレーション・実機での評価の実施と、失敗要因の分析
-
実験結果の記録・共有と、次の打ち手の提案
実機への実装 -
学習済みモデルの実機デプロイと動作検証
-
データ収集・MLインフラ担当との、データ仕様・学習基盤の要件のすり合わせ
開発環境
- 言語・フレームワーク:Python、PyTorch、JAX、LeRobot、RSL-RL
- 基盤モデル(VLA):π0.5(openpi)、GR00T、AIRoA-0(LoRA等によるファインチューニング)
- 模倣学習:ACT、Diffusion Policy、Flow Matching系ポリシー
- 強化学習:PPO、Sim-to-Real、Domain Randomization
- シミュレーション:NVIDIA Isaac Lab / Isaac Sim、MuJoCo
- 学習・実験管理:NVIDIA GPU(H100 / H200)、Docker、Weights & Biases
- データ:LeRobotDataset、rosbag / MCAP
- 実機・エッジ推論:ROS 2、NVIDIA Jetson Thor(ugo Nova搭載のオンボード推論用コンピュータ)
- ツール:Git、GitHub、Slack、Notion
- 生成AI・AIコーディング:Claude Code、Codex
参考情報
応募時のお願い
- 応募時の書類(履歴書・職務経歴書)はPDF形式にてご提出いただきますようお願い申し上げます
- 書類選考では、以下1を特に重視しています。職務経歴書に記載いただくか、ポートフォリオなどの別資料(形式自由)として必ず添付してください。2は任意です。
- ご自身で学習・評価を回して性能を改善した事例を1つ教えてください(課題/ベースライン/打ち手/結果の数値)
- その事例を確認できる論文・リポジトリ・発表資料があればURLを教えてください(任意)
※変更の範囲:入社後、ご本人の適性により当社業務全般に変更の可能性があります。
必須スキル
- 機械学習の研究・開発経験 通算3年以上(大学院での研究を含む)。うち企業での研究・開発経験1年以上
- PyTorch または JAX で、深層学習モデルの学習・評価を自ら実装した経験
- 次の いずれか の領域での研究・開発経験
- ロボットの模倣学習・強化学習
- 自動運転のEnd-to-End・ML Planner・行動予測
- 物理シミュレータ(Isaac Lab、MuJoCo等)上での強化学習
- 動画・時系列・マルチモーダル(画像と言語・センサー)の深層学習
- 自ら設計した実験で、ベースラインに対して性能を定量的に改善した経験(論文・コード・社内成果のいずれかで説明できること)
- Gitを用いたチーム開発の経験
歓迎スキル
- VLA(π0.5、GR00T等)やVLMのファインチューニング経験
- ロボット実機・センサー・アクチュエータを含む開発経験
- 接触の多い操作(contact-rich manipulation)、触覚・力覚センシングを用いた学習の経験
- 接触の多いタスクでの強化学習や、強化学習方策の実機転移(Sim2Real)の経験
- ヒューマノイド・脚ロボットの全身制御(WBC)の学習経験
- LeRobot、ROS2、Isaac Lab / Isaac Simの使用経験
- 分散学習(PyTorch DDP / FSDP)や実験管理(Weights & Biases)の経験
- CoRL、RSS、ICRA、IROS、NeurIPS、ICLR、CVPR等での論文採択・発表経験
- 手法の再現実装のOSS公開
求める人物像
- 仮説を立て、実験で検証し、結果から次の打ち手を決めるサイクルを自走できる方
- 論文の手法を、自社のデータと実機で使えるかを見極めながら実装できる方
- シミュレーションで閉じず、実機での性能にこだわれる方
- 実験の結果や失敗を率直に共有し、チームの議論に貢献できる方
応募概要
| 給与 | ■想定年収 |
|---|---|
| 勤務地 | 東京都千代田区東神田1-7-8 (本社) |
| 雇用形態 | 正社員 |
| 勤務体系 | 勤務時間(フレックスタイム制、コアタイム:有 11:00~16:00) |
| 試用期間 | あり(3ヶ月) |
| 福利厚生 | ●交通費支給 |
企業情報
| 企業名 | ugo株式会社 |
|---|---|
| 設立年月 | 2018年2月 |
| 本社所在地 | 東京都千代田区東神田1-7-8 プライム東神田ビル8F |
| 資本金 | 1億円(資本準備金含む) |
| 従業員数 | 90名 |
| 企業サイトURL | https://corp.ugo.plus/ |