ｕｇｏ株式会社 求人一覧1005_機械学習エンジニア（Physical AI / VLM・VLA）【正社員】
ｕｇｏ株式会社 求人一覧
1005_機械学習エンジニア（Physical AI / VLM・VLA）【正社員】

1005_機械学習エンジニア（Physical AI / VLM・VLA）【正社員】

ｕｇｏ株式会社

10.開発｜Engineering
1005_機械学習エンジニア（Physical AI / VLM・VLA）【正社員】

仕事概要

ポジションの概要

Physical AIと呼ばれる「VLM（大規模視覚言語モデル）」「VLA（大規模視覚言語行動モデル）」といった視覚と言語と行動を結びつけたマルチモーダルな次世代AIモデルを開発し、当社の「ugo Pro」や新開発のロボットに適用していきます。

以下の3つの開発領域で、AI技術を「実世界の物理的な動き」に繋げる技術開発に取り組んでいただきます：

  1. エッジAIによる物体検知: エッジデバイスでのYOLO物体検出のリアルタイム推論
  2. 模倣学習（ugo Pro R&D）: LeRobotフレームワークを用いたヒューマノイドロボットugo Proの模倣学習と行動生成
  3. 強化学習: NVIDIA Isaac Labを用いた4足歩行ロボットTerraの強化学習とシミュレーション

カメラ画像から警備・点検現場での異常を検知するモデルの実装とエッジ側へのデプロイ、そして「AIを積んだだけ」ではなく、それがどうユーザーへの価値を提供できるかフィードバックを受けながら開発に取り組んでいただきます。

私たちと一緒に、AIロボットの開発を通じて、労働力不足の解決に挑戦しませんか？

具体的な仕事内容

業務DXロボット向けのロボット基盤モデル開発、ファインチューニング、AIモデルのトレーニング、そしてエッジデプロイを担当していただきます。あなたの興味や専門性に応じて、以下の3つの開発領域から担当領域を選択できます。

1. エッジAI
  • YOLOv7-tinyなどの物体検出モデルのエッジデバイスへのデプロイ
  • 量子化によるモデル最適化
  • C++20によるエッジデバイス向け推論エンジンの開発
  • カメラ画像からの点検対象認識（計器読み取り、異常検知等）
2. 模倣学習（ugo Pro R&D）
  • LeRobot frameworkを用いたヒューマノイドロボットugo Proの模倣学習
  • Diffusion Policy、ACT（Action Chunking Transformer）などのアルゴリズム実装
  • VLM（大規模視覚言語モデル）・VLA（大規模視覚言語行動モデル）の開発・ファインチューニング
  • Zarr、Safetensorsなどを用いた大規模データセット管理
3. 強化学習
  • NVIDIA Isaac Lab、Isaac Simを用いた4足歩行ロボットの強化学習
  • 不整地認識、段差昇降の強化学習による制御ポリシー開発
  • シミュレーション環境構築と物理シミュレーション
  • Weights & Biasesを用いた学習進捗の可視化
共通業務
  • モデル訓練など大規模データセットのデータパイプライン構築
  • 開発したAIモデルの評価と安全性向上
  • AIモデルとロボット制御システムの統合（行動フィードバックループの開発）
  • フィールドテストおよび技術検証
  • 他部門との技術調整、要件定義のサポート

開発環境

OS・インフラ
  • OS：Linux (Ubuntu 22.04)
  • インフラ：AWS, GPU環境（学習用）
  • その他：Docker, GitHub Actions, AWS Copilot CLI
使用言語・技術スタック
1. エッジAI
  • 言語：C++, Python
  • モデル：YOLOv7-tiny (INT8量子化)
  • 画像処理：OpenCV
  • 最適化：INT8量子化, OpenMP並列化
  • 通信：NATS Pub/Sub, JSON, GStreamer
2. 模倣学習（ugo Pro R&D）
  • 言語：Python
  • フレームワーク：PyTorch, LeRobot (Hugging Face)
  • アルゴリズム：Diffusion Policy, ACT (Action Chunking Transformer)など
  • Physical AI：VLM (Vision-Language Models), VLA (Vision-Language-Action Models)
  • 通信：gRPC / Protocol Buffers
3. 強化学習
  • 言語：Python
  • フレームワーク：PyTorch, RSL RL (PPO)
  • シミュレーター：NVIDIA Isaac Lab, Isaac Sim
  • 学習手法：教師-生徒蒸留学習 (Distillation), Actor-Critic
共通技術
  • 画像処理：OpenCV, PIL
  • モデル最適化：ONNX, TensorRT
開発ツール
  • バージョン管理：Git (Git flow)
  • コミュニケーション：Slack, Notion
  • AI支援開発：Claude Code, Codex

このポジションの魅力

技術的な魅力

Physical AI - AIを実世界の物理的な動きに繋げる

3つの開発領域で最先端技術に挑戦

  1. エッジAI（AI Toolbox）

    • エッジデバイスでのリアルタイム物体検出
    • INT8量子化、OpenMP並列化などの最適化技術を駆使
    • ロボットに搭載されたエッジデバイスで動作する実用的なAIシステムの構築

  2. 模倣学習（ugo Pro R&D）

    • LeRobot frameworkを用いたヒューマノイドロボットugo Proの模倣学習
    • VLM/VLAという最先端のマルチモーダルAI技術をロボットに実装
    • 人間のデモンストレーションからロボットが学習する新しい学習手法の開発

  3. 強化学習

    • NVIDIA Isaac Lab、Isaac Simを用いた4足歩行ロボットTerraの強化学習
    • 不整地認識、段差昇降など、実世界の複雑な環境でのロボット制御の実現
    • シミュレーションから実機への転移学習（Sim-to-Real）
共通の魅力
  • 「AIを積んだだけ」ではなく、ロボットの挙動にフィードバックされるループ開発
  • 実機での検証機会が豊富で、実際のロボットが学習して動く様子を目の当たりにできる
  • あなたの興味や専門性に応じて、3つの開発領域から選択・組み合わせて開発できる
組織・カルチャー
  • 多様なバックグラウンドを持つエンジニアが国籍問わず在籍するグローバルな環境
  • 幅広い専門性を持つエンジニアとともに、最先端のロボット開発に挑戦できる環境
  • 得意分野を活かしながら、新しい領域にも挑戦し、スキルを磨ける機会が多くあります
  • 国籍も年代も異なる様々なメンバーがフラットに意見を交わし合い、切磋琢磨できるカルチャー
キャリア・成長機会
  • Physical AIという最先端の技術領域でのスペシャリストとして、3つの開発領域（エッジAI、模倣学習、強化学習）でスキルを習得
  • エッジAI: エッジデバイスでのモデル最適化とリアルタイム推論のエキスパートに
  • 模倣学習: VLM/VLA、LeRobotなど、次世代のロボット学習技術の第一線で活躍
  • 強化学習: Isaac Lab、PPO、蒸留学習など、シミュレーションベースの強化学習のスペシャリストに
  • 将来的には、新規ロボット機種のAIシステム全体をアーキテクト
  • ゆくゆくは、新規ロボットの立ち上げにおけるソフトウェア開発にも関わるチャンスがあります
  • フレックス勤務を活用し、働きやすい環境で技術革新に挑戦できます

参考情報

▼ コーポレートサイト
https://corp.ugo.plus/

▼ note
https://note.com/ugo_robot

▼ podcast ＜ugo Robotics Radio＞
https://open.spotify.com/show/51DueB6zSlbVzVXnGehD9y?si=86eaa8dcf06a4471

応募時のお願い

・応募時の書類（履歴書・職務経歴書）はPDF形式にてご提出いただきますようお願い申し上げます

必須スキル

  • Pythonを実務で使用した経験（目安：3年以上）
  • Linuxの利用経験（目安：3年以上）
  • 画像認識、物体検出、セグメンテーションのいずれかの実装経験

歓迎スキル

エッジAI関連
  • PyTorchまたはTensorFlowを用いた機械学習モデルの開発経験
  • YOLOv7-tiny, YOLOv8等のYOLOシリーズの使用経験
  • INT8量子化、モデル圧縮、プルーニングの経験
  • NVIDIA Jetson等のエッジデバイスへのデプロイ経験
  • TensorRT, ONNX Runtimeを用いたモデル最適化経験
  • OpenMP, CUDA等の並列化・高速化技術の経験
  • NATS, gRPC等のメッセージング・通信プロトコルの実装経験
模倣学習（ugo Pro R&D）関連
  • VLM（Vision-Language Models）、VLA（Vision-Language-Action Models）の開発・ファインチューニング経験
  • 模倣学習（Imitation Learning）の実装経験
  • LeRobot framework, Hugging Face Transformersの使用経験
  • Diffusion Policy, ACT (Action Chunking Transformer)等のアルゴリズム実装経験
強化学習関連
  • 強化学習（Reinforcement Learning）の実装経験
  • PPO (Proximal Policy Optimization)等のRLアルゴリズムの実装経験
  • NVIDIA Isaac Lab, Isaac Simを用いたシミュレーション開発経験
  • 教師-生徒蒸留学習（Distillation）の実装経験
  • URDFを用いたロボットモデリング経験
共通スキル
  • 大規模データセットの前処理・モデル構築・評価・デプロイに至る一連のプロセスをリードした経験
  • ROS/ROS 2を用いたロボット開発経験
  • SLAM/Navigation、センサー処理、アーム制御のいずれかのご経験
  • 商用レベルのロバスト性を実現するための技術洗練スキル（製品化追込みスキル）
  • Git flowワークフローなどを用いた開発経験
  • 技術ロードマップの策定や技術選定の経験

求める人物像

  • フットワークが軽く幅広い事に興味をお持ちの方
  • 新技術への興味をお持ちの方
  • 課題に対して自ら仮説をたて具体的なアクションを実行し改善を継続して実施できる方
  • エンジニア・ビジネス両面の視点を持ち、プロダクト価値向上に貢献できる方

応募概要

給与

■想定年収
600万円～ 1000万円(経験能力考慮の上優遇)

勤務地

東京都千代田区東神田1-7-8　（本社）
※試用期間終了後、一部リモートワーク可

雇用形態正社員
勤務体系

勤務時間（フレックスタイム制、コアタイム：有 11:00～16:00）
10:00〜19:00（実働8時間）
●年間休日125日
●完全週休二日制(土日祝日)
●有給休暇年間20日一斉付与
●夏季休暇（３日）
●年末年始休業（毎年10日前後）

試用期間あり（３ヶ月）
福利厚生

●交通費支給
●社会保険完備（雇用保険、労災保険、健康保険、厚生年金保険）
●書籍購入支援制度
●借上社宅制度（現物給与型）

企業情報

企業名ｕｇｏ株式会社
設立年月2018年2月
本社所在地東京都千代田区東神田1-7-8 プライム東神田ビル8F
資本金1億円（資本準備金含む）
従業員数85名
企業サイトURLhttps://corp.ugo.plus/