Nehan株式会社のデータプラットフォームエンジニア（AIデータ基盤）の求人

仕事概要

Nehan株式会社では、「新しい公共を共に創ろう」をミッションに、自治体や官公庁と取引を行いたい事業者向けサービス「AIデータプラットフォーム Labid」を開発・提供しています。

Labidでは、全国の自治体・官公庁から入札案件、落札案件、予算書、議会録など膨大な公共データを収集・構造化し、企業の営業活動を支援するAIデータプラットフォームを構築しています。

今回募集するポジションでは、このデータプラットフォームの中核となるデータ取得・加工パイプラインの設計・開発を担当していただきます。

単にデータを収集するだけではなく、様々なデータソースから情報を取得し、重複排除や正規化、構造化を行い、AIが活用できる高品質なデータへ変換する仕組みをゼロから設計・構築していただきます。

また、今後はLLMやAIエージェントが活用するナレッジ基盤の構築も進めており、データパイプラインからデータモデル、アーキテクチャ設計まで幅広く携わることができます。

【このポジションで取り組むこと】
全国の自治体・官公庁サイトから公共データを収集するデータパイプラインの設計・開発
クローラーやLLMを活用したデータ抽出・構造化
データ品質向上のための正規化・重複統合・データクレンジング
AIが利用しやすいデータモデル・データ基盤の設計
データ基盤の運用改善・パフォーマンス最適化
新たなデータソースの追加・取得基盤の拡張

【技術スタック】
Python
Playwright
LangChain / LangGraph
OpenAI API
AWS（ECS / SQS / Step Functions）
MySQL
GitHub Actions
Docker
→新規基盤設計の際は技術スタックの選定からお願いすることもあります

・以下のような課題を面白いと思える方
自治体ごとに異なるHTMLやPDFから必要な情報を抽出する
LLMを活用して未知のデータソースを構造化する
数千万件規模のデータ品質を改善する
AIが扱いやすいデータモデルを設計する
新しいデータ取得基盤をゼロから設計する

■データ基盤
データパイプラインの設計・構築経験
ETL/ELT基盤の構築経験
データ品質改善・データクレンジング経験
データモデリング経験

■AI
LLMを利用したシステム開発経験
LangChain、LangGraph等を利用した開発経験
EmbeddingやRAGの知識

■その他
Elasticsearch/OpenSearch
ワークフローエンジン
分散処理
非同期処理