OpenStreet株式会社のDatabricksデータエンジニアの求人

当社では全社的なデータ駆動型経営をさらに加速させるため、現在データ基盤をDatabricks（レイクハウス・プラットフォーム）へと集約し、BI環境もDatabricks SQLおよびDatabricks AI/BI（Dashboards/Genie）へ移管するプロジェクトを推進しています。

Databricksのポテンシャルを最大限に引き出し、社内のアナリストやビジネス部門がストレスなく高度なデータ分析・可視化を行える環境を構築・リードするデータエンジニアを募集します。

【具体的には…】
・データパイプライン（ETL/ELT）の構築・運用:
PySparkやDatabricks SQL、Databricks Workflowsを用いた効率的なデータ処理ジョブの実装

・レイクハウスでのデータモデリング:
メダリオンアーキテクチャに基づいた、Silver（クレンジング）およびGold（ビジネス用マート）レイヤーの設計・開発

・BI移管とダッシュボード高度化:
既存BIからDatabricks AI/BI（Dashboards）への移行推進、およびDatabricks SQLを用いたクエリパフォーマンスの最適化・チューニング

・データガバナンスとメタデータ管理:
Unity Catalogを活用したデータカタログの整備、アクセス権限の適切な管理

・データ活用統制・支援:
開発したデータマートの利用ドキュメント整備や、社内のデータアナリスト向けの開発標準・運用のルール策定

・他部署や外部関係者とコミュニケーションを取るのが好きな方
・単にデータを集めるだけでなく、「データがどう使われるか」「どう設計すればクエリが高速化するか」を追求できる方
・データの整合性や品質、ガバナンス（セキュリティ）に責任感を持ち、実直に基盤を洗練させられる方
・他部署や、データアナリストなどのステークホルダーと円滑に連携・合意形成ができる方

・Databricksの実務経験（Delta Lake、Unity Catalog、Databricks SQLなどの利用経験）
・クラウド環境（AWS、Azure、GCPのいずれか）上でのデータ処理パイプラインの開発・運用経験

・DWH/データレイク環境におけるデータマート（Star Schemaなど）の設計・データモデリング経験またはその理解
・dbt（data build tool）を用いたデータモデリング・CI/CD環境の構築経験
・Databricks AI/BI、または何らかのBIツールを用いたダッシュボード構築およびデータソース設計の経験
・空間データの処理経験
・他のシステム開発チームやデータサイエンスチームとのシステム連携・要件定義の経験