株式会社ZOZOのデータエンジニアの求人

期待すること（責任/権限）

■チームについて

ZOZOの全社データ基盤の開発運用を行うチームです。
国内最大級のファッションECサイトが生み出す膨大なデータを、高速かつ確実にデータ基盤に届けるためのデータパイプラインの構築、蓄積したデータを分析・活用しやすいよう加工するデータマート集計基盤の開発運用がミッションです。

■職種について

ZOZOのデータ基盤は、20以上のソースシステムと1,100以上のデータマートが存在し、職種問わず多くの社員によってデータ分析クエリが常に実行され続けます。
そんなデータ基盤の構築と運用を担う重要でやりがいのあるポジションです。
業務を通じてZOZO社全体のデータ活用を支えている実感を得られるのも魅力です。
全社員がデータから価値のある情報を引き出すことができる環境を整えるために、「分散システム」「データマネジメント」「セキュリティ」などの知識が特に求められます。

■現状の課題と実現したいこと

既存のデータ基盤はデータサイロ化が進んでおり、データ活用をする際に必要なデータがそのデータ基盤上に存在しないことが大きな課題です。
そのため、サイロ化されているデータを統一されたデータ基盤に集約する事が必要です。
ZOZOTOWNが日々生み出すデータの量は膨大であり、そのデータを遅延なく正確にデータ基盤に届けるためにはデータベースやログコレクタなどの多くのミドルウェアの知識が必要です。
大量のデータを効率よく扱い、ZOZOグループのデータ活用の下支えすることができ、既存のデータ基盤を前提として受け取るのではなく、課題発見から設計・改善までを主体的に担っていただけるエンジニアの方を求めています。

業務内容

■具体的な業務例

ZOZOTOWNのデータ基盤の開発運用を担当していただきます。

• データパイプラインの設計/構築/実装/運用/
• Infrastructure as CodeおよびCI/CDによる構築/デプロイ自動化
• サービス監視設計/運用
• パフォーマンスチューニングを含むSite Reliability向上のための実装
• データ基盤全体を見据えたアーキテクチャ設計・改善
• 既存データパイプラインの課題抽出と改善の主導
• 技術的意思決定（パフォーマンス／信頼性／コスト）の実施

また、全社的なデータ活用の促進・ガバナンスの向上に向けた取り組みに対して、技術的な側面からサポートする、アナリティクスエンジニアとしての業務も希望に応じて担当いただきます。

• メタデータ拡充と品質向上施策の推進（dbt-osmosis等のツール導入・検証含む）
• dbtを中心とした関連リポジトリのCI/CD整備（linter/formatter/テストの導入・改善）
• Data Productsからデータフィードが必要なシステムに向けた、新規データモデル開発プロジェクトのPjM ＋ dbtを用いたデータモデリング（実装）
• INFORMATION SCHEMAをベースとした実行ログを分析し、発行されたクエリのパフォーマンスの監視・改善やコスト削減

■利用技術

• 開発言語：Python / Golang / Bash
• クラウド：GCP / AWS
• コンテナ技術：Docker / GKE
• Data Warehouse：BigQuery
• ETL：Cloud Dataflow
• ログコレクタ：Fluentd / fluentbit
• Database：SQL Server / MySQL / PostgreSQL
• 構成管理：Terraform / CloudFormation
• CI/CD：GitHub Actions
• 監視：Cloud Monitoring
• ワークフロー：Cloud Composer(Airflow) / Digdag
• データモデリングツール：dbt

■参考資料

• 会社説明資料
• 【TECHBLOG】全社共通データ基盤を廃止して新しいデータ基盤に引越した話
• 【TECHBLOG】dbt導入によるデータマート整備
• 【TECHBLOG】GKE上にAirbyteを構築しSaaSデータ連携をリプレイスした話
• 【TECHBLOG】Cloud Composerにデータマート集計基盤を移行しました
• 【TECHBLOG】OSSにコントリビュートしてログ収集基盤におけるCloud Pub/Subのリージョン間通信費用を削減した話
• ZOZOを支えるリアルタイムデータ連携基盤の歴史とビジネス貢献 / 歴史と革新

必要条件

■必須条件

• Python/Java/Scala/Golang/Ruby/C/C++ 等のプログラミング言語のうち、一つ以上の言語でコードを書けること
• AWS/Azure/GCPいずれかのクラウドを利用したインフラ/サービス運用経験
• 既存システムに対して、課題を構造的に捉え、設計・実装・運用の観点から改善を主導した経験

■歓迎条件

• データ基盤の開発経験
• Webアプリケーションの開発経験
• 分散システムの開発運用経験
• DBチューニングやSQL最適化などの経験
• dbt/dataform等のツールを用いた設計・開発・保守運用の経験