【業務委託】データエンジニア：自社サービスSaaSのデータ連携の開発

【概要】 SQL、Pythonによるデータ変換処理の設計および開発 【詳細】 ▼受領データの変換処理の開発 顧客企業から受領したデータをSaaSのデータ仕様に合わせるため、データ連携基盤ではデータの変換を行っています。 顧客企業によってデータ形式が異なるため、データ変換処理は個別に実装し対応しています。 そのデータ変換処理について、設計、実装、テスト、リリースまでを担当頂きます。 設計は、顧客企業から受領したデータをどのように変換するか検討し、設計書に記載していきます。 実装は、作成した設計書を元に変換処理の実装を行います。 ▼集計データを顧客システムに繋ぐ開発 FULL KAITENで集計したデータをお客様に活用していただくため、顧客システムにデータを送信する開発を行っています。 顧客システムで取り込むためにデータ形式を変換して送信しています。設計、実装、テスト、リリースまでを担当頂きます。 【使用技術】 ・開発言語： Python、SQL ・インフラ： Amazon Web Services ・AWS製品： EC2、ECS、StepFunctions、S3、RDS、Redshift、Lambda、Athena、Cloud Watch ・ツール： GitHub、Jira、Slack

・3年以上のプログラミング実務経験 - 特にPythonを用いた開発経験（AWS環境でのAPI開発、バッチ処理開発経験） - pandasを用いたデータの前処理、集計、加工処理の実務経験 ・システム設計の経験（AWS環境におけるシステム設計経験歓迎） ・クラウド環境での開発経験（AWS, Docker, Terraform, git のいずれかの実務経験） ・SQLを用いたデータ集計・加工・連携の実務経験3年以上 - 複雑なSQLクエリの設計・開発経験 - 集計関数やウィンドウ関数を用いたデータ処理の実装経験と仕様理解集計関数やウィンドウ関数を用いたデータ処理の実装経験と仕様理解 - 複数テーブルの結合（INNER JOIN, LEFT JOIN, RIGHT JOINなど）を含むクエリの設計・開発経験 - サブクエリやCTE（共通テーブル式）を適切に使い分けたデータ抽出・加工処理の実務経 - インデックスの特性を理解し、適切なインデックス設計と活用によるクエリのパフォーマンス最適化経験 - データ正規化/非正規化の知識に基づいたデータモデリングの経験 - トランザクション管理、ロックメカニズムに関する基本的な理解 - エラーハンドリング、例外処理の実装経験

・AWS Step Functions, Lambda, EC2 を用いた開発・運用経験 ・大規模データ処理基盤の構築・運用経験 ・ETL/ELTツールの利用経験 ・BIツールに関する知識・経験（単なるデータ抽出ではなく設計・運用） ・データ分析基盤の知識

・データ構造を深く理解し、パフォーマンスを考慮した効率的なSQLクエリとPythonコードを設計・開発できる方 ・AWSの各種サービスを連携させたバッチ処理開発に意欲のある方 ・データ品質に対する意識が高く、エラーハンドリングやテストを丁寧に行える方 ・コミュニケーション能力が高く、チームメンバーと円滑に連携できる方