案件情報案件NO.1331

【AWS】フルリモート/データリネージ基盤構築支援

70万〜 86万円/月（税別）

東京都その他

契約形態：準委任契約

週5日稼働

フルリモート

期間

2026年7月～長期案件です

職種

システムエンジニア・プログラマー

言語・スキル

Python / AWS / Git / Docker / PostgreSQL

業務内容

ロボットデータ基盤において、データ処理過程を追跡可能にするデータリネージ機能の設計・構築を担当いただきます。
・データリネージ機能の設計、構築
・ロボットデータの処理過程を追跡可能にする仕組みの設計
・データカタログ基盤の構築
・OpenMetadata 等の導入検討
・Iceberg / PostgreSQL / Dagster との連携設定
・認証基盤の移行対応
・Keycloak の AWS デプロイ
・AWS Cognito からの移行、IdP 管理
・データパイプラインのマルチテナント対応
・Dagster / Iceberg / Nessie のネームスペース分離
・AWS インフラの改善、最適化
・ECS リソース調整、モニタリング、コスト最適化

■勤務地
フルリモート

■面談回数
Web　2回

■開発環境
・クラウド：AWS（ECS Fargate, RDS, S3, ALB, CloudWatch）
・IaC：Terraform
・データ基盤：Dagster, Apache Iceberg, Nessie, Trino
・認証：Keycloak, AWS Cognito
・その他：Docker, OpenMetadata, Nginx

求めるスキル

■必須スキル
・データパイプラインの設計・構築経験（Dagster, Airflow, dbt 等いずれか）
・データリネージやデータカタログの設計経験、またはアーキテクチャレベルでの知見
・AWS でのインフラ構築・運用経験（ECS, RDS, ALB, S3 等）
・Terraform によるインフラコード管理の経験
・Docker / Docker Compose を用いた環境構築経験
・Git (GitHub) を用いた開発経験
・技術選定・設計から実装・運用まで自走できる方

■尚可スキル
・データカタログの導入・運用経験（OpenMetadata, Apache Atlas, DataHub 等）
・データメッシュやメダリオンアーキテクチャ等のデータ基盤設計パターンへの理解
・Apache Iceberg / Nessie / Trino 等のデータレイク技術の経験
・認証基盤の構築経験（Keycloak, OAuth2 / OIDC）
・Python でのツール・スクリプト開発経験
・データ品質管理やデータガバナンスの設計経験
・コスト最適化やモニタリング設計の経験

問い合わせする

登録は簡単！

応募には会員登録が必要です

会員登録

ログインはこちら

【AWS】フルリモート/データリネージ基盤構築支援

ログアウトしますか？