AWS認定資格 WEB問題集＆徹底解説

会員登録/ログイン

1. サービス概要

AWS Data Pipelineは、データの移動と変換を定義された間隔でスケジュール実行する、Webサービスベースのワークフローオーケストレーションサービスです。異なるAWSサービス（S3・RDS・DynamoDB・EMR等）やオンプレミスデータソース間で、データ駆動型のワークフローを構築できます。

なお、AWS Data Pipelineは新規顧客への提供を終了しており、新しいワークロードではAWS Glue・AWS Step Functions・Amazon MWAA（Managed Workflows for Apache Airflow）への移行が推奨されています。

2. 主な特徴と機能

2.1 主要コンポーネント

• パイプライン定義: ビジネスロジック（データソース・処理・スケジュール）を定義。
• データノード: 入出力データの場所（S3・RDS・DynamoDB等）。
• アクティビティ: 実行する処理（コピー・SQL・EMR・シェルコマンド等）。
• 前提条件（Precondition）: アクティビティ実行前に満たすべき条件（データの存在確認等）。

2.2 スケジュール実行

定期的なスケジュールでデータ処理を自動実行。失敗時のリトライ・通知も設定可能。

2.3 オンプレ連携

Task Runnerをオンプレミスにインストールして、オンプレデータとAWS間のデータ移動を実現。

3. アーキテクチャおよび技術要素

• Task Runner: パイプラインのタスクをポーリングして実行するコンポーネント（EC2・EMR・オンプレで動作）。
• EC2/EMRの自動起動: 処理に必要なコンピューティングリソースを自動的に起動・終了。

4. セキュリティと認証・認可

• IAMロール: パイプラインロール・リソースロールでアクセスを制御。
• 暗号化: S3等のデータソース側の暗号化に従う。

5. 料金形態

• アクティビティ・前提条件の実行頻度に基づく課金。
• 起動されるEC2・EMR等のリソース料金は別途発生。

6. よくあるアーキテクチャ・設計パターン

• 定期ETL: RDS → S3 → EMRで変換 → Redshiftにロードといった定期バッチ処理。
• DynamoDBバックアップ: DynamoDBテーブルを定期的にS3にエクスポート。
• 移行先: 新規はAWS Glue（ETL）・Step Functions（オーケストレーション）・MWAA（Airflow）への移行が推奨。

7. 設定・デプロイ手順（ハンズオン例）

1. Data Pipelineコンソールでパイプラインを作成。
2. データノード・アクティビティ・スケジュール・前提条件を定義。
3. IAMロールを設定してパイプラインをアクティブ化。
4. 実行状況を確認（失敗時はリトライ・通知）。

※新規構築では提供終了を踏まえ、Glue/Step Functions/MWAAの利用を検討してください。

8. 試験で問われやすいポイント