AWS認定資格 WEB問題集＆徹底解説
機械学習エンジニア–アソシエイト
問題文と選択肢
- Amazon SageMaker Pipelinesを使用してワークフローを自動化し、Amazon SageMaker Experimentsを使用してモデルの実験結果を追跡および比較する。
- Amazon SageMaker Feature Storeを使用して特徴量を管理し、Amazon SageMaker Autopilotを使用して最適なモデルを自動的に構築する。
- Amazon S3に学習データを格納し、ハイパーパラメータの調整は手動で行い、Amazon SageMaker Training Jobsでモデルを学習させる。
- Amazon SageMaker Ground Truthでデータセットにラベル付けを行い、Amazon SageMaker Model Monitorでモデルの性能を監視する。
A. Amazon SageMaker Pipelinesを使用してワークフローを自動化し、Amazon SageMaker Experimentsを使用してモデルの実験結果を追跡および比較する。
Amazon SageMaker Pipelines は、前処理・特徴量エンジニアリング・学習・評価・デプロイまでの ML ワークフローをコードで定義し、サーバーレス基盤で自動実行するオーケストレーションサービスです。前半の「一連の ML ワークフローの自動化」に直接対応します。
Amazon SageMaker Experiments は、試行（trial）ごとに使用したアルゴリズム・ハイパーパラメータ・入力データ・評価指標を自動的に記録し、実験を横断して結果を比較・ランキングできます。「複数のアルゴリズムや特徴量セットを組み合わせて繰り返し実験し、結果を詳細に記録して比較検討する」という後半の要件にそのまま応えます。
2 つの要件に対して 2 つの専用サービスを過不足なく割り当てた、唯一の正解です。
B. Amazon SageMaker Feature Storeを使用して特徴量を管理し、Amazon SageMaker Autopilotを使用して最適なモデルを自動的に構築する。
SageMaker Feature Store は特徴量を一元管理・再利用するためのサービスで、特徴量エンジニアリングの効率化には役立ちますが、ワークフロー全体を自動化するものではありません。
SageMaker Autopilot は AutoML であり、モデル探索を「自動で任せる」仕組みです。本問のチームは自らアルゴリズムや特徴量セットを指定して意図的に実験を繰り返し、その結果を比較検討したいと述べており、探索を丸投げする Autopilot は要求されている実験管理の主導権と噛み合いません。
どちらも要件の中心（自動化＋実験追跡）を外しています。
C. Amazon S3に学習データを格納し、ハイパーパラメータの調整は手動で行い、Amazon SageMaker Training Jobsでモデルを学習させる。
Amazon S3 へのデータ格納と SageMaker Training Jobs での学習は ML の基本要素ですが、これらを並べただけではワークフローの自動化にはなりません（各ジョブを人が順に起動する運用になります）。
さらに「ハイパーパラメータの調整は手動で行う」と明記されており、多数の実験を効率よく回して比較したいという要件に真っ向から反します（本来なら SageMaker の自動モデルチューニングを使う場面です）。
実験結果を追跡・比較する仕組みも存在しません。
D. Amazon SageMaker Ground Truthでデータセットにラベル付けを行い、Amazon SageMaker Model Monitorでモデルの性能を監視する。
SageMaker Ground Truth は学習データのラベリング、SageMaker Model Monitor は本番デプロイ後のデータドリフト・品質監視のサービスです。いずれも ML ライフサイクル上の重要な機能ですが、担当するフェーズが本問の要件（開発段階のワークフロー自動化と実験管理）とずれています。
ラベル付きデータは既にある前提で、問われているのはその後の実験の回し方と結果の比較です。監視は運用フェーズの話であり、モデル選定の役には立ちません。
流れを自動化するなら Pipelines、試行錯誤を記録・比較するなら Experiments。この 2 つはセットで覚える。
正解への思考ルート
問題文から要件を抽出し、選択肢の適否を判断するのがポイントです。| 要件 | 判断ポイント |
|---|---|
| 前処理〜特徴量エンジニアリング〜学習〜評価〜デプロイの一連のワークフローを自動化したい | ML ワークフローのオーケストレーションは SageMaker Pipelines が本命 →選択肢（A）は候補 |
| 複数のアルゴリズム・特徴量セットで繰り返し実験し、結果を記録して比較したい | 試行ごとのパラメータと指標を自動記録・横断比較できるのは SageMaker Experiments →選択肢（A）が正解 |
| 実験の主導権はチーム側にある（自分で組み合わせを変えて試す） | Autopilot はモデル探索を自動化して任せる仕組みで、制御された実験管理の代替にはならない →選択肢（B）を消す |
| 「多数の実験を効率よく回す」ことが前提 | ハイパーパラメータの手動調整は自動化・比較検討の要件と正面から矛盾する →選択肢（C）を消す |
| 問われているのは開発段階の話（デプロイ後の監視ではない） | Ground Truth はラベリング、Model Monitor は運用監視でフェーズ違い →選択肢（D）を消す |
ひっかけポイント
- 選択肢 B の Feature Store は「特徴量エンジニアリング」という語につられて選びやすいが、特徴量の管理・再利用が役割で、ワークフロー自動化も実験比較も担わない
- 「最適なモデルを自動的に構築する Autopilot」は一見すると実験の代わりに見えるが、本問は自分で組み合わせを変えて試し、結果を比較したいという要求。AutoML に任せる話ではない
- 選択肢 C は「手動で行い」という一語が地雷。自動化を求める設問で「手動」と書かれた選択肢は基本的に切れる
- SageMaker のサービス名を並べた選択肢では、各サービスが ML ライフサイクルのどのフェーズを担うかで消していくのが最短ルート（ラベリング／準備／開発／運用監視）
出題バリエーション
同じ知識が本番では条件を変えて出題されます。| 問題文がこう変わったら | 正解はこう変わる |
|---|---|
| 「ML の専門知識が乏しいため、モデル探索そのものを自動化したい」 | SageMaker Autopilot（や SageMaker Canvas）が正解軸に。 |
| 「学習と推論で同じ特徴量を再利用し、チーム間で共有したい」 | SageMaker Feature Store が正解軸に。 |
| 「本番デプロイ後にデータドリフトや精度劣化を監視したい」 | SageMaker Model Monitor（＋ Clarify）が正解に。 |
| 「多数のハイパーパラメータ組み合わせを効率よく探索したい」 | SageMaker の自動モデルチューニング（HPO）が正解軸に。ベイズ最適化などで探索する。 |
| 「コミットを契機にビルド・テスト・デプロイまで CI/CD で回したい」 | SageMaker Projects（CodePipeline 連携）が正解軸に。 |
リファレンス
この問題を解くために必要な知識を扱う公式ドキュメントです。| 知識項目 | 公式ドキュメント |
|---|---|
| ML ワークフローの自動化とリネージ・実行履歴の追跡 | Pipelines - Amazon SageMaker AI |
- Amazon SageMaker Pipelinesを使用してワークフローを自動化し、Amazon SageMaker Experimentsを使用してモデルの実験結果を追跡および比較する。
- Amazon SageMaker Feature Storeを使用して特徴量を管理し、Amazon SageMaker Autopilotを使用して最適なモデルを自動的に構築する。
- Amazon S3に学習データを格納し、ハイパーパラメータの調整は手動で行い、Amazon SageMaker Training Jobsでモデルを学習させる。
- Amazon SageMaker Ground Truthでデータセットにラベル付けを行い、Amazon SageMaker Model Monitorでモデルの性能を監視する。