AWS認定資格 WEB問題集＆徹底解説
機械学習エンジニア–アソシエイト
解説
正解はDです。シャドウデプロイメントは、新モデルを本番環境と並行して稼働させながら、その予測結果を実際のサービスに反映させない方法です。これにより、新モデルが本番のトラフィックでどのように機能するかをリアルタイムで評価し、パフォーマンスメトリクスや偽陽性率を詳細に分析できます。顧客体験に影響を与えることなく、安全にモデルの性能を検証できるため、本ケースの「顧客への不必要なアラートを最小限に抑える」という要件に最適です。
選択肢 A：AWS Lambdaファンクションでモデルを定期的に切り替える方法は、実際にはA/Bテストの一種であり、新モデルの性能が不十分な場合、顧客体験に直接的な悪影響を与える可能性があります。安全な事前評価には向きません。
選択肢 B：手動でのレビューは、モデルの挙動を深く理解するのに役立ちますが、金融機関の膨大な取引量に対してはスケーラブルではありません。また、本番環境での動的な挙動を網羅的に評価することは困難です。
選択肢 C：A/Bテストは有効な評価手法ですが、トラフィックの一部を新モデルにルーティングするため、モデルの性能が期待に満たない場合、一部の顧客に不必要なアラートが発生し、顧客体験を損なうリスクがあります。シャドウデプロイメントと比較して、リスクが高いアプローチです。
Amazon SageMaker
AWS Lambda
選択肢 A：AWS Lambdaファンクションでモデルを定期的に切り替える方法は、実際にはA/Bテストの一種であり、新モデルの性能が不十分な場合、顧客体験に直接的な悪影響を与える可能性があります。安全な事前評価には向きません。
選択肢 B：手動でのレビューは、モデルの挙動を深く理解するのに役立ちますが、金融機関の膨大な取引量に対してはスケーラブルではありません。また、本番環境での動的な挙動を網羅的に評価することは困難です。
選択肢 C：A/Bテストは有効な評価手法ですが、トラフィックの一部を新モデルにルーティングするため、モデルの性能が期待に満たない場合、一部の顧客に不必要なアラートが発生し、顧客体験を損なうリスクがあります。シャドウデプロイメントと比較して、リスクが高いアプローチです。
関連サービスの解説
Amazon Fraud DetectorAmazon SageMaker
AWS Lambda
＋ 質問 / コメント
解答・解説に疑問がある場合や、よりよい解説がある場合など、お気軽にコメントください。ただし、短文コメントは表示されません。また、中傷などコメントの内容によっては、会員機能を停止させて頂きます。教え学び合える場になれば嬉しいです。（コメント投稿にはログインが必要です）
正答率 %
No.6 解説
金融サービスを提供する企業で、異常取引検知システムを運用しているMLチームの責任者であるあなたは、既存のモデルは高い精度を維持しているものの、新たな脅威に対応するため、より高度な機械学習モデルを開発しました。この新モデルが既存のシステムと比較して検出性能を向上させつつも、顧客への不必要なアラート（偽陽性）を最小限に抑える必要があります。本番環境にデプロイする前に、実データを用いてその効果と潜在的なリスクを評価する最も安全で効果的なアプローチは何ですか。
- 期間を定めてAWS Lambdaファンクションを通じて定期的に新旧モデルを切り替え、各期間の運用結果を比較して評価する。
- 新モデルがフラグした取引の一部を、専門家が手動で詳細にレビューし、モデルの精度と誤検知率を事前に検証する。
- A/Bテストを用いて、トラフィックの一部を新モデルにルーティングし、リアルタイムでの顧客反応と検出メトリクスを比較する。
- シャドウデプロイメントを実施し、新モデルからの予測結果は本番システムに適用せず、ログとして記録・分析する。