AWS認定資格 WEB問題集＆徹底解説
会員登録/ログイン

機械学習エンジニア–アソシエイト

正解 A問題

（お気に入りチェック） 1 2 3 4

解説

正解はAです。ビジネス成果に基づいたA/Bテストを効率的かつ信頼性の高い方法で実施するためには、Amazon SageMakerのプロダクションバリアント機能を利用して、トラフィックを複数のモデルに分割し、実際のユーザー行動に関連するビジネス指標を測定・分析することが最も適切です。Amazon Kinesisでユーザーインタラクションデータをリアルタイムに収集し、Amazon CloudWatchで集約・監視、Amazon QuickSightで詳細な分析を行うことで、データに基づいた客観的な意思決定が可能になります。

選択肢 B：Amazon SageMaker Model Monitorは、デプロイされたモデルの品質（データドリフト、モデルドリフトなど）や推論パフォーマンス（レイテンシー、エラー率）を監視するのに非常に強力なツールですが、直接的にビジネス成果（顧客エンゲージメント、売上）を測定するようには設計されていません。この選択肢は技術的なメトリクスに焦点を当てており、ビジネス上の価値を客観的に評価するという問題の要件を満たしません。

選択肢 C：新しいモデルを既存モデルの代替として全面的にデプロイし、問題があればロールバックするアプローチは、A/Bテストではありません。これはリスクが高く、潜在的な顧客への悪影響が大きい可能性があります。また、新モデルの性能改善が限定的であった場合でも、その影響を正確に測定・比較することが困難であり、問題の要件である「効率的かつ信頼性の高い」検証とは言えません。

選択肢 D：AWS Lambda関数で予測結果を取得し、社内ユーザーが手動で比較するアプローチは、スケーラビリティに欠け、客観性も担保されません。少数の手動比較では、大規模な顧客ベースにおけるモデルの効果を正確に評価することはできず、効率性や信頼性も低いです。

＋質問 / コメント

解答・解説に疑問がある場合や、よりよい解説がある場合など、お気軽にコメントください。ただし、短文コメントは表示されません。また、中傷などコメントの内容によっては、会員機能を停止させて頂きます。教え学び合える場になれば嬉しいです。（コメント投稿にはログインが必要です）

正答率 %

No.16 解説

あるEコマース企業の機械学習チームは、顧客にパーソナライズされた商品推薦を提供するモデルを運用しています。この既存モデルの性能をさらに向上させるため、最新の機械学習アルゴリズムと追加のユーザー行動データを活用した新しい推薦モデルを開発しました。この新モデルを本番環境に導入する前に、実際の顧客に対する効果を測定し、既存モデルと比較してビジネス上の価値があるかを検証する必要があります。特に、新モデルが顧客エンゲージメントや売上に与える影響を客観的に評価し、データに基づいて導入の意思決定を行いたいと考えています。この検証を効率的かつ信頼性の高い方法で実施するために、どのようにA/Bテストを設計するのが最も適切でしょうか？

Amazon SageMakerのプロダクションバリアント機能を使用して、既存モデルと新しいモデルにトラフィックを分割する。各モデルがサービスするユーザーグループに対して、クリック率、コンバージョン率、セッションあたりの売上などのビジネス指標をAmazon Kinesisで収集し、Amazon CloudWatchでモニタリング後、Amazon QuickSightで分析する
新しいモデルを専用のAmazon SageMakerエンドポイントとしてデプロイし、既存モデルのエンドポイントとは別に稼働させる。Amazon SageMaker Model Monitorを利用して、両モデルの推論時間、メモリ使用量、モデルドリフトなどの技術的なメトリクスを比較し、より優れたモデルを選択する
新しいモデルを既存モデルの代替として全面的に本番環境にデプロイする。数日間にわたり、顧客フィードバックや売上データの変動を広範囲にわたって監視し、問題が発生した場合は直ちに既存モデルにロールバックする
AWS Lambda関数を使用して、ウェブサイトの特定のリクエストに対して、新しいモデルと既存モデルの両方から予測を取得する。これらの予測結果を少数の社内ユーザーが手動で比較し、よりパーソナライズされた推薦を提供していると判断されたモデルを本番に導入する

AWS認定資格 WEB問題集＆徹底解説
会員登録/ログイン

次の問題 前の問題

会員機能

お役立ち情報

姉妹サイト

アンケート

サイト情報