AWS認定資格 WEB問題集＆徹底解説

会員登録/ログイン

A. 市場の特定イベント発生時に適用される、厳格な取引ロジックの静的ルールセットを構築する

静的なルールセットは、あらかじめ人間が書いた条件分岐に従って動くだけで、学習も適応も行わない。
問題文は「従来の固定的なルールベースのシステムでは対応が難しい」と明記しており、この選択肢は置き換えたい旧方式そのもの。
強化学習は環境との相互作用を通じて自ら方策を改善する手法であり、ルールの列挙は初期定義事項ではない。

B. 過去の取引データから、成功した取引と失敗した取引を手動で分類し、詳細なラベルを付与する

成功/失敗を手動で分類してラベルを付けるのは教師あり学習の準備作業。
強化学習では正解ラベルを与えず、行動の結果として環境から返ってくる報酬シグナルが学習の手がかりになる。
そもそも「どの取引が最適だったか」の正解ラベルは事後にも一意に決まらないため、この問題設定にも合わない。

C. 大量の歴史的市場データを収集し、それを用いて将来の株価変動を予測する教師あり学習モデルを訓練する

過去データから将来の株価を予測する教師あり学習モデルは、「予測」はできても「どう行動すべきか（売買判断）」は学習しない。
問題文は SageMaker の強化学習機能を使うと決めた前提で「初期段階に何を定義するか」を問うており、別のアプローチ（教師あり学習）に置き換える選択肢は要件から外れる。
強化学習は環境との試行錯誤を通じて累積報酬を最大化する方策を学ぶ点が本質的に異なる。

正解

D. 取引を行うエージェント、市場のシミュレーション環境、エージェントが実行可能なアクション、および取引結果に基づく報酬をそれぞれ定義する

強化学習の枠組みは、エージェント（学習し行動する主体）・環境（相互作用する世界）・アクション（実行できる行動）・報酬（行動へのフィードバック）の 4 要素で定式化される（さらに状態も含む）。
本問では、取引エージェント、市場のシミュレーション環境、売買などのアクション、損益に基づく報酬をそれぞれ定義することで、エージェントが試行錯誤しながら累積報酬（利益）を最大化する戦略を学習できる。
特に報酬関数の設計は学習結果を決定づける最重要要素であり、初期段階で明確にしておく必要がある。正解。

構成図

エージェント（取引を行う主体）
   │ アクション（売買・保持）
   ▼
環境（市場のシミュレーション）
   │ 状態（市場データ）・報酬（取引の損益）
   ▲
   └────────────▶ エージェントへフィードバック

正解への思考ルート

問題文から要件を抽出し、選択肢の適否を判断するのがポイントです。

要件	判断ポイント
SageMaker の強化学習機能を使うと決めている	問われているのは強化学習の定式化に必要な要素。教師あり学習やルールベースへ話をすり替える選択肢は要件外 →選択肢（A・B・C）を消す
仮想的な取引環境でエージェントを訓練する	エージェントと環境（シミュレーター）の定義が出発点になる →選択肢（D）が正解
利益を最大化する戦略を開発する	「最大化する対象」を報酬として定義する必要がある。報酬関数の設計が学習の成否を決める →選択肢（D）が正解
事前定義されたラベルや固定ルールでは対応できない市場の動的変化	ラベル付与＝教師あり学習、静的ルール＝非 ML。どちらも強化学習の初期定義事項ではない →選択肢（B・C）を消す／選択肢（A）を消す

ひっかけポイント

• 選択肢 B の「成功/失敗を手動でラベル付け」は一見データ準備として妥当に見えるが、ラベルを使うのは教師あり学習。強化学習の学習シグナルは報酬であってラベルではない
• 選択肢 C の「株価予測モデル」は金融 AI として自然に見えるが、予測（predict）と行動選択（act）は別問題。強化学習は「どう行動するか（方策）」を学ぶ
• 選択肢 A の静的ルールセットは、問題文が「対応が難しい」と明示的に否定している旧方式。問題文で否定された方式が選択肢に紛れ込むのは定番のひっかけ
• 強化学習の構成要素を「エージェント・環境・アクション・報酬」とセットで暗記しておく。1 つでも欠けている選択肢は不正解と判断できる

出題バリエーション

同じ知識が本番では条件を変えて出題されます。

問題文がこう変わったら	正解はこう変わる
「ラベル付きの過去データから、翌日の株価が上がるか下がるかを予測したい」	教師あり学習（分類・回帰）が正解軸に。強化学習は不要。
「エージェントが短期的な利益ばかり追い、長期的に損をする」	報酬関数の設計（割引率・長期報酬の重み付け）の見直しが正解に。
「学習済みの方策が未知の市場状況で機能しない」	探索と活用のバランス（exploration/exploitation）やシミュレーション環境の多様化が論点に。
「顧客の行動履歴から似た顧客をグループ化したい」	教師なし学習（クラスタリング）が正解軸に。強化学習・教師あり学習とは別枠。

関連サービスの解説

Amazon SageMaker