AWS認定資格 WEB問題集＆徹底解説

会員登録/ログイン

正解

A. トレーニングセットでモデルのパラメータを学習し、バリデーションセットでハイパーパラメータの調整とモデル選択を行い、テストセットで最終的なモデル性能を評価する

データセット分割の教科書どおりの正しい説明です。トレーニングセットでモデルのパラメータ（重み・バイアス）を学習し、バリデーションセットで学習率やネットワーク層数などのハイパーパラメータ調整とモデル選択を行い、テストセットは開発中に一切使わず最終的な汎化性能の評価だけに使います。
テストセットを「最後まで開封しない」ことで、未知データに対する公平な性能評価が可能になります。
製品画像の不良品検出のように本番で未知の画像を扱うモデルでは、この 3 分割が汎化性能の担保に直結するため、これが正解です。

B. トレーニングセットでモデルの最終評価を行い、バリデーションセットでモデルのパラメータを学習し、テストセットでハイパーパラメータの調整を行う

3 つの用途が完全に入れ替わっています。学習に使ったトレーニングセットでの評価は丸暗記した答案で自己採点するようなもので、必ず実力より高い数値が出ます。
また、テストセットでハイパーパラメータを調整すると、テストデータに合わせ込んだ（リークした）チューニングとなり、最終評価の公平性が失われます。

C. トレーニングセット、バリデーションセット、テストセットはすべて同じ目的でモデルの性能評価に使用され、分割する理由は統計的な信頼性を高めるためである

3 つのセットはそれぞれ役割が異なります（学習用・調整用・最終評価用）。すべてを性能評価に使うという理解は誤りです。
分割の目的は統計的な信頼性の向上ではなく、学習に使ったデータで評価しない（データリークを防ぐ）ことで、未知データへの汎化性能を正しく測る点にあります。

D. トレーニングセットでハイパーパラメータを調整し、バリデーションセットで最終的な性能を測定し、テストセットでモデルのパラメータを学習する

ハイパーパラメータの調整はバリデーションセットで行うものであり、トレーニングセットで行うと過学習を検知できません。
さらに「テストセットでモデルのパラメータを学習する」のは、最終評価用に取っておくべきデータで学習してしまう典型的なデータリークで、その後の評価はまったく意味を持ちません。

正解への思考ルート

問題文から要件を抽出し、選択肢の適否を判断するのがポイントです。

要件	判断ポイント
モデルのパラメータ（重み・バイアス）を学習する	これはトレーニングセットの役割。学習に使うデータで評価してはならない →選択肢（B・D）を消す
ハイパーパラメータの調整とモデル選択を行う	バリデーションセットの役割。学習中に過学習の兆候を見ながら調整するために使う →選択肢（A）は候補
最終的なモデル性能（汎化性能）を評価する	テストセットの役割。開発中は一切触らず、最後に 1 回だけ使うことで公平な評価になる →選択肢（A）が正解
モデルの精度と汎化性能を確保したい	3 つのセットは目的が異なる。同じ目的で使う（統計的信頼性のためだけの分割）という理解は誤り →選択肢（C）を消す

ひっかけポイント

• 選択肢 B・D は役割を入れ替えただけのひっかけ。「トレーニング＝学習」「テスト＝最終評価」という 2 点さえ固定できれば、読んだ瞬間に消せる
• 選択肢 C の「統計的な信頼性を高めるため」はもっともらしい理由付けだが、分割の本質は学習に使ったデータで評価しない（データリーク防止）こと
• パラメータ（重み・バイアス＝学習で決まる）とハイパーパラメータ（学習率・層数＝人／自動チューニングが決める）の区別が本問の土台。選択肢はこの 2 語を意図的に混ぜている
• テストセットを何度も見ながらモデルを選ぶと、実質的にテストセットで調整していることになり汎化性能を過大評価する。「テストセットは最後の 1 回」が鉄則

出題バリエーション

同じ知識が本番では条件を変えて出題されます。

問題文がこう変わったら	正解はこう変わる
「データ量が少なく、バリデーション用に十分なデータを割けない」	交差検証（k-fold クロスバリデーション）が正解軸に。
「トレーニングセットでは高精度だが、バリデーションセットで精度が大きく落ちる」	過学習（オーバーフィッティング）と診断し、正則化・データ拡張・早期終了が正解に。
「Amazon SageMaker でハイパーパラメータの探索を自動化したい」	SageMaker の自動モデルチューニング（ハイパーパラメータ最適化）が正解軸に。
「本番運用後にモデルの精度が徐々に低下してきた」	モデルドリフト／データドリフトの話に変わり、再学習や SageMaker Model Monitor が正解軸に。

関連サービスの解説

Amazon SageMaker