Azure認定資格 WEB問題集＆徹底解説

会員登録/ログイン

A. 学習に使えるのは人手で正解ラベルを付けた文章に限られ、ラベルの無い文章は事前の学習に利用できない

文章生成モデルの事前学習では、大量のラベルの無い文章を使い、「文章の続きの語（トークン）を予測する」ことを繰り返して学習します。正解は文章そのものの中にあるため、人手で正解ラベルを付ける必要がありません（自己教師あり学習）。

人手のラベルや評価が使われるのは、事前学習の後に特定の用途や望ましい応答へ合わせ込む段階です。「ラベル付きの文章しか使えない」とする点が、大規模言語モデルの学習の仕組みと逆で誤りです。

正解

B. 入力を単語や部分文字列の単位へ区切ったうえで、各単位が他の単位とどの程度関係するかをまとめて計算する仕組みを備える

文章生成モデルは、入力をまず単語や部分文字列の単位であるトークンへ区切り、それぞれを数値のベクトルに変換して扱います。そのうえでアテンション（自己注意）という仕組みにより、各トークンが他のトークンとどの程度関係するかをまとめて（並列に）計算します。

たとえば「昨日の会議で提案された企画は予算の都合で見送られたが、それは来期に再検討される」という文では、「それ」の意味を捉えるために、前に出てきた「企画」との関係を強く重み付けます。この仕組みは Transformer の中核で、説明として妥当です。

C. あらかじめ用意した文法規則と辞書を順に照合し、次に置く語を決めていく処理が中核になっている

文法規則と辞書を人が用意し、それと照合して語を決めていくのは、ルールベースと呼ばれる古い自然言語処理の方式です。

今日の文章生成モデルは、規則を人が書くのではなく、大量の文章から語の並び方のパターンを統計的に学習し、その学習結果に基づいて次に来るトークンの確率を計算して文章を組み立てます。中核の仕組みが根本的に異なるため誤りです。

正解

D. Transformer と呼ばれる構造を土台としており、文章を書く用途のモデルにも文章を読み解く用途のモデルにも共通して使われている

今日広く使われている言語モデルの多くは、Transformer と呼ばれるニューラル ネットワークの構造を土台にしています。Transformer には入力を読み解くエンコーダーと出力を作るデコーダーの部分があり、文章生成向けのモデル（GPT 系など）は主にデコーダーを、文章の分類など読み解く用途のモデル（BERT 系など）は主にエンコーダーを使います。

このように、書く用途にも読み解く用途にも共通の土台として使われているという説明は妥当です。

E. 入力の語を先頭から 1 語ずつ順番に読み込む仕組みしか持たず、文中で離れた位置にある語どうしの関係は捉えられない

入力の語を 1 語ずつ順番に読み込み、離れた語どうしの関係を捉えにくいのは、Transformer 以前に主流だったRNN（再帰型ニューラル ネットワーク）の弱点です。

Transformer は、入力（プロンプト）のトークンをまとめて処理し、アテンションによって文中で離れた位置にある語どうしの関係も直接捉えます。なお、文章を出力するときは 1 トークンずつ生成して付け足していきますが、これは出力の作り方の話であり、入力を 1 語ずつしか読めないという意味ではありません。

正解への思考ルート

問題文から要件を抽出し、選択肢の適否を判断するのがポイントです。

要件	判断ポイント
事前学習に使うデータ	事前学習はラベルの無い大量の文章で「続きの語を予測する」ことを学ぶ。人手のラベルは必須ではない →選択肢（A）を消す
次の語を決める中核の仕組み	人が書いた文法規則と辞書ではなく、大量の文章から学んだ統計的なパターンで決める →選択肢（C）を消す
入力の処理と、離れた語どうしの関係	1 語ずつ順に読み、離れた語の関係を捉えにくいのはRNN の弱点。Transformer はアテンションでまとめて関係を計算する →選択肢（E）を消す
トークン化とアテンション	入力をトークンに区切り、トークン間の関係をアテンションで計算するのが中核 →選択肢（B）が正解
モデルの土台となる構造	Transformer は文章生成（デコーダー中心）にも文章理解（エンコーダー中心）にも使われる共通の土台 →選択肢（D）が正解

ひっかけポイント

• 選択肢 E は「文章を 1 トークンずつ生成する」という事実と混同させる誤答。出力は 1 トークンずつ作るが、入力は全トークンをまとめて処理し、離れた語の関係もアテンションで直接捉える。出力の作り方と入力の読み方を分けて考える
• 選択肢 A の「ラベル付きの文章に限られる」は、画像分類などの教師あり学習のイメージを持ち込んだ誤り。大規模言語モデルの事前学習はラベル無しの文章で行えるからこそ、膨大なデータで学習できる
• 選択肢 C は昔の機械翻訳やチャットボットのルールベース方式。「AI が文法を知っているから書ける」という直感に訴えるが、今日のモデルは規則ではなく学習したパターンで語を選ぶ
• 選択肢 D の「読み解く用途にも共通」を言い過ぎと疑って外しやすい。分類など文章理解向けのモデル（BERT 系）も Transformer のエンコーダーを使っており、記述は正しい

出題バリエーション

同じ知識が本番では条件を変えて出題されます。

問題文がこう変わったら	正解はこう変わる
「文章生成モデルが応答を作るときの動きを説明せよ」	それまでの文脈から次のトークンを予測して 1 つずつ付け足す処理が正解に（入力の処理とは区別する）。
「モデルへ渡す前に文章を細かい単位に区切って数値 ID に置き換える処理は何か」	トークン化が正解。トークン数は課金とコンテキスト長の計算にも使われる。
「一度に扱える入力の量に上限はあるか」	コンテキスト ウィンドウ（扱えるトークン数）に上限があり、入力が長いほど計算量も増える。
「語や文の意味の近さを数値で表す表現は何か」	埋め込み（ベクトル）が正解に。意味が近いほどベクトル同士も近くなる。
「事前学習済みのモデルを自社の用途に合わせて追加で学習させたい」	ファインチューニングが正解に。この段階ではラベル付きの例文（入力と望ましい出力）を使う。