Azure認定資格 WEB問題集&徹底解説

AI-901:Microsoft Azure AI Fundamentals

正解 B問題
分野2:Microsoft Foundry を使用して AI ソリューションを実装する タスクステートメント2.2:Foundry を使用してテキストと音声用の AI ソリューションを実装する
合格に向けて、もっと深く学習する
豊富な問題と詳細なAzureサービス解説を、1 時間無料でお試しいただけます
プレミアム会員機能を無料で試す ❯
問題文と選択肢
通信販売会社のコンタクトセンターで、オペレーターと顧客の通話録音から対応内容の要約を自動生成する仕組みを検討しています。要約には、話した内容だけでなく、顧客が言葉に詰まった箇所や声を荒らげた場面といった話し方の様子も反映させたいと考えています。また、処理のステップはできるだけ少なくしたいと考えています。

この要件に最も適した構成はどれですか。
  • Azure Speech で通話音声を文字起こしし、その結果を Azure Language の要約機能へ渡す
  • 音声とテキストの両方を入力として受け付けるマルチモーダル モデルを Microsoft Foundry からデプロイし、録音データをそのまま渡して要約させる
  • Azure Speech で文字起こしした結果に Azure Language のセンチメント分析をかけ、否定的な発言に印を付けてから要約機能へ渡す
  • テキスト入力専用の言語モデルを Microsoft Foundry からデプロイし、録音ファイルをそのまま添付して要約させる
  • Azure Speech で文字起こししたテキストを、Microsoft Foundry にデプロイしたマルチモーダル モデルへ渡して要約させる
解説 頻出度★★★★★
この問題は、「話し方の様子(言葉に詰まる・声を荒らげる)も要約に反映 × 処理のステップは最少」という要件から、録音を文字起こしせずにそのまま入力できる音声対応のマルチモーダル モデルを選べるかがポイントです。

A. Azure Speech で通話音声を文字起こしし、その結果を Azure Language の要約機能へ渡す

Azure Speech の音声テキスト変換で文字起こしし、Azure Language の要約機能へ渡す構成は、話した内容を要約するだけなら定番の組み合わせです。
しかし文字起こしで残るのは発話された単語だけで、声の大きさや調子、言葉に詰まった間といった話し方の様子はテキストに残りません。要約機能は受け取ったテキストしか見ないため、「声を荒らげた場面」を反映できません。さらに文字起こし→要約の 2 段構成で、ステップ最少の要件でも正解(B)に劣ります。

なお、Azure Language の要約機能は 2029 年 3 月 31 日に廃止予定です。

正解

B. 音声とテキストの両方を入力として受け付けるマルチモーダル モデルを Microsoft Foundry からデプロイし、録音データをそのまま渡して要約させる

音声とテキストの両方を入力として受け付けるマルチモーダル モデルは、録音データを音声のまま受け取り、プロンプトの指示に従って要約を生成できます。
文字起こしを挟まないので、発話の内容に加えて声の調子・間・言いよどみといった音声にしかない手がかりもモデルの判断材料に残ります。
処理は「録音を渡して要約させる」の 1 段で完結し、「話し方の様子も反映」「ステップを少なく」の両方を満たします。

C. Azure Speech で文字起こしした結果に Azure Language のセンチメント分析をかけ、否定的な発言に印を付けてから要約機能へ渡す

センチメント分析(感情分析)は、テキストの言葉づかいから肯定・否定・中立を判定する機能です。否定的な発言に印を付けることはできても、判定の材料は文字起こし後のテキストだけなので、声を荒らげたかどうか・言葉に詰まったかどうかは入力に残っていません(丁寧な言葉のまま語気を強めた場面は拾えず、穏やかな口調の否定文は拾ってしまう)。
文字起こし→感情分析→要約の 3 段構成で、ステップ数も選択肢の中で最多です。

なお、Azure Language の感情分析と要約機能は 2029 年 3 月 31 日に廃止予定です。

D. テキスト入力専用の言語モデルを Microsoft Foundry からデプロイし、録音ファイルをそのまま添付して要約させる

録音をそのまま渡す 1 段構成という点は正解(B)と同じに見えますが、テキスト入力専用のモデルは音声を入力として扱えません。モデルが受け付ける入力の種類(モダリティ)はモデルごとに決まっており、モデル カタログで確認します。
音声を処理できないので要約そのものが成立せず、話し方の様子を反映する以前の問題です。「Foundry にデプロイした生成モデルなら何でも音声を読める」わけではありません。

E. Azure Speech で文字起こししたテキストを、Microsoft Foundry にデプロイしたマルチモーダル モデルへ渡して要約させる

モデルはマルチモーダルでも、渡しているのは文字起こし後のテキストです。声の調子や言葉に詰まった間は文字起こしの時点で落ちているため、モデルがどれほど高性能でも、入力に無い情報は要約に反映できません。
文字起こし→要約の 2 段構成でもあり、ステップ最少の要件でも正解(B)に劣ります。決め手はモデルの種類ではなく、何を入力として渡すかです。

これだけ覚える(記憶フック)
文字起こしした瞬間に「声の様子」は消える。話し方まで見たいなら、音声のまま音声対応モデルへ渡す。
正解への思考ルート 問題文から要件を抽出し、選択肢の適否を判断するのがポイントです。
要件 判断ポイント
通話録音から対応内容の要約を自動生成する 要約が成立することが前提。テキスト入力専用のモデルは音声ファイルを入力として扱えない
→選択肢(D)を消す
話した内容だけでなく、言葉に詰まった箇所や声を荒らげた場面も反映する 文字起こしで残るのは発話された単語だけ。声の調子・間はテキスト化した時点で失われ、後段で感情分析やマルチモーダル モデルを使っても戻らない
→選択肢(A・C・E)を消す/選択肢(B)は候補
処理のステップはできるだけ少なくする 録音をそのまま 1 回渡すだけの構成が最少。文字起こしを挟むと 2 段、感情分析まで挟むと 3 段になる
→選択肢(B)が正解
ひっかけポイント
  • 「マルチモーダル モデル」という語だけで選択肢 E を選ぶと外れる。E は文字起こし後のテキストを渡しているので、モデルの能力に関係なく声の様子は入力に存在しない
  • 選択肢 C の「センチメント分析で否定的な発言に印を付ける」は、声を荒らげた場面を拾えそうに見える。しかし判定するのはテキストの言葉づかいで、声量や語調ではない。しかもステップが最多
  • 選択肢 D は B と同じ「録音をそのまま渡す 1 段構成」に見える。違いはモデルの入力モダリティで、テキスト専用モデルは音声を受け付けない
  • 選択肢 A は「Speech で文字起こし → Language で要約」という定番の組み合わせなので安心して選びがち。話した内容の要約だけなら有力だが、本問の決め手は音声にしかない手がかりを残せるか
出題バリエーション 同じ知識が本番では条件を変えて出題されます。
問題文がこう変わったら 正解はこう変わる
「要約は話した内容だけで十分。後で検索できるように文字起こしのテキストも保存したい」 文字起こしを挟む構成(Azure Speech + 要約)が有力になる。テキストを残すこと自体が要件になるため、2 段構成が弱点にならない(Azure Language の要約機能は 2029 年 3 月 31 日に廃止予定なので、新規構築では後継の手段も確認する)。
「顧客とリアルタイムに音声で対話するボイス エージェントを作りたい」 要約ではなく低遅延の双方向音声が主眼。Realtime API などリアルタイム音声向けの機能が正解軸になる。
「通話ごとに問い合わせの種別や対応結果など決まった項目を構造化して取り出したい」 自由記述の要約ではなく項目抽出が主眼。Azure Content Understanding(コール センター向けの事前構築済みアナライザーや、音声用ベースアナライザーを継承したカスタム アナライザー)が候補になる。
「通話録音を別の言語のテキストにしたい」 要約ではなく音声翻訳が主眼。Azure Speech の音声翻訳が正解軸に変わる。
関連サービスの解説 Microsoft Foundry
リファレンス この問題を解くために必要な知識を扱う公式ドキュメントです。
知識項目 公式ドキュメント
音声入力を受け付けるモデルに録音を直接渡し、文字起こしや要約を生成する(入力と出力のモダリティ) クイックスタート ガイド - Azure OpenAI のオーディオ生成を開始する - Microsoft Foundry
+ 質問 / コメント
解答・解説に疑問がある場合や、よりよい解説がある場合など、お気軽にコメントください。ただし、短文コメントは表示されません。また、中傷などコメントの内容によっては、会員機能を停止させて頂きます。教え学び合える場になれば嬉しいです。(コメント投稿にはログインが必要です)
正答率 50%
No.19 解説
通信販売会社のコンタクトセンターで、オペレーターと顧客の通話録音から対応内容の要約を自動生成する仕組みを検討しています。要約には、話した内容だけでなく、顧客が言葉に詰まった箇所や声を荒らげた場面といった話し方の様子も反映させたいと考えています。また、処理のステップはできるだけ少なくしたいと考えています。

この要件に最も適した構成はどれですか。
  • Azure Speech で通話音声を文字起こしし、その結果を Azure Language の要約機能へ渡す
  • 音声とテキストの両方を入力として受け付けるマルチモーダル モデルを Microsoft Foundry からデプロイし、録音データをそのまま渡して要約させる
  • Azure Speech で文字起こしした結果に Azure Language のセンチメント分析をかけ、否定的な発言に印を付けてから要約機能へ渡す
  • テキスト入力専用の言語モデルを Microsoft Foundry からデプロイし、録音ファイルをそのまま添付して要約させる
  • Azure Speech で文字起こししたテキストを、Microsoft Foundry にデプロイしたマルチモーダル モデルへ渡して要約させる

(会員限定)当問題の評価をお願いします。改善に活用します。