Azure認定資格 WEB問題集＆徹底解説
AI-900：Microsoft Azure AI Fundamentals
解説
正解はCです。トークン化は、大規模言語モデルがテキストを処理する際の最初のステップであり、トークンはモデルが扱う基本単位です。トークナイザーの設計によって、完全な単語、サブワード（部分語）、または個別の文字として表現されます。この柔軟性により、未知の単語や多言語テキストにも対応でき、モデルの汎用性が向上します。Azure OpenAI Serviceなどの言語モデルでは、トークン数が処理コストやAPI利用料金の基準にもなるため、その性質を正しく理解することが重要です。
選択肢A：トークンは必ずしも単語単位で分割されるわけではなく、サブワードや文字単位での分割も行われます。また、トークンは意味理解のための重要な要素であり、単なるデータ保管形式ではありません。
選択肢B：トークンは文章全体を一度に表現する固定長配列ではなく、テキストを分割した個別の単位です。また、トークン化の後には埋め込み（embedding）などの変換処理が必要です。
選択肢D：トークンは文脈理解において中心的な役割を果たします。文字数の計測のみに使われるわけではなく、モデルの入力として意味処理の基盤となります。
選択肢A：トークンは必ずしも単語単位で分割されるわけではなく、サブワードや文字単位での分割も行われます。また、トークンは意味理解のための重要な要素であり、単なるデータ保管形式ではありません。
選択肢B：トークンは文章全体を一度に表現する固定長配列ではなく、テキストを分割した個別の単位です。また、トークン化の後には埋め込み（embedding）などの変換処理が必要です。
選択肢D：トークンは文脈理解において中心的な役割を果たします。文字数の計測のみに使われるわけではなく、モデルの入力として意味処理の基盤となります。
関連サービスの解説
Azure OpenAI Service＋ 質問 / コメント
解答・解説に疑問がある場合や、よりよい解説がある場合など、お気軽にコメントください。ただし、短文コメントは表示されません。また、中傷などコメントの内容によっては、会員機能を停止させて頂きます。教え学び合える場になれば嬉しいです。（コメント投稿にはログインが必要です）
正答率 %
No.48 解説
ある企業の開発チームが、Azure OpenAI Serviceを用いた自然言語処理アプリケーションを構築しています。チームメンバーの一人が、大規模言語モデルにおけるトークン化（tokenization）の仕組みについて理解を深めたいと考えています。トークン化が言語モデルにおいて果たす役割として、最も適切な説明はどれですか。
- トークンは必ず単語単位で分割され、文の意味理解には関与しないデータ保管形式である
- トークンは文章全体の意味を一度に数値化する固定長の配列であり、追加の変換処理を必要としない
- トークンはモデルが処理するテキストの基本単位であり、単語全体、部分語、または文字として表現される場合がある
- トークンは文脈の理解には使用されず、入力テキストの文字数を計測する目的のみで利用される