AIF / ドメイン1 AIとMLの基礎
重要な内容
Amazon Comprehend
は、文章の意味を解析するのです。 モデルを学習させずにを呼ぶだけで、感情、固有表現、言語などを取り出せます。
なお、Comprehendのうちトピックモデリング、イベント検出、の安全性の分類の3つの機能は、新規の利用者を受け付けていません (直近12か月に使ったアカウントは引き続き使えます)。話題の判定とイベントの抽出にはの、プロンプトの安全性の判定にはが代わりの手段として案内されています。感情分析、固有表現抽出、検出などの他の機能は影響を受けません。
概要
は、テキストを入力すると解析結果を構造化して返します。 問い合わせ内容の分類、レビューの感情分析、文書からの検出などに使います。
試験では、「テキストから意味的な情報を抽出する」要件で選ぶサービスとして登場します。 文章を生成するのではなく、既にある文章を解析する側であることが判断の軸です。
主要技術
①主要な解析機能 ⚠️ 頻出
| 機能 | 取り出せるもの | 用途の例 |
|---|---|---|
| 感情分析 | 肯定、否定、中立、混在 | レビューや問い合わせの傾向把握 |
| 固有表現抽出 | 人名、組織名、地名、日付、数量 | 文書からの項目抽出 |
| キーフレーズ抽出 | 文章の要点となる語句 | 記事の要約支援、タグ付け |
| 言語検出 | 入力テキストの言語 | 翻訳前の言語判定 |
| 構文解析 | 品詞と語の関係 | 文章の構造分析 |
| トピックモデリング (新規の受け付けを終了) | 文書集合に共通する話題 | 既存の利用者の大量文書の分類 |
| () の検出 | 氏名、住所、口座番号などの位置 | 機密情報の隠ぺい (マスキング) |
| 有害性の検出 | 不適切な表現 | 投稿の審査 |
対応する言語は機能ごとに違います。感情分析、固有表現抽出、キーフレーズ抽出は日本語を含む多くの言語に対応しますが、個人情報の検出は英語とスペイン語、有害性の検出は英語のみです。 また、トピックモデリングとイベント検出は新規の利用者を受け付けておらず、代わりにので話題の判定やイベントの抽出を行う方法が案内されています。
⚠️ 頻出: 「大量の文書から個人情報を見つけて隠したい」という要件はのPII検出です。データ保管先の機密情報を調べる要件はになります。
Point
- PII = Personally Identifiable Information(個人を特定できる情報) の略です。
- テキストの中のPII検出は Comprehend、S3に保管されたデータのPII発見は Macie と覚えます。
- 和訳
- identifiable: 識別できる、特定できる
- Weblio英和辞書「identifiable」
②カスタム分類とカスタムエンティティ
既製の解析では足りない場合、自社ので独自の分類器や固有表現抽出器を作れます。 少量のデータで学習でき、学習の基盤を自分で用意する必要はありません。 テキストのカスタム分類とカスタムエンティティ認識は、英語、スペイン語、フランス語、ドイツ語、イタリア語、ポルトガル語に対応します (日本語には対応しません)。
| 機能 | 内容 | 判断ポイント |
|---|---|---|
| カスタム分類 | 独自のカテゴリーへ文書を分類します。 | 業務固有の区分へ振り分けたい場合 |
| カスタムエンティティ認識 | 独自の固有表現 (製品コードなど) を抽出します。 | 業界固有の用語を取り出したい場合 |
⚠️ 頻出: 「業務固有のカテゴリーへ文書を分類したい」なら、で自作する前にのカスタム分類を検討します。
③実行方法と料金
| 実行方法 | 内容 |
|---|---|
| 同期 | 1件または少量のテキストを即時解析します。 |
| 非同期ジョブ | 上の大量データをまとめて解析します。 |
| カスタムモデルの | 独自モデルを常時利用できる形で公開します。 |
料金は解析した文字数に応じたです。 カスタムモデルのエンドポイントは稼働時間で課金されるため、使わないときは削除します。
④他サービスとの役割分担
| やりたいこと | 選ぶサービス |
|---|---|
| テキストの意味を解析する | |
| 音声を文字にする | |
| 文章を翻訳する | |
| 文章を読み上げる | |
| 帳票やPDFから文字と項目を取り出す | |
| 文章を生成、要約、書き換えする | |
| 社内文書を検索して答えを返す | (の後継) |
⚠️ 頻出: 要約や書き換えのように新しい文章を作る要件はComprehendではなくBedrockです。
試験対策
①判断マトリクス
| 問題文のキーワード | 選ぶ機能 |
|---|---|
| レビューが肯定的か否定的か | 感情分析 |
| 文中の人名や組織名を抜き出す | 固有表現抽出 |
| 文書に含まれる氏名や住所を隠す | 検出 |
| 大量の文書に共通する話題を新しく判定したい | の (トピックモデリングは新規の受け付けを終了) |
| 自社独自の区分へ文書を分類 | カスタム分類 |
| 入力の言語が分からない | 言語検出 |
②よくある誤答
- 文章の生成や要約をで行うと考えること。生成はの役割です。
- 上のデータの機密情報の棚卸しをComprehendで行うと考えること。保管データの検出はです。
- カスタム分類に大量のデータが必須と考えること。少量のから始められます。