AIF / ドメイン1 AIとMLの基礎

重要な内容

Amazon Comprehend

は、文章の意味を解析するのです。 モデルを学習させずにを呼ぶだけで、感情、固有表現、言語などを取り出せます。

なお、Comprehendのうちトピックモデリング、イベント検出、の安全性の分類の3つの機能は、新規の利用者を受け付けていません (直近12か月に使ったアカウントは引き続き使えます)。話題の判定とイベントの抽出にはの、プロンプトの安全性の判定にはが代わりの手段として案内されています。感情分析、固有表現抽出、検出などの他の機能は影響を受けません。


概要

は、テキストを入力すると解析結果を構造化して返します。 問い合わせ内容の分類、レビューの感情分析、文書からの検出などに使います。

概要の図 テキスト Amazon Comprehend 感情 固有表現 キーフレーズ 個人情報 PII

試験では、「テキストから意味的な情報を抽出する」要件で選ぶサービスとして登場します。 文章を生成するのではなく、既にある文章を解析する側であることが判断の軸です。


主要技術

①主要な解析機能 ⚠️ 頻出

機能取り出せるもの用途の例
感情分析肯定、否定、中立、混在レビューや問い合わせの傾向把握
固有表現抽出人名、組織名、地名、日付、数量文書からの項目抽出
キーフレーズ抽出文章の要点となる語句記事の要約支援、タグ付け
言語検出入力テキストの言語翻訳前の言語判定
構文解析品詞と語の関係文章の構造分析
トピックモデリング (新規の受け付けを終了)文書集合に共通する話題既存の利用者の大量文書の分類
() の検出氏名、住所、口座番号などの位置機密情報の隠ぺい (マスキング)
有害性の検出不適切な表現投稿の審査

対応する言語は機能ごとに違います。感情分析、固有表現抽出、キーフレーズ抽出は日本語を含む多くの言語に対応しますが、個人情報の検出は英語とスペイン語、有害性の検出は英語のみです。 また、トピックモデリングとイベント検出は新規の利用者を受け付けておらず、代わりにので話題の判定やイベントの抽出を行う方法が案内されています。

⚠️ 頻出: 「大量の文書から個人情報を見つけて隠したい」という要件はのPII検出です。データ保管先の機密情報を調べる要件はになります。

Point
  • PII = Personally Identifiable Information(個人を特定できる情報) の略です。
  • テキストの中のPII検出は Comprehend、S3に保管されたデータのPII発見は Macie と覚えます。
  • 和訳

②カスタム分類とカスタムエンティティ

既製の解析では足りない場合、自社ので独自の分類器や固有表現抽出器を作れます。 少量のデータで学習でき、学習の基盤を自分で用意する必要はありません。 テキストのカスタム分類とカスタムエンティティ認識は、英語、スペイン語、フランス語、ドイツ語、イタリア語、ポルトガル語に対応します (日本語には対応しません)。

機能内容判断ポイント
カスタム分類独自のカテゴリーへ文書を分類します。業務固有の区分へ振り分けたい場合
カスタムエンティティ認識独自の固有表現 (製品コードなど) を抽出します。業界固有の用語を取り出したい場合

⚠️ 頻出: 「業務固有のカテゴリーへ文書を分類したい」なら、で自作する前にのカスタム分類を検討します。


③実行方法と料金

実行方法内容
同期1件または少量のテキストを即時解析します。
非同期ジョブ上の大量データをまとめて解析します。
カスタムモデルの独自モデルを常時利用できる形で公開します。

料金は解析した文字数に応じたです。 カスタムモデルのエンドポイントは稼働時間で課金されるため、使わないときは削除します。


④他サービスとの役割分担

やりたいこと選ぶサービス
テキストの意味を解析する
音声を文字にする
文章を翻訳する
文章を読み上げる
帳票やPDFから文字と項目を取り出す
文章を生成、要約、書き換えする
社内文書を検索して答えを返す (の後継)

⚠️ 頻出: 要約や書き換えのように新しい文章を作る要件はComprehendではなくBedrockです。


試験対策

①判断マトリクス

問題文のキーワード選ぶ機能
レビューが肯定的か否定的か感情分析
文中の人名や組織名を抜き出す固有表現抽出
文書に含まれる氏名や住所を隠す検出
大量の文書に共通する話題を新しく判定したいの (トピックモデリングは新規の受け付けを終了)
自社独自の区分へ文書を分類カスタム分類
入力の言語が分からない言語検出

②よくある誤答

  • 文章の生成や要約をで行うと考えること。生成はの役割です。
  • 上のデータの機密情報の棚卸しをComprehendで行うと考えること。保管データの検出はです。
  • カスタム分類に大量のデータが必須と考えること。少量のから始められます。

参考文献

  1. ※1出題比率: AWS 公式の試験ガイドに記載された、採点対象の設問のうちその分野が占める割合です。

検索

キーワードを入力してください