近年さまざまなシーンで利用されているAI。一言でAIといっても多種多様な種類があり、どのAIを活用するかにより、効果が異なります。

今回のテーマは、言葉や文章に関するAIである自然言語処理AIです。本記事では、自然言語処理AIの概要や仕組み、活用事例などについて解説します。

自然言語処理AIについて知りたい方、導入を検討している方は、ぜひ参考にしてください。

自然言語処理AI（NLP）とは

自然言語処理AIとは、自然言語を認識・解析するAIです。自然言語処理は文脈などにより単語の意味が変わるため曖昧性が高く、コンピューターで処理するのが難しい分野でした。しかし、自然言語処理AIを活用すれば正確な処理が可能で、近年は以下のような最新テクノロジーに活用されています。

• ChatGPT
• Siri
• スマート家電
• チャットボット など

自然言語とは

自然言語とは、私たち人間がコミュニケーションで活用する日本語や英語などの言葉のことで、話し言葉や書き言葉を指します。

例えば「大丈夫です」というフレーズは「問題ありません」や「結構です」など、文脈により複数の意味を持ちます。また「今日お時間はありますか」という予定をたずねるフレーズは、以下の通りさまざまな言い方があるでしょう。

• 本日お時間を頂けませんか
• 今日暇ですか
• 今日予定はありますか など

自然言語は正解が一つだけではなく、意味を正確に把握するのが簡単ではありません。

ちなみに、自然言語と対をなすのが人工言語です。人工言語の一つであるプログラミング言語は、コンピューターに指示をあたえる際などに活用する言語で、曖昧さがありません。数字や記号などのルールが明確に決まっています。

自然言語処理AIの仕組み

自然言語処理AIは、大きく以下の仕組みが組み合わさり成り立っています。

• 機械可読辞書
• コーパス
• 形態素解析
• 構文解析
• 意味解析
• 文脈解析

上記について、一つひとつ解説します。

機械可読辞書

機械可読辞書とは、コンピューターなどが言葉を理解するために必要となる辞書のことです。自然言語を処理するために事前に定義が必要で、これを利用しコンピューターが文字を読み取れるように変換します。

コーパス

コーパスとは、自然言語における文章や言葉の使用方法についてまとめた集合体のことです。名詞や形容詞などの識別やタグ付けに利用され、状況に適した意味を読み取るのに活用されます。機械可読目録同様、事前に学習する項目で、近年はコンピューターの性能が高まっているため、大規模なコーパスを利用した言語処理が可能となりました。

形態素解析

形態素解析とは、文章を形態素といわれる単位に分解し、品詞などの情報を付与する方法のことです。ちなみに形態素は、意味を持つ最小単位の文字の集まりを指します。

例えば「AIはとても便利なツールです」という文章は、以下に分解されます。

• AI：名詞
• は：助詞
• とても：副詞
• 便利な：形容動詞
• ツール：名詞
• です：助動詞

上記のように分解することで、文章の情報を読み取りやすくなります。

ちなみに、形態素解析には、MeCabやChaSen、JUMAN++などの形態素解析エンジンが活用されます。

構文解析

構文解析とは、形態素解析した単語の関連性を以下の2つにわけ分析・確認することです。

依存構造解析
文章の主語と述語や修飾語と被修飾語の関係性を、ツリー状に表し解析します。
句構造解析
連続した文章の関係性について、文法をカテゴリ化し節点を中心としたツリーを形成することで解析します。

意味解析

意味解析とは、構文解析を行った文章の意味を解釈するプロセスのことです。前述の通り、日本語はとくに曖昧性が高くさまざまな解釈ができ、例えば「目が黒くて大きいネコ」という文章は、以下の2つの意味が考えられます。

• 黒い目が大きなネコ
• 黒い目で、体が大きいネコ

上記のように、複数の捉え方ができる文章に意味を持たせ、一つの解釈に絞り込みます。

文脈解析

文脈解析とは、形態素解析と意味解析をしたデータをもとに、複数文のつながりを分析することです。省略されている言葉や、代名詞の指す言葉を明らかにし、文章における認識のズレを防ぎます。

自然言語処理AIが注目されている理由

AIが多くの注目を集めている昨今ですが、中でも自然言語処理AIは注目度が高いものの一つです。

ここからは、自然言語処理AIが注目されている以下の理由について、詳しく解説します。

• テキストデータの増加
• 汎用言語モデルの進化
• 自然言語処理でできること

テキストデータの増加

近年は、インターネットやSNS、コミュニケーションツールが普及し、テキストデータが増加しています。また、ビジネスでもペーパーレス化が推進され、社内外資料の電子化が進んでいます。電子契約サービスの登場により、従来の紙とハンコから脱却をしつつあるのもその一因でしょう。

実際に、株式会社デージーネットが発表した「ペーパーレス化の取り組み」に関するアンケートによれば、調査企業の87％がすでにペーパーレス化に取り組んでいます。今後、さらにペーパレス化が進みテキストデータが増加すると予想されます。

汎用言語モデルの進化

アメリカのOpenAIが、2022年11月にChatGPTをリリースし大きな注目を集めました。反響は大きく、リリースからわずか1週間で100万ユーザー、2ヵ月で1億ユーザーを獲得しました。

近年はChatGPTに代表される汎用言語モデルの進化が著しく、高度な言語処理が可能です。ちなみに、汎用言語モデルとは、事前に大量の情報を学習し、質問や命令などのプロンプトにもとづき、以下のような言語処理タスクを行う言語モデルのことです。

• 文章生成
• 穴埋め問題の解答
• 翻訳
• 質問応答 など

世界各国で汎用言語モデルの研究がされており、日本でも行われています。例えば、東京大学松尾研究所発のAIスタートアップ企業であるELYZA社が、2022年3月に文章生成AIの「ELYZA Pencil」をリリースしました。

今後さらに汎用言語モデルの研究が進めば、より多くのメリットを得られるでしょう。

DX需要の増加

日本では、総人口減少にともなう労働人口の減少により、人手不足が深刻化しています。また、企業競争力を高めるためには、限られた時間での一人当たりの生産性を高める必要があり、デジタルツールやAIなどの最新テクノロジーの活用が欠かせません。

自然言語処理AIを活用すれば、対話型システムの構築やテキストマイニングなどが可能で、業務改善につながります。また、テキストデータを分析すれば、顧客の関心があるものを把握でき、効果的なマーケティング活動が可能です。

自然言語処理でできること

自然言語処理では、以下の通りさまざまなことが可能です。

• 翻訳
• 文章要約
• 対話型システム
• 予測変換
• テキストマイニング
• 検索システム
• 感情分析

上記について、一つひとつ解説します。

翻訳

Google翻訳やDeepLなどの翻訳システムは、自然言語処理を活用している代表的なものの一つです。近年は翻訳の精度が高まり、音声認識に対応しているアプリやシステムも存在します。

文章要約

自然言語処理は文章の要約にも活用されています。抽出的要約と生成的要約の2種類のアルゴリズムが採用されています。ちなみに、抽出的要約は文章の中の主要な単語を抽出し要約するアルゴリズムで、生成的要約は元の文章を言い換え要約するアルゴリズムです。

対話型システム

チャットボットやボイスボッドなどの対話型システムも、自然言語処理が活用されているシステムの一つです。最近は多くの企業がホームページや問い合わせ対応に対話型システムを採用し、業務改善と顧客満足度の向上に成功しています。対話型システムでは、自然言語処理により入力された文章をシステムが正確に理解し、出力を行っています。

予測変換

パソコンやスマートフォンで、入力した文字を漢字やカタカナ、絵文字などに変換する予測変換も、自然言語処理が活用されています。以前は、単語や短い文章のみが予測変換の対象でしたが、近年は研究が進み長い文章や文脈にそった高度な提案・変換も可能になりました。

テキストマイニング

テキストマイニングとは、大量のテキストデータから必要な情報を取り出すことです。コールセンターや医療現場、薬局などで、顧客などが話したり書いたりした内容から、重要な情報を抽出するのに活用されています。

検索システム

GoogleやYahoo!検索などの検索システムにも自然言語処理が活用されています。検索窓に入力されたキーワードをもとに、Web上に存在する膨大なデータからユーザーが求める情報を表示させています。また、GoogleやYahoo!以外にも多数の企業で活用されている「Knowledge Explorer」にも利用されており、データベースから必要な資料を見つけ出すのに役立っているでしょう。自然言語処理AIを活用することで、ユーザーが提供するわずかで曖昧な情報から、目的情報の探索を可能にします。

感情分析

自然言語処理AIでは、単純にテキストの分析や抽出をするだけでなく、人間の感情に関する情報が付与された単語辞書をもとに、テキスト内容から感情分析も可能です。ネガポジ判定といわれ、各言葉に以下の情報を付与し文章から感情を読み取ります。

• ネガティブ（e）
• ニュートラル（n）
• ポジティブ（p）

自然言語処理AIによる感情分析は、SNSやアンケート分析に利用され、企業のサービス分析で活用されています。とくに、SNSは一般ユーザーの個人的意見が数多く発信されており、消費者の生の声です。消費者の本音を拾い上げ分析し、企業の商品開発やマーケティング活動に活かせば、効果的な施策が打てるでしょう。

自然言語処理AIの企業導入事例

すでに多くの企業が自然言語処理AIを導入しています。ここからは、自然言語処理AIの以下における企業導入事例について詳しく解説します。

• Google
• Amazon

Google

出典：Googleホームページ

インターネット関連サービスを多数提供するGoogleでは、さまざまなシーンで自然言語処理AIを利用し、Gmailにも実装しています。具体的には、メールフィルターに自然言語処理AIを採用し、メール本文を解析することでメールの自動振り分けを行っています。

Amazon

出典：Amazonホームページ

世界最大級のショッピングサイトを運営するAmazonのAlexaも自然言語処理AIが活用されています。Alexaなどのスマートアシストは、音声認識AIと自然言語処理AIを組み合わせ、実現しています。人間が話した言葉を自然言語処理AIで認識しています。

まとめ

本記事では、自然言語処理AIの概要や仕組み、活用事例などについて解説しました。

自然言語処理AIは、人間が話したり書いたりする自然言語を認識・解析するAIで、DX需要の増加やペーパーレス化の推進、汎用言語モデルの進化などにより注目されています。翻訳や文章要約、対話型システムなどさまざまなシーンで利用されており、業務効率化に寄与しています。

皆さんも自然言語処理AIを活用し、業務改善を進めてはいかがでしょうか。

最後に

クロスキャットでは、AIに関するコンサルティングサービスとPoCのサポートを⾏うサービスを提供しています。
AIの活用方法はさまざまであり、適切なAIを導入しなければ成果は上がりません。
場合によっては、多額のコストを支払ったにも関わらず、無駄になってしまうケースもあるでしょう。

• そもそもAIって何ができるの？
• AIでこの課題は解決できる？
• AI導入は何からはじめたらいいの？

上記のようなささいなご相談からでも構いませんので、ご興味のある⽅はぜひお問い合わせください。

CC-Dash AI

参考文献

[1] https://www.atpress.ne.jp/news/365577(2023/09/17確認)