エクスペリエンス管理
テキストによるフィードバックは、すべての顧客や一般の人、そして従業員と1対1の会話をする際に利用する方法です。自由なテキストを用い、顧客は決められた質問に制約されることなく、自分が本当に気にかけていることや、その理由を相手に伝えることができます。ここで、何が最も重要かを顧客が決めることができるわけです。
しかし、1万ものフィードバックを理解するのは、小説を読んですべての文章を分類することとほぼ同じようなものです。時間がかかる上に、手間がかかり、テキストを実際に使えるものにするのは難しいでしょう。オープンなテキストのフィードバックを効果的に理解するためには、フィードバックを読むチームの規模を拡大するか、テキスト分析ツールを使ってフィードバックの最も重要な部分やテーマを浮き彫りにする必要があります。早速、テキスト分析の基本を説明し、その作業に役立つツールを紹介します。
テキスト分析／解析とは何か？
テキスト分析とは、テキストデータから情報を自動的に抽出し、分類するプロセスのことです。エクスペリエンス管理（XM）の分野では、テキストは、アンケート回答、電子メール、サポートチケット、コール・センターのメモ、製品レビュー、ソーシャルメディアへの投稿、その他、多肢選択形式ではなく、自由テキストで提供されるあらゆるフィードバックの形式があります。テキスト分析によって、企業はこの非構造化データ形式からさまざまな情報を見出すことができます。
テキスト分析では、2つの核心的な質問の答えが見つかります：
- 待ち時間、サービスの信頼性、コストなど、すでに顧客に聞いているトピックについて、どのような結果を出していますか？
- ソフトウェアのバグ、オンボーディング・プロセスの混乱、製品の欠陥など、探そうとも思わなかったものが潜んでいませんでしたか？
強力なテキスト分析プログラムは、顧客の声と取るべき行動を常に結びつけながら、これらを大規模的に捉えることができます。
テキスト分析で最も広く使われている2つのテクニックがあります：
- センチメント分析 – このテクニックでは、テキスト回答の基本的なセンチメント（肯定的、中立的、否定的など）を識別します。
- トピックの検出/分類 – このテクニックでは、ビジネスや業界に関連する可能性のある類似のテーマをグループ化または分類します。。（例：「食品の品質」、「スタッフの効率性」、「製品の入手可能性」）
この2つのテクニックは同時に使われることが多く、人々がどのようなトピックについて話すかだけでなく、そのようなトピックについて、話す時に肯定的に話すか否定的に話すかについても見ることができます。
これらは、感情や意図などを特定する他のさまざまな方法を包含するテクニックです。ですので、テキストから感情分析を行えるソフトウェアもあることを、まず知っておきましょう。これらのソフトウェアは、それぞれの感情を表すために、単語の組み合わせを使用することがあります。
なぜなら、怒りや絶望、喜び（空港で何かが起きた場合）などを込めて「飛行機が遅れた」と言うことができるが、テキストは背景にあるトーンや表情を決して示さないからです。
したがって、「キャッチオール」アルゴリズムではなく、単語からトピックとセンチメントの組み合わせを使用することが、感情を確認する唯一の方法となるのです。
テキスト分析、テキストマイニング、自然言語処理（NLP）の解説
テキスト分析について話すとき、テキストマイニングなどの重要な用語が互換的に使用されますが、実は両者の間に混乱が生じることもよくあります。
これらの違いには曖昧な点が多いため、具体的な定義よりもその応用に焦点を当てた方が分かりやすいかもしれません。
テキストマイニングは、統計的手法を使用して、構造化されていないテキストから定量化可能なデータを取り出す技術的概念です。その後、例えば、MISレポート、規制の不遵守、詐欺の検出、または求人応募のスクリーニングなどのさらなる用途に使用することができます。定量的なテキスト分析は重要ですが、顧客のフィードバックからセンチメントを引き出すことはできません。
一方、テキスト分析は、テキストマイニングと同様のテクニックを使用しながら、それらを強化し、顧客や従業員のエクスペリエンス・プログラムのパターン、インサイト、センチメント、傾向を特定するビジネス特化型の概念です。テキスト分析では、エクスペリエンス管理（XM）のような専門的な分野で行動を起こすための情報発見に重点を置いています。
また、テキスト分析の一部として、自然言語分析（NLP）とも呼ばれる自然言語理解もあります。これはセンチメント分析の一形態で、自然な人間の言葉からテキストを「読む」、あるいは理解する技術を支援するものです。自然言語処理アルゴリズムは、機械学習を使用して、一貫して、偏りなく、貴重なデータを理解し、評価することができます。複雑な概念や曖昧さがある場合でも、テキストデータの文脈を理解するのにかなり役立ちます。
したがって、一般的なテキストマイニングツールではなく、顧客の声や従業員の声に特化したテキスト分析プラットフォームを使用することが非常に重要です。
Qualtrics Text iQによるセンチメント分析の活用方法を見る
テキスト分析の重要性
テキスト分析は、多くのビジネスインテリジェンス プロセス、特に顧客、製品、ブランド、従業員のエクスペリエンスを改善するエクスペリエンス管理（XM）プログラムの一部として、重要な役割を果たすようになっています。
テキスト分析以前は、ほとんどの企業がエクスペリエンスを改善できる領域を見つけるために、定量的な調査データに頼る必要がありました。
もちろん、どのようなプログラムにも不可欠であることに変わりはないのですが、定量的データは、あらかじめ決められた回答セットに制限されてしまいます。
例えば、電気通信会社では、サポートコールの後に典型的な顧客満足度やCSATの質問をすることがあります。
顧客調査のフォローアップ質問では、顧客満足度スコアの背後にある理由を調べることがあり、次のようなオプションがあります：
- 待ち時間
- 解像度のスピード
- アドバイザーの態度
- その他
これらのオプションは限られているため、スコアに対してできる分析が制限されています。例えば、顧客の理由が選択肢に記載されていない場合、貴重な情報は得られません。
また、顧客アンケートで考えられるすべての理由を列挙することはほとんど不可能であるため、オープンなテキストのフィードバックを含めることで、体験をより深く掘り下げることができます。
これは、未知の未知数、つまりビジネスが気付いていない顧客の不満を引き起こしている理由を特定するために、テキスト分析が非常に重要であることを示しています。
より良い代替案は、スコアの理由について自由形式の質問をすることです-「なぜそのスコアをつけたのですか？」
この自由形式の回答に対してアンケート調査のテキスト分析テクニックを使用することで、組織は顧客が不満を感じたときに口にする内容を理解することができ、極端にネガティブな内容とそうでない内容を識別してくれます。
なぜその体験に満足したのか、あるいは満足しなかったのかを、顧客自身の言葉で語ってもらうことで、顧客インサイトをより正確に特定することができます。つまり、テキスト分析によって、顧客体験を改善するために取るべき行動をより具体的に示すことができるのです。
また、構造化データと非構造化データ間の相関関係を促進することで、明確なアクションにつながる強力な情報を得ることもできます。
例えば、「ここのスタッフは次のステップについて明確な説明をしている」と話す人と、CSATが高いと言う人の間には強い相関関係があるかもしれませんし、「ここのスタッフは商品についてよく知っている」と話す人とCSATが高いという人の間にも強い相関関係があることがあります。
テキスト分析技術を使えば、そのデータを簡単に整理し、定量データと同じようにエクスペリエンス管理（XM）プログラムに取り込むことができます。
人々が体験について自分の言葉で話すときに「何を話すか？」を確認し、センチメント分析やトピックをリアルタイムで実行できるようにすることで、定性データだけでは気付かなかったであろう改善点を特定することができます。
テキスト分析のビジネス応用
テキスト分析は、エクスペリエンス管理（XM）の中でいくつかの異なる方法で使用されています。XMを4つの柱に分けると、最も一般的な使用例を以下に示すことができます：
カスタマー・エクスペリエンス
- ロイヤルティの向上 – プロモーターが直面する上位の問題についての重要な情報を明らかにすることで、が離反者になるのを食い止めるための対策を講じることができます。
- 解約の防止 – 不満度の高い顧客を持つ競合他社の言及をスマートに識別します。また、テキスト分析を使用して、顧客のフィードバックに現れるネガティブな感情や解約の可能性などの重要なトピックのループを閉じることもできます。
- クロス・セル/アップ・セル – 顧客消費額やライフタイム・バリューのような運用データと、今後の更新日やロイヤルティ、リワード、インセンティブなどのトピックに関するコメント分析を組み合わせることで、AIとテキスト分析を組み合わせてクロスセルの可能性を予測することができます。
従業員エクスペリエンス
- 従業員の減少 – エンゲージメントスコアのような構造化されたデータと、マネージャーの支援などのトピックに関する低いセンチメントを組み合わせることです。
- 従業員のウェルビーイング – うつや不安などのトピックに関するリアルタイムのアラートを使用し、必要に応じて介入を行うことができます。
- ワーク・ライフ・バランス – テキスト分析を使ってワークライフバランスに関するトピックを理解し、どの層の従業員が最も影響を受けているかを特定し、それに応じて行動を起こします。
製品のエクスペリエンス
- 新製品の立ち上げ – テキスト分析を使用して、次のリリースでどの機能を改善するか、または削除するかについて貴重なフィードバックを得ることです。
- 製品の使用状況 – 保証データを分析することで、使用率の向上やサービスコストの削減などのために、どのような機能に投資すべきかの重要な情報を得ることができます。
ブランド エクスペリエンス
- キャンペーン効果 – ROIを確認するために、キャンペーン費用、リーチなどの運用データとともに、キャンペーンの満足度の上位ドライバーを分析します。
- ブランドトラッキング – ブランドと競合他社について思い浮かぶトップテーマを理解します。
テキスト分析におけるトピック・モデリング
テキスト分析において、このデータに構造を与える最も一般的なテクニックの1つは、トピック・モデリングとして知られるプロセスです（カテゴライゼーションまたはタクソノミー構造と呼ばれることもあります）。
ここでは、トピックモデリングとは何か、どのように機能するのか、多言語のテキスト回答を分析する際にどのように使用するのかを探ります。
トピックモデルとは何か？
「トピック」または「カテゴリー」とは、テキストの回答における類似したコンセプトやテーマのグループを指します。
例えば、ある電力会社の顧客が「デュアル・タリフは高い」と言い、別の顧客が「デュアル・プライシング・パッケージは高い」と言ったとします。
そのため、どちらのコメントも「関税タイプ」というトピックにまとめることができます。
トピックモデリングは、異なるトピックを単一の理解しやすい構造に統合するプロセスです。グループ化や階層構造がない単層のトピックモデルも可能ですが、通常は複数の層を持つ傾向があります。
この種の親子トピックのグループ化は通常、分類法と呼ばれ、トピックを特定のビジネスにとって意味のあるより広範な概念にグループ化します。
一般的な例としては、「スタッフの態度」、「スタッフの効率」、「スタッフの知識」などのさまざまな子トピック（またはサブトピック）を含む「スタッフの属性」などの親トピックが考えられます。
タクソノミーという分類法は、関連する利害関係者への報告や、情報に基づいて行動できる適切なチームや部署へのフィードバックのルーティングに使用できるため、エクスペリエンス管理には不可欠です。
たとえば、ホテル事業では、「スタッフの体験」というカテゴリーは、トレーニングの観点からホテル・マネージャーに関連する可能性があり、「客室の体験」はハウス・キーピング・マネージャーに特定の関心がある可能性があります。
適切なインサイトを組織全体の適切な人々に提供するためには、分類法を持つことが不可欠です。
テキスト分析におけるトピック・モデリングの主要要素
レイヤー数
トピックモデルには多くの階層レベルを設定できます。しかし、エクスペリエンス管理では、モデルを 2 階層に制限することがベストプラクティスであることが多いです。2 層を超えると、ビジネス・ユーザーの理解とナビゲートが非常に複雑になります。
独占トピックス
トピック・モデリングにおけるもう 1 つの基本概念は、同じ文または応答に対して複数のトピックを持つ可能性があることです。つまり、トピックは相互に排他的である必要があります。例えば、「荷物紛失は大きな不満の原因になった」 は、同時に2つのセンチメント分析トピック、「荷物紛失」および「感情 – 大きな不満」に分類される可能性があります。
多言語
トピック・モデルは、ビジネスで使用するすべての言語に適用できる必要があります。つまり、モデル内のそれぞれのトピックの下で、多言語の逐語をキャプチャーする必要があります。たとえば、ロンドンの顧客が「小切手を使って現金を引き出すために、支店で長い行列ができた」と言い、パリの顧客が「小切手を使って現金を引き出すために、支店で長い待ち時間ができた」と同じことを言った場合、トピックモデルは「支店での体験 – 待ち時間」のトピックの下で両方のフィードバックをキャプチャーする必要があります。つまり、報告の観点からは、単一のモデルを使用することで一貫性が保たれるということになります。
多言語でのテキスト分析について詳しく知る
テキスト分析のためのトピックのモデル化方法
体験を通して、エクスペリエンス管理（XM）・プログラムでトピック・モデリングを行うには2つの方法があります：
- ボトムアップ – 基礎となるデータセットが、構築されるトピックに情報を与えます。
- トップダウン – トピックはデータセットから独立して規定されます。
テキスト分析におけるボトムアップ トピック モデリング
トピックモデリングについて話すとき、専門用語（「bag of words」、「ngrams」、「vectors」などが有名です）をよく目にしますが、この記事では、既存のデータセットに基づいてトピックを構築する3つの主な方法を紹介し、物事をシンプルにします。
機械学習アルゴリズム – これは優れたテキスト分析ソフトウェアの一般的な機能で、多くの場合、参照データセットを使ってトピックを導き出すようになっています。これらの参照データセットは通常、研究記事やメディアコンテンツ、ブログなど、一般に公開されているテキストデータを使って作成されます。これは言語学的な観点からは素晴らしいのですが、VOCプログラムや従業員エクスペリエンス・プログラムのトピックを策定するために使用する場合には役に立たないかもしれません。もちろん、機械学習アルゴリズムは有用な方法ですが、これだけを使用してトピックモデルを開発することには注意が必要です。
統計的手法 – クラスタリングのような高度な統計分析を使用し、出現率や頻度に基づいて、上位のキーワードや使用される組み合わせを提案することができます。このアプローチは初歩的なものですが、テキスト分析テクニックを使用してエクスペリエンス・データを見る場合、特にカスタマーエクスペリエンスにおける特定のタッチポイントが特殊で、かつデータ量が多くなりがちであることを考慮すると、非常に理にかなっています。
手動クエリー – ボトムアップのトピック構築アプローチで最もシンプルで効果的な方法は、データセッ トで使用されているさまざまな単語の単語数に基づいて手動でトピックを作成することです。これは、時に手間がかかり非効率的で古臭いと思われがちですが、このプロセスを迅速化し、データセットに非常に適したものにするテクニックは数多くあります。
テキスト分析におけるトップダウン・トピック・モデリング
このタイプのモデリングは、モデルを構築するための、より規定的な方法であり、通常2つの主な方法があります：
- 業界モデル 多くのテキスト分析ソフトウェアでは、類似のユースケースを持つ他のクライアントとの体験に基づいて、業界モデルと水平モデルの両方を提供しています。これはトピック・モデリングの練習を始めるには良い方法ですが、事前に構築されたモデルだけに頼らないことが重要です。同じ業界の企業でも、ビジネスのやり方やニュアンスはさまざまであり、顧客は製品、サービス、またはプロモーションを指すためにまったく異なる用語を使用します。これがテキスト分析ベンダーの標準的なアプローチである場合に備えて、モデルのリコールをチェックできるようにしておくことも重要です。
- ドメイン経験に基づく手動クエリー これは、ボトムアップ・モデリングで提案された手動アプローチに非常に似ていますが、より規定的な性質があり、モデルを構築するユーザーの体験とバイアスに基づく点が異なります。例としては、過去のタクソノミモデルからトピックを複製することや、経験豊富なビジネスユーザーが顧客が参照するトピックを指示することなどがあります。
テキスト分析のためのトピックモデリングのベストプラクティス アプローチ
各アプローチの長所と短所を見てきましたが、テキスト分析目的の独自のモデリングに関しては、最も効果的な組み合わせをお勧めします。
顧客体験であれ、従業員のフィードバックデータであれ、以下のステップを踏むことで、効率的な方法で最適なトピックモデルを得ることができます。
ステップ1: トップダウンによる事前構築モデル
例として、あるチームが特定の顧客タッチポイントからの10万の逐語を持ち、データ内のすべてのトピックに関する分析を提供する必要があるとします。モデルを適用してスタートダッシュを切る最も早い方法は、事前に構築されたモデルを使用することです。これには2つの方法があります：
- 業界モデル – テキスト分析ソフトは、プロジェクトエリア内で、あらかじめ構築された水平／垂直モデルを使用するオプションを提供します。
- 設定済みモデル – 過去に組織のどこかで同じようなユースケースで設定されたモデルを使用します。これは、テキストソフトウェアが他のプロジェクトのモデルを使用する機能を提供することが非常に重要です。あるプロジェクトから設定済みのモデルをエクスポート可能なファイルに単純にエクスポートし、分析が必要な新しいプロジェクトでそのファイルをインポートすることもできます。この段階では、トピックの精度についてはあまり心配しないでください。
ステップ2：ボトムアップ – トピックの自動検出
ほとんどのテキスト分析ソフトは、データセットのテーマを検出したり、学習やクラスタリング能力に基づいて、データセットからトピックを自動的にピックアップしたりできるはずです。
自動トピック推薦に全面的に頼るべきではありませんが、ステップ1で使用したモデルを強化するために便利な第2ステップです。推奨トピックを得たら、自動生成されたトピックを調べ、面白そうなものを既存のモデルに追加することが非常に重要です。
ステップ3：精度の向上
事前構築されたモデルと自動生成されたトピックには、精密な微調整が必要です。各トピックを確認し、正しい回答をキャプチャ/タグ付けしているかどうかをチェックします。最初の段階では、精度を高めるために、トピックごとに少なくとも 15 ～ 20 件の逐語的な回答をチェックすることをお勧めします。
ここで重要なのは、使用するテキスト分析ソフトウェアが簡単なユーザーインターフェイスを備えていることです：
- 簡単にトピックを選択し、それぞれのリコールをチェックする
- 各トピックのルールを確認する
- 各トピックが品詞タグ付けされているか確認する
- ルールに変更を加え、編集によって逐語的タグの数に加えられた変更をチェックする
ステップ4：リコール率を高める
少なくとも1つのトピックに関連性を持つコメントの総パーセンテージを増加させるための微調整を手動で行います。こうすることで、モデルのリコールを増加させ、より効果的にすることです。間違いなく、最も重要なステップでしょう。
また、ここには2つのアプローチがあります：
- 既存のトピックの改善 – モデル内の既存のトピックには、そのトピックの頻度/数、または逐語的な表現を増やすために、類似した単語や同義語を増やす必要がある場合があります。そのためには、既存のトピック・ルールにさらに多くの単語を含めることが重要です。このプロセスにはかなりの手作業が含まれる可能性があり、非常に時間がかかりますが、機械学習は、トピックですでに使用されている単語と類似した単語の候補を提供することで、このプロセスを支援することができます。
| English | Japanese |
| Staff Attributes | スタッフ属性 |
| Staff Professionalism | スタッフのプロ意識 |
| professionalism | プロ意識 |
| Related Terms | 関連用語 |
| efficient | 効率的 |
| helpful | 親切 |
| attentive | 気配り |
| knowledgeable | 知識が豊富 |
| competent | 有能 |
| polite | 礼儀正しい |
| approachable | 親しみやすい |
| welcoming | 歓迎 |
- タグなし/未知のバケツから逐語的なフィードバックを収集するために、さらにトピックを作成する – 真のボトムアップアプローチは、逐語的なフィードバックから開始し、モデルを構築するために使用します。しかし、誰が一体10,000ものフィードバックを読むことができるのでしょうか？その代わりに、ワードクラウドレポートのようなテクニックを使いましょう。これらのレポートでは、データセットで最も頻繁に言及された単語が明確に示され、レポートが「不明」バケツでフィルタリングされると、そのセクションで最も言及された単語を見ることができます。これによって、モデルがどの単語を除外したかが簡単にわかるため、別のトピックに割り当てるべき単語を特定したり、新しいトピックを作成する必要があるかどうかを判断したりできるのです。
テキスト分析の精度
データに基づいて意思決定を行い、行動を起こすためには、その構造化データまたは非構造化データに対する信頼が必要です。そのため、多くの人がテキスト分析の精度にこだわります。
確かにそれは重要だが、特にVOCやその他のXMプログラムでは、精度に関係なくテキスト分析からのシグナルが重要であるため、精度が赤信号になるケースも多いです。
テキスト分析の精度はどのように測定されるのか？
精度について語る場合、以下のようなさまざまな要因に左右されることを忘れてはいけません：
- テキストデータのソース（ツイート、製品レビュー、チャット記録など）
- その業界の言語の複雑さ
- 地域や文化的な影響、例えば皮肉などの概念を紹介する
- 回答者が使用した文章の長さと複雑さ
テキスト分析の精度は、通常、再現率と精度という2つの概念を用いて測定されます。
- リコールとは、正しい結果の数を、本来返されるべき結果の数で割ったものです。再現率80%は、データの20%が分析によってまったく捕捉されず、どのカテゴリーやトピックにもタグ付けされていないことを意味します。
- 精度は、正しい結果の数を、返されたすべての結果の数で割ったものです。80%の精度は、データの20%が誤ってモデルに含まれていることを意味します。
カスタマーエクスペリエンスとVOCプログラムでは、通常、リコールとカバレッジは、タクソノミモデルの少なくとも1つのトピックの下に実際にタグ付けされたレコードの割合として測定されます。
たとえば、ある電気通信事業者の100の逐語からなる顧客フィードバックのデータセットでは、70の逐語が顧客が利用できるさまざまな料金プランに言及していることがわかっています。
テキスト分析モデルは、50の逐語を「料金プラン」に関連するものとして引き出します。
そして、その50のうち、「料金プラン」に関する言及が正しく含まれているのは45だけである、ということになります。
| English | Japanese |
| False Negatives | 偽陰性 |
| True Positives | 真陽性 |
| Selected elements | 選択された要素 |
| True Negatives | 真否定 |
| False Positives | 偽陽性 |
| Precision | 精度 |
| Recall | リコール |
この例では
真の陽性 45
偽陽性 50 – 45 = 5
偽陰性 70 – 45 = 25
真の陰性 30 – 5 = 25
回収率 = TP/ (TP+FN) = 45/70 または 64％
精度 = TP / (TP+FP) = 45/50 または 90％
2つのスコアを1つにまとめるために、統計学者はFスコアを使用します。F1スコアは、両方の指標を考慮した精度と想起の調和平均です。
F1=2 * プレシジョン*リコール／
精度+リコール
テキスト分析の精度はどの程度必要なのか？
精度の概念をご説明しましたが、テキスト分析、特に顧客の声のようなエクスペリエンス管理（XM）プログラムに関しては、精度について衒学的（知識をひけらかす）にならないようにすることも大切です。。
精度計算には主に3つの課題があります：
1. 大規模データセットには課題がある
精度は統計的な概念であり、例えば、何百万もの顧客フィードバックの記録にテキスト分析技術を適用する場合など、大きなデータセットで確認するのは非常に難しい場合があります。
2. 足を使う作業が多い
精度を理解するためには、高度な方法と計算が必要であり、中には確率的な計算を行うものもあります。真陽性と偽陰性を用いて精度スコアを理解するためには、何が正しくて何が正しくないかについての最新の情報が必要です。これはデータを手作業でタグ付けすることによってのみ可能であり、分析自体が機械学習によって行われる場合でも、非常に面倒なプロセスになる可能性があります。
3. 複数のトピックを扱うのは現実的ではない
精度を理解するために、多くの人はタクソノミーまたはトピックモデルのリコールに注目します。例えば、10,000の逐語的フィードバックがあり、多階層（分類学的/階層的）トピックモデルがそのうちの 8,500をモデル内のトピックの少なくとも 1 つを含むものとしてタグ付けしている場合、リコールは85%と考えられます。
しかし、上記の例（料金プラン）のリコール計算は、実際には1つのトピックに対して行われます。ですが、電話会社に30個のトピックがあったらどうなるでしょうか？真のリコールモデルは、モデル内の各トピックまたは各カテゴリーノードのリコールを見ることでしょう。
例えば、「Pay as You Goプランは素晴らしいが、スタッフは不親切だった」というテキストのフィードバックが、実際には「スタッフの親切さ」というトピックの下にタグ付けされ、「料金プラン」の下にはタグ付けされていなかったとします。しかし、「料金プラン」のレベルで同じ分析をすると、想起は0になります。
| English | Japanese |
| Sentiment Score | センチメント・スコア |
| Call Handling | コール・ハンドリング |
| Agent Attributes | エージェント属性 |
| Communication | コミュニケーション |
| Billing | 請求 |
| Invoicing | 請求書の発行 |
| Telco Product | 通信会社の製品 |
| Positive | 肯定的 |
| Neutral | 中立 |
| Mixed | 混合 |
| Negative | ネガティブ |
テキスト分析におけるセンチメント分析の精度
トピック分析における精度の課題についていくつか見てきましたが、センチメント分析にも課題があります：
皮肉と嫌味
人々が肯定的な言葉を用いて否定的な感情を表現する場合、センチメント・モデルは困難になります。ルールベースまたは学習ベースの方法を使用して、このような感情を検出するさまざまな方法があります。しかし、ルールベースの方法では、ルールが存在する数しか捕捉できないため、このアプローチには限界があります。膨大な参照データセットを使用する学習ベースのモデルは、より良い精度を返す可能性が高くなります。
しかし、素晴らしいニュースは、マルチチャネルのカスタマー・エクスペリエンス・プログラムでは、一般的に、このようなインスタンスはVOCデータ全体の0.5%にも満たないということです。
否定
これは「フリッパー」や「ノット」、「ネバー」のような否定語の使用を指します。例えば「スタッフは礼儀正しくなかった」のような明示的な否定は、ルールベースまたは語彙/辞書ベースのシステムで簡単に検出できます。しかし、「私の手間や時間を犠牲にした」のような暗黙的な否定の場合は、カスタムルールや学習ベースのセンチメントモデルで正確に捉える必要があります。
テキスト分析において正確さは重要か？
答えはイエスです。もちろん、人々のフィードバックに基づいて行動を起こしたり意思決定したりするには、データそのものとテキスト分析に対する信頼が必要です。
しかし、これまで見てきたように、精度を統計プロジェクトとして考えることは難しく、そこから得られる価値を制限する可能性があります。
ほんの数件のフィードバックに対してアクションを起こす必要があるため、高い再現性が不可欠な場合があります。クレジットカード会社のように、「詐欺」という単語が2、3回言及されただけで、アクションを起こすには十分なはずです。
あるいは、デジタルチームでは、「リンク切れ」や「ページエラー」に関する言及が急増すれば、それだけで行動を起こし、体験を改善することができるでしょう。
精度が重要でない場合もあります。例えば、ブランド分析では、競合他社の名前の言及はセンチメントに関係なく分析されるべきです。
また、傷害、訴訟、法的手続きなどに関連するトピックに割り当てられた顧客のフィードバックがある場合、これらはフラグを立て、より深い調査を開始するためにセンチメント精度は必要ないのが通常です。
多言語でのテキスト分析
顧客や従業員の体験を向上させるために行動を起こすことの大部分は、顧客アンケートの回答、コールセンターでの会話、電子メール、ソーシャルメディアなど、さまざまなチャネルに存在する膨大な数の非構造化フィードバックに耳を傾ける作業です。
グローバルに展開する大企業では、多言語によるフィードバックの聴取、分析、報告を体系的に行わなければならないという課題もあります。実際、大企業の中には、20種類以上の異なる言語による何百万もの逐語的な回答に対してこれを行う必要があるところもあります。
これには通常2つの方法があります：
- 各言語の母国語分析を使用する
- すべての回答を単一の「基本言語」に翻訳し、その言語のすべてのコンテンツを分析する
それぞれのアプローチには長所と短所がありますが、重要なのは精度とコストのバランスです。
テキスト分析の精度とコストを天秤にかける
母国語分析は精度が高い傾向に。翻訳では言語的なニュアンスが失われたり、文法的に正しくない結果が返されたりする可能性があることを考えれば、これは正しいことです。
しかし、留意すべき点がいくつかあります：
- 翻訳エンジンは、新しい技術が追加され、年々賢くなっています。例えば、Google翻訳は、言語的なニュアンスを考慮した機械学習機能により、年々精度が向上しています。
- 名詞、形容詞、副詞は、一般的にトピック構築で最も使用される品詞です。全体的な文構造の精度は落ちるかもしれませんが、品詞の大部分はうまく翻訳されます。そしてこれが、トピック・ビルディングや語彙的センチメント・ツールで使用されます。語彙的ではなく、学習メカニズムを使用するテクノロジーの場合、翻訳されたテキストのセンチメント結果は精度が異なる可能性があります。
母国語分析はコストもかかります。
ほとんどのテキスト分析ツールでは、従業員や顧客の体験を測定し、報告で使用される逐語的なフィードバックをキャプチャするために、一貫した構造を反映するように分類法を構築/カスタマイズします。
つまり、タクソノミーを構築し、一貫した精度を定期的に維持するために、すべてのリソースを先行投資する必要があるのです。
トピックモデルの構築コストは、母国語分析の場合、指数関数的に上昇します。例えば、アフターセールス/サービスのタッチポイント用に、完全にカスタマイズされた自動車モデルを英語で構築するのに2週間かかるとすると、ドイツ語では4週間かかる可能性があります。
これは、CXチームが各市場のローカルユーザーを見つけ、テクノロジー／ソフトウェアの使い方をトレーニングし、ローカル言語のモデルを構築させることができることを前提としています。
また、タッチポイントやアンケートを増やすと、テキストモデルをすべての言語で更新する必要があります。3ヶ月ごとに監査し、トピックを追加または編集して一貫した精度レベルを維持する必要があり、これをすべての言語で行わなければなりません。
実際、企業側としても、母国語分析を使用して精度を高めることの増分価値が、リソースの追加コストに見合うかどうかを評価すべきでしょう。
母国語分析には、他にも留意すべき点がいくつかあります：
母国語能力の利用可能性。言語分析機能は、対象言語ごとに存在します。
例えば、ドイツ語、フランス語、スペイン語などの母国語分析機能を見つけるのは簡単ですが、日本語や北欧・バルト言語に関しては、そのような機能を見つけるのはより困難です。世界最大のテキスト分析エンジンの中には、このような理由から、限られた言語をネイティブな形でしか分析できないものもあります。
- 常にすべてのローカル言語でレポートすることができます。テキスト分析には、構築、分析、レポートの3つのフェーズがあります。モデルの構築はどの言語でも行えますが、ロールベースのダッシュボードで様々な異なる国に対してレポートを作成する場合、レポートは常に現地の言語で表示することになります。そのため、現地のユーザーは、現地の言語でレポートや分析を読むことができます。
- 一貫性は測定の鍵です。35の言語をサポートするテクノロジーであろうとなかろうと、最終的な目的は常にモデリングとレポーティングの一貫性です。大切なのはネイティブ言語分析でも「基本言語」アプローチでも、分類法モデルの構築と維持の効率性であるべきです。
- センチメント分析は、トピック分析よりも翻訳による影響が大きいです。そのため、センチメントスコアリングは翻訳言語ではなく、母国語で行うことが望ましいです。テキスト分析ソリューションのほとんどは、CXシナリオで手間のかかるモデル構築作業を必要としない事前に構築されたセンチメント分析テクニックを使用しているため、リソースを費やす必要はありません。
多言語でのテキスト分析のベストプラクティスとは？
理想的には、チームの規模、地理的な広がり、インサイト・チームの言語能力、複数の言語モデルを構築・維持するためのコストや労力を考慮し、モデル構築は2つ以下の基本言語で行うべきです。
最も効果的なアプローチには、4つの重要なステップがあります：
- 多言語の逐語訳を1つまたは2つのベース言語にシームレスかつ自動的に翻訳できるテクノロジを選択します。
- ボトムアップとトップダウンのアプローチを組み合わせて、翻訳された言語でトピックモデルを構築します。自動的な分類方法と手動による分類方法を組み合わせて、簡単に構築できる技術であることが必要です。
- より正確であることが求められるため、テクノロジーは母国語でセンチメントスコアリングを提供できなければなりません。
- レポーティングのために、ベースモデルに含まれるテキストモデルまたはカテゴリーラベルは、レポーティングレイヤーで母国語に簡単に翻訳される必要があります。
テキスト分析ソフトウェアの必須ツール
このガイドでは、テキスト分析の背後にあるさまざまな手法と、モデルや階層を構築し、複数の言語でテキスト分析を実行することの複雑さについて見てきました。
このすべてを自分で実行するのは大変なことであり、それを実行できる組織はほとんどないでしょう。
ありがたいことに、オープンなテキストからインサイトを引き出すのに役立つテキスト分析ツールはたくさんあります。ここでは、組織のテキスト分析ツールのどこに注目すべきかを説明します：
コレクション
マルチチャネル – 企業のCXプログラムにとって、テキストデータの勧誘的および非勧誘的な収集は絶対に不可欠です。調査データのみを分析している場合、ソーシャルメディア、コールセンターでのやり取り、オンラインチャットなどのソースにある多くの実用的な情報を逃していることになります。
最高のテキスト分析ツールは、1つか2つに限定されるのではなく、複数のソースからのデータを分析できます。これにより、顧客や従業員がどこで何を言っているかの全体像を把握することができるため、エクスペリエンスに関するより良いイメージを構築し、それを改善するための適切なアクションを取ることができます。
データ分析
統計+テキスト分析 – CX KPIスコアへの実際の影響を判断するために、テキストのトピックとセンチメントに対して回帰分析を実行する能力が必要です。スタッフの態度がNPSに与える影響が大きいのか、製品品質に与える影響が大きいのか、構造化されたスコアとテキスト情報の相関と回帰を理解することは非常に重要です。
行動を起こす
テキスト分析は、根本的な原因を分析し、バックオフィスからの改善を促進するために使用されるだけではありません。顧客の自由形式のコメントに基づいて、不満のある顧客に対してリアルタイムでクローズ・ループを強化できなければなりません。クローズ・ザ・ループは、顧客から与えられたスコアに基づく条件に限定されるのではなく、コメントからトピックやセンチメントの定義に基づいてトリガーできるようにしなければいけません。
データの可視化
可視化の柔軟性 – テキスト分析は、単なる色付きのワードクラウドやトピックバブルではありません。構造化データ（セグメント、地域、NPS、努力スコアなど）および運用データ（通話量、処理時間、顧客生涯価値など）を使用してテキスト分析情報を視覚化する際に無限の柔軟性を与えることで、インサイトの発見とアクションの優先順位付けを簡単かつ迅速に行うことができます。最も便利なものは、階層トピック＆センチメントバーチャート、トピック＆オペレーションデータ付きスタックバー、センチメントライン付きロイヤルティグループバーなどです。
理解しやすいビジュアライゼーション – ビジュアライゼーションが組織内の誰にとっても解釈しやすいものであることを確認します。通常、トレンドのトピック、センチメントの内訳、時間の経過による変化を一目で確認できるようにします。
コメントへのドリルダウン – トピックやセンチメントの傾向を知ることがスタートです。もちろん、すべてのコメントをすべて読むわけではありませんが、トレンドの低下やNPSの低いセグメントで人々が実際に何を言っているのかを深く掘り下げることは有益です。また、トピックモデルがうまく機能しているかどうかを確認することもできます。
エコシステム＋統合
1つのプラットフォーム – エクスペリエンス管理（XM）プログラムでは、定量データとテキストデータを同じプラットフォーム上で収集・分析することが望ましいです。これにより、全体像を把握するために異なるデータセットやテクノロジーをまとめる手作業を何時間も省くことができます。
統合 – クローズドループのカスタマーエクスペリエンスプログラムを実行している場合、テキスト分析ツールが、チケットアプリケーションなどの既存システムに統合されていることを確認してください。つまり、センチメントとトピックに基づいて、関連する顧客コメントをチームがすでに使用しているシステムで自動的にフォローアップしてくれます。フォローアップを迅速化し、顧客とのループを効果的に閉じるための適切な情報を確保しましょう。
X＋Oのデータを統合 – エクスペリエンス管理（XM）プログラムの最終目標は、価値をビジネスに還元することです。そのため、テキストのようなエクスペリエンス・データ（Xデータ）と、販売数値や人事データのようなオペレーション・データ（Oデータ）が一緒になったプラットフォームを探しましょう。これによって、人々の発言と行動を結びつけることができます。例えば、店頭で親切なスタッフについて話す人は、そうでない人よりも消費額が高いのでしょうか？そうすることで、テキスト分析から収集したインサイトに基づいて取る行動は、ROIを提供し、ビジネスを成長させる糧となります。
クアルトリクスはどのように役立つか
Qualtrics XM Discover Platformは、AI、機械学習、ディープラーニングアルゴリズムを活用したクラス最高のテキスト分析を提供します。テキスト、音声、サードパーティのソースを自然言語処理によって1つのシームレスなソリューションにまとめ、さらに一歩進んだプラットフォームです。
Qualtrics XM™は、ブランドが顧客インサイトをアクションにつなげるための3つの主要な柱に基づいて構築されています：
1. 聴いて理解する
当社は、顧客調査、アンケート、リサーチなどを通じて、ブランドが積極的に顧客とエンゲージできるよう支援します。また、テキスト分析と自然言語処理により、顧客がどこで何を言っているかをリアルタイムで把握することができます。
そのため、顧客からのクレームの電話、サポートアドレスへのメール、ソーシャルプラットフォームでの言及、サードパーティのレビューサイトでの賞賛など、どのような状況でも知ることができます。重要なことは、音声・テキスト分析では、構造化されていないテキストデータすべてにセンチメントと意味を割り当てることができるということです。
2. すべてを記憶し、文脈をつかむ
コンテクスチュアルなデータは、静的な数字の羅列よりもはるかに有用です。XiDは、顧客と従業員一人ひとりのエクスペリエンス・プロファイルを作成し、そのプロファイルをCRM/HRISシステムに接続し、ターゲット・グループの理想的な旅を編成することができます。豊富なデータを視覚化することで、エクスペリエンス・ギャップがどこにあるのか、何を微調整する必要があるのかを把握しましょう。
3. 共感とスピードをもって行動する
プロアクティブな提案とインテリジェントなインサイトにより、顧客や従業員の履歴とコンテキストに基づいて、適切なネクスト・ライト・アクションを即座に実行することができます。
カスタマー・エクスペリエンスにテキスト分析を活用すべき理由
カスタマーエクスペリエンス管理（CXM）プラットフォームとテキスト分析ソフトウェアが統合されているということは、顧客フィードバックのテキスト分析から得られたアウトプットをプログラム全体で活用し、組織全体の変革を推進できるということです。
- トレンド、ベースライン、主要なドライバーを特定するために、レポートにテキストを視覚化します。
- トピックタグやセンチメントタグなどのテキストデータを、統計分析による他の定量的指標と一緒に深く分析し、望ましい行動のクラスターや根本原因を見つけます。
- 経時的な傾向を把握し、懸念のある領域に対して積極的なアクションを取ることができます。
- カスタマー・エクスペリエンスおよび従業員エクスペリエンスのダッシュボードで、関連するテキストのインサイトを含むロールベースのダッシュボードを自動的に提供します。
- トピックとセンチメントに基づいて継続的なアクション項目をトリガーし、動揺している顧客やリスクのある顧客とのループを閉じます。
- トピックカテゴリとセンチメント評価をベンチマークし、将来の目標を設定します。
また、これまで探すことのできなかった未知のテーマが潜んでいることを発見することもできます。テキスト分析では、洗練された機械学習モデルを使用して、フリーテキストのコメントに隠れている盲点を発見し、これまで探すことを知らなかった顧客の痛点を発見することができます。
オープンなテキストは、あなたが気づかなかったペインポイントを発見し、顧客回答者がNPSのマイナススコアを残した理由を具体的に説明し、顧客とのループを閉じるために必要な背景を顧客サービスチームに準備させる素晴らしい方法です。
クアルトリクスのText iQによるテキスト分析
このように、テキストデータを正確に解析するためには、テキスト解析ソフトウェアが高度で管理しやすいものでなければなりません。
Qualtrics Text iQは、重要なプロセスを自動化し、分析ではなく、お客様が取るべきアクションに集中できるようにします。このソフトウェアは、特許取得済みの機械学習と自然言語処理を搭載しています。複雑な構造を持ちながらも、非常に使いやすく、常に顧客の重要な感情に耳を傾け、評価します。
テキストiQは、時系列でトレンドを監視し、構造化テキストと非構造化テキストの両方を分析する機能により、企業と現場スタッフに、ターゲットユーザーへの理解と、獲得するために必要な情報を提供します。
クアルトリクスのテキストiQソフトウェアの機能については、こちらでデモをご予約してください。
Qualtrics Text iQで複雑なテキスト分析を自動化