【CEDEC2022】自然言語処理で海外レビュー分析

CEDEC2022のセッションの中から、バンダイナムコネクサスの有井佳祐氏による「世界中のユーザーの声に迫る〜自然言語処理を用いた海外レビュー分析〜」を紹介します。レビュー分析の重要性は理解しながらも、コストや導入自体の難しさから躊躇している企業は多いでしょう。今回の発表では、バンダイナムコネクサスにおける事例として、自然言語処理による海外レビュー分析プロジェクトの概要が解説されました。

レビュー分析がなぜ必要か

チームで企画を練って自信満々で上司に提案を持っていくと上司からは「これ、売れるの？」と問いかけられ、じゃあ売れる根拠を集めようと市場調査をしても、今度は「その調査結果は本当なの？ そのうち何人が買ってくれるわけ？」などと言われてしまって悶々とする。何らかの形で商品の企画に携わる人なら、そんな経験を一度はしていると思います。

データストラテジストとして今回のプロジェクトをリードした有井佳祐氏は、悶々とする原因がターゲットの解像度が不明瞭なことにあるのではないかとした上で、ターゲットの解像度を4つの視点で整理します。

• ターゲットはどんな属性か
• ターゲットが（そのゲームで）解決したい課題は何か
• その課題を解決できる打ち手になっているか
• ターゲットが何人いるか

1から3までの視点は市場調査の定性調査の定番ですが、忘れてはならないのは4のターゲットが市場に何人いるのかという視点です。ターゲットの数が非常に少ないとしたら企画として成り立ちません。つまり、定性的な部分と定量的な部分を両方とも網羅する必要があるということになります。

この4つの視点を明らかにする調査手法として、自社データの分析、市場調査、レビュー分析があるとして、それぞれ長所と短所を図のように示します。

たとえば自社データの分析では、時間や費用的な融通を付けやすい反面、データの質には課題が残ります。データの質が悪かったり、そもそも欲しいデータがなかったり、あるいは、あったとしても組織の壁にぶつかって入手が難しいというケースもあるでしょう。外部の調査会社に依頼する市場調査の場合、データの質は担保できますが、時間や費用がかかりますし、発注する際の設計が甘いとアウトプットがふんわりしてしまったものになるおそれがあります。

もちろん、それぞれ強みと弱みがあるので、状況に応じた最適なアプローチを採るのが落としどころになりますが、有井氏はターゲットの解像度を上げるファーストステップとしてレビュー分析が非常に有効だと考えています。そのメリットは一度環境を構築してしまえばスピーディーかつ低コストでワールドワイドで市場を見ることができるという点です。

自然言語処理とレビュー分析

そもそもレビュー分析とは、ユーザーの口コミやレビューをデータソースとし、定量的に行う分析調査です。基本的には、文章を単語に分割し、出現頻度や相関関係を分析するといった自然言語解析の手法を用います。

一方で、コンピュータで自然言語を扱う領域を自然言語処理と呼びますが、ご存知のとおり、これは最近のAI技術の進化に応じて著しく発展している分野です。この自然言語処理の技術を使って、レビュー分析を行うのが今回のチャレンジです。

まず、レビューのデータとしては「レビューの評価」と「レビューの文章」があります。評価というのは、10点とか5点といった点数であったり、GOODやBADといった評価判定です。それとレビュー本文です。何かしらコメントが書かれている文章があります。

この2つのデータから、たとえば「語られているトピック」と「そのトピックが評価にどう影響しているか」という点を調べることができます。レビューの件数が数件とか数十件なら、人間が読んで要約することもできますが、1,000件、200件と数が多くなるとそれらを全部読むわけにはいきません。そこで自然言語処理を活用します。また、話題と評価の関係を分析することで、ポジティブな評価に影響しているトピック、ネガティブな評価に影響しているトピックが分かります。特に自然言語処理を活用するメリットは、ポジティブ／ネガティブの傾向をとらえられることと、トピックとの関連付けができることにあると言えます。

バンダイナムコネクサスの今回の例では、海外レビューサイトにおける該当レビュー（ベンチマークとするタイトルのレビュー、および自社のタイトルのレビュー）をもとに、ターゲットの解像度を探索的に分析することを目的とし、自然言語処理によるレビュー分析を行いました。なお、海外レビューサイトのレビューということで使用言語は英語に限定しています。

背景としては、ベンチマークのタイトルや自社のタイトルのどの部分が受け入れられていて、どの部分が受けられていないのかが見えづらいという課題がありました。具体的な改善ポイントにつなげるために、まずユーザーがどんなトピックを話していて、どのトピックがポジティブ、あるいはネガティブな評価に影響を与えているのかという点を明らかにします。

分析処理から解釈まで

まず最初にデータについて見ておくと、レビューサイトのAPIから入手したデータをそれぞれ「レビュー内容」「レビューに対するスコア」「その他の情報」の3つに分けます。このデータを使って分析をしていきます。

分析処理は大きく4つのステップに分けられます。まず前処理としてレビューの本文を1文ごとに分割し、スコアリングをしていきます。これは試行錯誤をする中で、複数の文に対し分析をするよりも、ひとつの文を区切りごとに分析をした方が精度や解釈性が高いことが明らかになったためです。

ここで言うスコアリングでは、ユーザーがつけたレビューの点数をそのまま使うのではなく、1文ごとに分解した後にそれぞれ別途スコアを付与しています。具体的には生データの分布から重みを計算し、各文のスコアの平均が元データのスコアと近似する形でスコアリングをしていきます。

次のステップとして、スコア別にポジティブな群なのかネガティブな群なのかをラベル付けしていきます。ここでは、3点以上はポジティブ、3点未満はネガティブという基準にしています。そのデータの分布をヒストグラムで見てチームで基準点を議論して決めました。

続いて、ポジティブ群／ネガティブ群それぞれをトピックごとにまとめていきます。これは機械学習でグルーピングしていくというイメージです。ポイントは機械学習がやってくれるのは「グルーピングをしてくれるところまで」ということです。そのため、このトピックが一体どういう意味なのかを解釈するフェーズが別途必要になります。それが最後のステップです。

まとめられたトピックを解釈する方法としてはさまざまなアプローチが考えられますが、ここで有井氏のチームが用いたのは「共起ネットワーク」と「各トピックの文章を読む」というアプローチです。

機械学習でグルーピングするという部分ではトピックモデルというアルゴリズムが働いています。トピックモデルとは「文書は潜在トピックから確率的に生成される」とする考えのもと、単語の共起性に着目して各単語が潜在トピックに振り分けられる確率分布を作成します。共起性とは、たとえば「選挙」という単語が出たときに同時に「大統領」という単語も出やすくなるなど、ある単語と同時に使われやすい単語の関係を指します。

たとえば、人間がニュース記事を読む場合「選挙」や「大統領」といった言葉が記事の中に頻出していたとき、多くの場合、その記事のテーマは「政治」に関するものだと判断するはずです。トピックモデルは、このような「単語とトピック」の関係をモデル化したものだととらえることができます。このトピックモデルにもとづいてトピックをグルーピングしていきます。

解釈するという部分では、共起ネットワークによる解釈と各トピックの文章を読むことを行っています。共起ネットワークは、単語ごとの関連度を円と線で表現したものです。たとえば、この図では「アニメ」と「家族」と「子供」はかなり近いものの、「アニメ」と「冒険」は遠い関係にあることが分かります。こういった関連度を見ることでトピックを解釈することができるというわけです。

また、前述のトピックモデルは各文をトピックに振り分けるだけではなく、そのトピックに対する重要度を定量的な数字（確率）で示します。実際に各トピックの文章を読むのは、たとえば100件あったら全部読むというわけではなく、このトピックモデルによって示された関連度の高い文章トップ10を読むことで、どのようなトピックなのかを解釈していくというイメージになります。

分析結果をどう読み解くか

分析を回すとトピックごとに共起ネットワークが出力されます。この共起ネットワークを見ながら、真ん中に出てる単語（赤い丸）は重要そうだと解釈したり、その単語に関連する周りの単語からどういうトピックなのかを判断します。

次に、関連度の高い文を実際に読んでいきます。共起ネットワークと実際の文を読み合わせて解釈すると、おそらく「適度な難易度設定」というトピックが裏側に隠れているのではないかということが明らかになるわけです。同様に「バトルシステム」「アプデが多い」「チームプレイ」「戦争への追体験」などが明らかになります。

同様に、ポジティブに評価されている文の中でのトピック5つ、一方でネガティブに評価されている文の中でのトピック5つと、ポジティブ／ネガティブそれぞれについても解釈していきます。これらを明らかにすることで、ポジティブに解釈されているトピックをもっと押し出そうとか、ネガティブ評価のトピックに関してはもう少し改善の余地があるかもしれない、といった議論を根拠を示しながら始めることができます。

また出力結果に対して、この結果がユーザーのどのような心理から発生したものかを考察する必要があります。そのため、有井氏は心理学や行動経済学などのフレームワーク、先行研究などを参考にするとのことです。ただし、フレームワークに固執ことが判断を誤らせる原因にもあるので、それは避ける必要があります。ドメイン知識を用いながら、なぜこういう結果になったのかを多角的にチームで議論し、「これは、このような心理が働いたからではないか」と模索する姿勢が重要です。

ここまで、レビュー分析の流れを見てきましたが、分析のアプローチにはそれぞれメリットとデメリットがあり限界もあります。たとえば、ここで紹介したレビュー分析が対象とするデータ群は「そもそもレビューをしようという集団」によるものです。その時点でバイアスがかかっているデータだと言えます。つまり「真の対象者」にはレビューをしていない人も、当然ふくまれるということです。このようにレビューデータの活用が潜在的に持つ限界についても考慮すべきだと有井氏は言います。従ってレビュー分析のみに固執することなく、そこで得た新たな考察を次の市場調査やログ分析などにつなげていく姿勢が重要となります。

プロジェクトとしていかに進めるか

有井氏はデータ戦略部のデータストラテジストとして今回のプロジェクトをリードする立場でした。プロジェクトとして進める上で、分析担当だけではなく、ステークホルダー全員がモデル作成に関わっているという共通認識を持った上でプロジェクトを進めたいと考えていました。つまり、分析担当者が勝手に分析しているという形ではなく、企画にあたる事業部側も当事者意識を持って分析を回していく姿勢を醸成することが重要です。

今回の事例では、データストラテジストとデータアナリスト、プロダクトアナリスト、データアナリスト、データサイエンティストが連携し合って課題解決に向けた調査設計をしました。もちろん実際に分析をする中で、うまくいかないことが多々起こります。生じた問題をどうすれば解消できるかをチーム内で議論したり、もう一度事業部側にヒアリングを行うなど、アジャイル的にプロジェクトを進めていきます。この事例に関しては、具体的に次のような流れになりました。

1. まず、分析チームからレビュー分析を提案する際、レビュー内で使われる単語の頻出度ランキングをアウトプットとして提出
2. それに対し、事業部側から「それらの単語がレビューのスコアにどう影響どうしているのかが知りたい」というフィードバックが来る
3. 各単語のスコアに対する影響度を算出する
4. それに対し、事業部側から「単語だけでその解釈に至るのは危険ではないか」というフィードバックが来る
5. そこでトピックに着目

このような形でアウトプットをもとに事業部側とコミュニケーションを重ねていくことでプロジェクトを進めていきました。

レビュー分析の必要性を理解して実行に前向きであっても、誰を集めてどのように進めていけばいいのか分からないという場合が多いため、導入にあたっては体制作りやフローの整備が大きな課題になると言えるでしょう。

もちろん分析を行うにはデータストラテジスト、データアナリスト、データサイエンティストなど、データが扱えるエンジニアが必要です。しかし、それだけでは実現しません。レビュー分析という分析手法の役割や意義を紐解いて社内にエンハンスできるパッションを持ったプロジェクトマネージャーが欠かせないのだと有井氏は言います。

最後に、今後の取り組みとして有井氏はこう述べました。

今後の取り組みとして、ユーザーすらも気づいていない潜在心理を紐解き、チームで楽しくものづくりをすることを目指しています。データを解析しながらユーザーのことを想像するのは楽しく、それによってユーザーが満足してくれたらなお嬉しい。さまざまなデータがたくさんある中で、それらを十分に活用していくことに今後も続けたいと思います。（有井佳祐氏）

Writer：大内孝子