【CEDEC2023】AIによる感情分析でゲーム内会話パート制作を効率化：セッションレポート

2023年8月23日から25日にかけて、コンピューターエンターテインメントに関する国内最大級のカンファレンスCEDEC2023が神奈川県・パシフィコ横浜においてオンラインセッションをふくめたハイブリッドで開催されました。8月23日には、株式会社Cygames開発運営支援ゲームエンジニアの立福寛氏が「AIによる自然言語処理・音声解析を用いたゲーム内会話パートの感情分析への取り組み」と題するセッションを行いました。本稿では同セッションを要約することで、自然言語処理や音声解析を用いた感情分析のゲーム開発への応用を紹介します。

ストーリーパート制作の業務改善を目指す

立福氏のセッションは、Cygamesのスクリプトチームからツール作成の相談を受けた話から始まりました。同チームは、ゲームのストーリーパートのスクリプト作成を担当していました。一般にストーリーパートのスクリプト作成では、シナリオ執筆、音声収録、シナリオのスクリプトの雛型への変換を経て、ストーリーに合致したキャラクターの表情やエフェクトを追加します。

以上のスクリプトにはセリフに加えて、背景やBGM、そして表情がエフェクトの設定がHTMLタグのように埋め込まれています。こうしたなか立福氏は、ストーリーパートのセリフや音声に合致した表情をAIによって自動的に設定することに取り組みました。

ストーリーパートは、1行が1単位として構成されています。この1行にはセリフのみが設定され、地の文はありません。1行はさらに句読点や記号区切りで細分化され、この細分化されたすべての部分にさまざまな感情が割り振られます。

今回設定する感情は、「標準」「喜び」「悲しみ」「怒り」「照れ」の5種類としました。感情分類精度を比較するために、「標準」「（喜びと照れを合わせた）ポジティブ」「（悲しみと怒りを合わせた）ネガティブ」の3種類の分類も実施することにしました。

感情分類する技法としては、テキストで表現されたセリフにもとづいて感情分析する自然言語処理アプローチと、セリフを吹き込んだ音声にもとづく音声解析アプローチの2通りを実施することにしました。

さまざまな自然言語処理で試行錯誤

立福氏は、はじめに自然言語処理のひとつである固有表現抽出から着手しました。この技法は固有名詞や数値表現を抽出するものですが、抽出された表現と感情を結び付けて感情分析を実施しようとしました。しかし、この技法は感情をはじめとした属性を文章の一部にしか割り当てられないという制限があるため、感情分析には向いていませんでした。

次に試したのは、特定のテキストを分類する文章分類タスクでした。今回は、ストーリーパートを構成する1行を以下のような5種類または3種類の感情に分類することを試みました。文章分類を実施する言語モデルにはBERTを選び、学習には1時間弱を要しました。

以上のような文章分類の結果は、以下のグラフのようにまとめられます。5種類に分類した場合、正解率は49%とあまり高くない結果となりました。対して3種類に分類した場合は、69%と実用的な正解率を実現できました。この結果により、自然言語処理による感情分析は可能と判明しました。

なお、BERTの訓練に際しては以下のスライドにまとめたように学習データをさまざまな方法で水増し（「データ拡張（Data Augmentation）」と呼ばれる）してみましたが、精度向上は認められませんでした。このようになった理由として、文章を水増ししても新しい文章として学習しなかったからだと考えられます。

続いて1行をさらに細分化した句読点単位で文章分類タスクを実施してみました。しかし、この試みでは満足のいく精度を実現できませんでした。高精度とならない理由には句読点単位では情報量が少ないことや、前後の情報がないために分類が困難な場合があることが考えられました。例えば「そうですね…」のようなテキストは、前後の情報がなければ、どのような感情が伴っているか分類するのが難しいのです。このようにして文章分類タスクによる感情分析は壁にぶつかったので、他のアプローチが必要となりました。

質問応答タスクで感情分析に成功

文章分類タスクに代わって試みた技法は、質問応答タスクでした。このタスクは、以下のスライドで示されたようにコンテキストと質問を入力すると、回答が出力されるというものです。

感情分析に質問応答タスクを活用する場合、感情を求めたい文章とその前後の文章をコンテキスト、感情を求めたい文章を質問として入力して、感情を数値として出力することになります。

実際に質問応答タスクを使って感情分析する言語モデルの開発には、BERTを活用しました。学習データとして既存のスクリプトから22万件のデータセットを作成し、訓練にはNVIDIA製GPUのGeForce RTX 4090を使って9時間を要しました。

以上のような訓練では、パラメータや言語モデルを変えて精度向上を目指しました。バッチサイズ（訓練時に学習データを分割する時のデータサイズ）は大きいほどよく、今回は48が上限でした。また、BERT系の言語モデルのなかでもRoBERTaを使った時がもっとも高精度でした。

学習データについても基本感情の5種類以外は「標準」に置き換えていたところを、基本感情で置き換えるように改善しました。その結果、学習データの品質が改善されて数%の正解率の向上を実現しました。また、学習データを水増ししたり、モデルのトークン数（一度に処理できるトークンの長さ）を増やしたりしましたが精度向上にはつながりませんでした。

最終的に実現した質問応答タスクによる感情分析の精度は、5種類分類の場合は66%、3種類分類で70%でした。喜びと悲しみの分類精度は高い一方で、怒りと照れは相対的に低精度でした。この結果は、怒りと照れのデータ数が少ないために学習が難しかったからと考えられます。

怒りと照れの分類精度が低いのはこれらの分類自体が相対的に難しいのではないか、という疑問が生じたので、比較検証するために人間による感情分析も実施してみました。具体的には今回のプロジェクトに関する基本的知識があるエンジニア3名が、400問の感情分析テストに回答しました。その結果、5種類分類の場合の精度が57%であり、AIが実現した66%を下回りました。そして、やはり怒りと照れに関する正解率が低かったことから、これらの分類は相対的に難易度が高いことがわかりました。

SpeechBrainとWhisperXを活用

自然言語処理で実用的な精度を実現したので、今度は音声解析による感情分析に取り組みました。はじめに有料で利用できる音声による感情分析システムを試用したものも、かなりの低精度だったために使えないことがわかりました。こうしたなか別件で効果音を分類するモデル（PANNsがベース）を開発していたので、このモデルを感情分析に流用してみました。

学習データの準備では、セリフが吹き込まれた音声ファイルを有音区間と無音区間に分割しました。この分割においては、スクリプトにもともとふくまれていた文字の表示タイミングを調整するための数値を活用しました。

以上のようにして効果音分類モデルによる感情分析を実施したところ、正解率が30.8%と使いものにならない結果となりました。こうした結果になったのは、このモデルがそもそも感情分析に向いていない、学習データの分割が正確ではないといったことが考えられます。

効果音分類モデルの活用が失敗したため、いったん棚上げして自然言語処理アプローチに専念しましたが、有望な音声解析モデルであるSpeechBrainを発見したので音声解析アプローチを再開しました。このモデルはMetaが公開した音声認識モデルWav2vec2を活用したものなのですが、感情分析系のデータセットの利用規約が厳しいという問題がありました。それゆえ、ゲームストーリーのセリフがふくまれた実際の音声データを活用することにしました。

実際のデータから学習データを作成するには、音声ファイルを分割する必要がありました。こうした分割には、はじめはOpenAIが公開した音声認識モデルWhisperを活用しました。同モデルによる分割実施後、さらに高性能なモデルWhisperXが公開されたのでこちらで再び分割を行いました。このモデルは文字単位でタイムスタンプを取得できるため、文章の分割に合わせて音声を切り出せました。こうした性能により、より高精度な音声分割が実現しました。もっとも、タイプスタンプと音声のタイミングがずれることがあるという不具合があることが判明しました。この不具合はWhisperX公開直後のものなので、現在では改修されている可能性があります。

WhisperXを使って学習データを作成後、GeForce RTX 2080を2枚搭載したPCで訓練したモデルで感情分析したところ、5種類分類の場合で63%、3種類分類で66%となりました。また、自然言語処理アプローチと同様に、喜びと悲しみの正解率が高い一方で、怒りと照れのそれは相対的に低くなりました。自然言語処理アプローチより正解率が低くなったのは、音声解析の場合には分類対象部分の音声しか使えないからと考えられます。それゆえ、解析する音声の前後も活用するモデルを使えば、正解率が向上するかも知れません。

10%程度の業務効率化に成功

以上のように自然言語処理アプローチと音声解析アプローチの両方を実施したのですが、当初はそれぞれで開発したモデルをアンサンブル（複数のモデルをひとつに融合すること）する予定でした。しかし、自然言語処理モデル単体で使うほうが高精度だったので、同モデル単体を実装することにしました。

感情分析モデルの業務導入にあたっては、前述したスクリプトを制作する従来の4ステップのワークフローから、（自動化サーバの）JenkinsでシナリオのIDを指定すると音声ファイルのダウンロードとコマンドラインツールが実行された後、感情分析結果が付与されたスクリプトが出力されるという2ステップのワークフローに変更しました。感情分析精度が100%ではないので人間による確認と修正が必要ですが、シンプルなワークフローとなりました。

新しいワークフローを導入した結果、スクリプトチーム全体で10%程度の効率化を実現しました。新ワークフローでは従来のそれにおけるタスクの一部をJenkinsによって実行できるようにしたところ、この改革によってスクリプトチームへの新規合流者が業務に慣れるまでの期間が、以前の1か月程度から大幅に短縮しました。同チームはプロジェクト間の移動が多い部署だったので、業務習得までの期間短縮は大いに歓迎されました。

立福氏はセッションのまとめとして、以下のような要点をまとめたスライドを示しました。このスライドに書かれているように、今回は音声解析による感情分析は不採用となりましたが、Whisper以降も音声解析モデルが進化しているので、こうした新たなモデルを使えば自然言語処理アプローチに匹敵する結果が得られるかも知れない、と述べて同氏はセッションを締めくくりました。

Writer：吉本幸記