LLMはベートーヴェンを演じられるのか？ロールプレイAI研究の最前線を紹介

2023.11.22先端技術

ChatGPTをはじめとしたLLM駆動型AIは、ユーザが指示した役割を演じる能力があります。例えば「コンサルタントになったつもりで、スーパーの売上アップの施策を提案してください」といったプロンプトを入力すると、コンサルタントのように回答してくれます。こうした演技力を応用すれば歴史上の人物を演じてもらうことも可能ですが、こうした演技を完遂するには大きな問題を克服することが必要となります。そこで本稿では、LLMの演技力の限界を超える試みを紹介します。

「成立しない会話」を学習して幻覚を抑制

LLMに歴史上の人物を演じるように指示した場合、その人物が知っていない知識にまで言及してしまうという問題が生じます。例えばChatGPTにベートーヴェンを演じてもらった場合、同AIはビートルズのことは知らないはずです。しかしながら、LLM自体はビートルズの知識があるので正しく回答してしまい、それによりベートーヴェンの演技は破綻してしまうことがあります。

中国・復旦大学らの研究チームは2023年10月16日、演技に関するLLMの限界の克服を試みたAI「Character-LLM」を発表しました。このAIの開発ではLLMに入力するプロンプトを精緻化するのではなく、LLM自体を特定の歴史上の人物を演じるようにカスタマイズする、というアプローチが採用されました。

LLMのカスタマイズに際しては、以下のような手順が実行されました。

史実にもとづいたシーンの抽出：ベートーヴェンを演じるAIを開発する場合、はじめにベートーヴェンに関するWikipedia項目のような演技対象に関する一般知識をLLMに入力したうえで、演技対象が経験した象徴的なシーンを20個抽出するように指示する。なお、シーンは会話や演説といった言語活動のひとつとして抽出する。指示を実行するLLMには、GPT-3.5-turboを使用した。
架空のシーンの創作：プロの脚本家になったつもりで、演技対象についてのさまざまな架空のシーンを創作するようにGPT-3.5-turboに指示する。
成立しない会話シーンの創作：プロの脚本家になったつもりで、演技対象と詮索好きの架空のキャラクターが会話するシーンを創作するようにGPT-3.5-turboに指示する。この詮索好きのキャラクターには、演技対象が話さないようなことを無理に話すような役を演じてもらう。このような成立しないのが正しい会話シーンにおいては、演技対象が怒ることも創作する。
LLMの訓練：以上の演技対象の史実にもとづいたシーン、架空のシーン、成立しない会話シーンを学習データとして、Metaが公開しているLLMであるLllmaを訓練する。

手順3で創作した成立しない会話を学習するのは、演技対象が知り得ない知識に関して回答しないようにするためです。

今回の研究では、以下の表のようにクレオパトラやベートーヴェンをふくむ9名の歴史上の人物を演じられるように訓練しました。なお、以下の表にある「#Scenes」列の数値は学習したシーンのデータ量、「#Words」列はシーンにふくまれる単語データ量、「#Turns per Scene」は1シーンあたりの言葉のやりとりの回数、「#Words per Turn」は1回のやりとりにおける単語数を意味しています。

演技の評価もLLMで実行

以上のように開発されたCharacter-LLMの性能評価は、歴史上の人物を演じてもらったうえで100の一問一答方式の質問と、複数のやりとりで構成されるインタビュー形式の20の質問に対する回答を以下のような5つの評価観点から7段階評価する方法を採用しました。

暗記（Memorization）：生年月日や家族構成のような演技対象が知っているべき知識を正しく回答できるかどうかを評価。
価値観（Values）：演技対象の価値観にもとづいて回答しているかどうかを評価。
性格（Personality）：演技対象の話し方や特定の状況下での反応などを正しく再現できているかを評価。
幻覚（Hallucination）：演技対象が知り得ない知識を回答にふくめていないかどうかを評価。
安定性（Stability）：一連の問答を通して、演技対象の特徴を一貫して演じているかを評価。

評価においてはCharacter-LLMの比較対象として、LlmaベースのLLMであるAlpaca 7BとVicuna 7B、そしてChatGPTにも役を演じるように指示したうえで問答を行いました。また、採点にはGPT-3.5を使いました。具体的には、各LLMの問答を入力したうえで、各評価観点に点数をつけるようにGPT-3.5に指示したのでした。

こうして採点された評価結果は、以下のグラフのように表せます。Character-LLMの演技はAlpaca 7BとVicuna 7Bを凌駕し、ChatGPTとはほぼ同等でした。Character-LLMのベースモデルであるLlamaはパラメータ数70億のものを採用したことを考慮すると、パラメータ数1750億のChatGPTと同等の性能であったCharacter-LLMは演技に関して高効率なモデルと言えます。

Character-LLMの有効性を実証した研究チームは、今後の課題として以下のような3項目を挙げています。

評価方法の確立：今回の5つの評価項目による7段階評価は、実験的なものに過ぎない。今後はより精緻な評価方法を考案すべき。
学習データの拡張：Character-LLMの訓練は、歴史上の人物をプロフィールにもとづいている。伝記や発言集なども学習データとして採用すれば、さらなる演技力向上が見込まれる。
ベースモデルの改善：今回はパラメータ数70億のLlamaをベースモデルとしたが、さらに大きいパラメータ数のモデルや、今回とは異なったアーキテクチャのモデルをベースモデルにすれば、演技力が向上するかも知れない。

心理学を応用した演技評価方法を提案

Character-LLMの評価において採用された5つの項目は妥当なように思われますが、何らかの科学的理論にもとづいたものではありません。こうしたなか、同AIを開発した復旦大学の別の研究チームが2023年10月30日、LLMの演技を心理学のテストによって評価した論文を発表しました。

以上の論文は、LLMの演技を性格診断テストに使われるビックファイブとMBTI（Myers–Briggs Type Indicator：マイヤーズ＝ブリッグス・タイプ指標）を応用して評価する方法を提案しています。具体的には、複数の質問に対する回答によって性格を類型化するこれらの心理テストを、何らかのキャラクターを演じているLLMに対して実施したのです。

評価対象となったLLMは、日本アニメのキャラクターである涼宮ハルヒをはじめとしたさまざまな映画やアニメのキャラクターを演じるChat-Haruhi-Suzumiyaを採用しました。このAIにさまざまなキャラクターを演じてもらったうえで、心理テストを実施して性格を診断したのでした。

はじめにChat-Haruhi-Suzumiyaが演じる各キャラクターに対してビックファイブを実施したところ、キャラクターごとに異なる性格が診断されました。この結果は、同AIがキャラクターを演じ分けていることを実証しています。以下の画像は、ビックファイブの性格因子のひとつ「誠実性」から見た各キャラクターの診断結果です。

各キャラクターに対してMBTIを実施した結果の一部が、以下の画像です。この画像におけるキャラクターの顔のすぐ右の「Prediction」の列に書かれた大文字のアルファベットが、Chat-Haruhi-Suzumiyaが演じたキャラクターに対してMBTIを実施した結果です。「E」はExtravertion（外向性）を表しており、こうした4つのアルファベットの並び方で性格を類型化しています。

「Ground Truth」は、さまざまなキャラクターに対してMBTIを実施しているウェブサイトpersonalitydatabase.comにおける診断結果です。同サイトが掲載している性格は、各キャラクターのファンがMBTIに関する投票を行った結果を集計したものです。こうしたファンが考えるキャラクターの性格とChat-Haruhi-Suzumiyaによる演技にもとづいた性格を比較したところ、一致率が82.76%でした。同AIは、各キャラクターのファンが考えている性格をおよそ8割の精度で再現しているというわけなのです。

以上のビックファイブとMBTIにもとづいたChat-Haruhi-Suzumiyaの性格診断は、Character-LLMで実施された5観点7段階評価の評価より科学的かつ精緻であると言えるでしょう。

今回紹介した論文は、LLMのロールプレイに大きな可能性があることを示唆しています。LLMによる演技は改善される余地が大いにあると同時に、そうした演技を評価する方法についてもさらなる体系化が可能なのです。そして、今後ロールプレイAIの研究開発を進めるにあたっては、邪悪なキャラクターを演じさせる場合の対処のような倫理的問題への配慮が不可欠となるでしょう。

Writer：吉本幸記、Image by ShutterStock