モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
ディープラーニングCG機械学習CGへの扉安藤幸央GAN月刊エンタメAIニュースニューラルネットワーク強化学習三宅陽一郎音楽OpenAIモリカトロンAIラボインタビュー敵対的生成ネットワーク河合律子QAスクウェア・エニックスNVIDIAシナリオFacebookキャラクターAIルールベースDeepMindデバッグCEDEC2019プロシージャル人工知能学会映画ビヘイビア・ツリーGoogleCEDEC2021CEDEC2020ゲームAISIGGRAPH遺伝的アルゴリズム不完全情報ゲームメタAIナビゲーションAI森川幸人畳み込みニューラルネットワーク自然言語処理深層学習マイクロソフトAIと倫理グーグルStyleGAN自動生成GDC 2021GPT-3GDC 2019マルチエージェントVRボードゲームロボットアートCNNVFXモリカトロンゲームプレイAIファッションHTN階層型タスクネットワークディープフェイクJSAI2020大内孝子TensorFlowMicrosoftイベントレポートテストプレイAIアート水野勇太アニメーションガイスターNPCDALL-ECLIPStyleGAN2NFTtoio吉本幸記JSAI2021スポーツシムピープル汎用人工知能GDC SummerAdobeeスポーツ対話型エージェントeSportsBLUE PROTOCOLシーマン小説UbisoftAlphaZeroカメラ環世界中島秀之懐ゲーから辿るゲームAI技術史研究DARPAドローンシムシティAI美空ひばり手塚治虫Electronic Artsメタデータブロックチェーン通しプレイOpenAI Five本間翔太CM倫理ピクサーイーサリアム作曲中嶋謙互Amadeus CodeMicrosoft AzureデジタルツインアストロノーカキャリアナラティブAmazonサイバーエージェント音声認識ロボティクスPyTorchDQN眞鍋和子バンダイナムコスタジオUnity齊藤陽介マインクラフトお知らせアバターサルでもわかる人工知能VAEUbisoft La ForgeワークショップGenvid Technologies知識表現ウォッチドッグス レギオンIGDAどうぶつしょうぎジェイ・コウガミ音楽ストリーミングマシンラーニングクラウド斎藤由多加リトル・コンピュータ・ピープルコンピューティショナル・フォトグラフィーGPT-2完全情報ゲーム坂本洋典釜屋憲彦ウェイポイントパス検索藤澤仁生物学画像認識DeNA長谷洋平鴫原盛之masumi toyota宮路洋一TextWorldSIGGRAPH ASIAソニーGTC2021CycleGANフェイクニュースエージェントGPUALifeZork人工生命オルタナティヴ・マシンサウンドスケープMCS-AI動的連携モデルASBSマンガぱいどんTEZUKA2020ナビゲーションメッシュ松井俊浩スパーシャルAIマーケティングApex LegendsELIZANinjaコンピュータRPGアップルタウン物語KELDICメロディ言語ゲームTENTUPLAYLEFT 4 DEADMARVEL Future FightAstroタイムラプスEgo4Dバスキアバーチャルヒューマン日経イノベーション・ラボ敵対的強化学習階層型強化学習GOSU Data LabWANNGOSU Voice Assistant竹内将SenpAI.GGMobalytics馬淵浩希Cygames岡島学AWS Sagemaker映像セリア・ホデント形態素解析UXAWS Lambda誤字検出認知科学BERTゲームデザインSentencePieceLUMINOUS ENGINEプラチナエッグLuminous Productionsパターン・ランゲージ竹村也哉ちょまどボエダ・ゴティエビッグデータGOAPAdobe MAX 2021メタバース模倣学習NVIDIA OmniverseOmniverse AvatarFPSNVIDIA Rivaマルコフ決定過程NVIDIA MegatronNVIDIA Merlinスタンフォード大学NVIDIA Metropolisパラメータ設計テニスOmniverse Replicatorバランス調整レコメンドシステムNVIDIA DRIVE Sim協調フィルタリングNVIDIA Isaac Sim人狼知能テキサス大学軍事AlphaDogfight TrialsAI Messenger VoicebotエージェントシミュレーションOpenAI CodexStarCraft IIHyperStyleFuture of Life InstituteRendering with StyleIntelDisneyLAIKADisneyリサーチRotomationGauGANGauGAN2ドラゴンクエストライバルズ画像言語表現モデル不確定ゲームSIGGRAPH ASIA 2021Dota 2モンテカルロ木探索ディズニーリサーチMitsuba2ソーシャルゲームEmbeddingワイツマン科学研究所GTC2020CG衣装NVIDIA MAXINEVRファッション淡路滋ビデオ会議グリムノーツゴティエ・ボエダGautier Boeda階層的クラスタリングaiboJuliusSIETPRGバーチャル・ヒューマン・エージェントtoio SDK for Unityクーガー田中章愛石井敦銭起揚茂谷保伯MinecraftGDMC成沢理恵MITメディアラボ著作権マジック・リープMagic Leap OneMagendaノンファンジブルトークンDDSPサッカー里井大輝KaggleバスケットボールAssassin’s Creed OriginsSea of ThievesGEMS COMPANYmonoAI technology初音ミクOculus転移学習テストBaldur's Gate 3Candy Crush SagaSIGGRAPH ASIA 2020デバッギングBigGANMaterialGANリップシンキングRNNReBeL自動運転車VolvoRival Prakユービーアイソフト北尾まどかHALO将棋メタルギアソリッドVFSMナップサック問題汎用言語モデルSpotifyMITReplica StudioamuseChitrakar巡回セールスマン問題ジョルダン曲線5GMuZeroクラウドゲーミングRival Peak和田洋一リアリティ番組Stadiaジョンソン裕子MILEs対話エンジンインタラクティブ・ストリーミングインタラクティブ・メディアシーマン人工知能研究所Ludoゴブレット・ゴブラーズTransformerSIGGRAPH 2019ArtEmis絵画ARGROVERFAIRAIりんなチート検出オンラインカジノアップルRealFlowiPhoneシミュレーションDeep FluidsMeInGameAIGraphブレイン・コンピュータ・インタフェースBCILearning from Video予期知能ユクスキュルカント哲学ドラゴンクエストエージェントアーキテクチャPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者アルスエレクトロニカ2019StyleCLIPStyleRig逆転オセロニア奥村エルネスト純いただきストリート齋藤精一大森田不可止高橋智隆ロボユニザナック泉幸典仁井谷正充ロボコレ2019ぎゅわんぶらあ自己中心派Azure Machine Learning意思決定モデル脱出ゲームHybrid Reward ArchitectureウロチョロスSuper Phoenix理化学研究所Project Malmo教育Project PaidiaProject LookoutWatch ForBingLEFT ALIVE長谷川誠ジミ・ヘンドリックスBaby Xカート・コバーンロバート・ダウニー・Jr.エイミー・ワインハウスMagentaYouTubeダフト・パンクSFGlenn MarshallThe Age of A.I.Story2HallucinationレコメンデーションJukeboxテンセントSIFTDCGANMOBADANNCE人事ハーバード大学研修デューク大学mynet.aiローグライクゲームNetHack人工音声NeurIPS 2021はこだて未来大学プレイ動画ヒップホップサイレント映画NBA環境音現代アート粒子群最適化法進化差分法群知能下川大樹ウィル・ライト高津芳希大石真史BEiTレベルデザインDETRSporeAIボイスアクターデノイズ南カリフォルニア大学画像処理NVIDIA CanvasSentropyCPUDiscordCALMプログラミングソースコード生成GMAIシチズンデベロッパーTRPGGitHubウィザードリィMCN-AI連携モデルAI Dungeon西川善司並木幸介サムライスピリッツ森寅嘉ゼビウスSIGGRAPH 2021ストリートファイター半導体Topaz Video Enhance AI栗原聡DLSS山野辺一記NetEase大里飛鳥DynamixyzモーションキャプチャーU-Net13フェイズ構造アドベンチャーゲームADVXLandAGI手塚眞DEATH STRANDING不気味の谷Eric JohnsonOculus Questコジマプロダクション生体情報デシマエンジンインディーゲーム写真高橋ミレイ照明Maxim PeterJoshua Romoffハイパースケープ山崎陽斗深層強化学習立木創太バンダイナムコ研究所ミライ小町テスラGameGANELYZAパックマンTesla BotTesla AI Dayソサエティ5.0ELYZA DIGESTSIGGRAPH 2020バズグラフニュースタンテキ東芝DIB-R倉田宜典3D音声合成韻律射影広告韻律転移

【CEDEC2021】ディープラーニングとルールベースによるヒロインの「冴える」セリフ生成

2021.9.22ゲーム

【CEDEC2021】ディープラーニングとルールベースによるヒロインの「冴える」セリフ生成

8月24日から26日にかけて、ゲームを中心とするコンピュータエンタメに関する技術的カンファレンス「CEDEC2021」がオンラインで開催されました。同カンファレンスで株式会社バンダイナムコ研究所所属の頼 展韜氏と石原健司氏は、「冴えるヒロインの作りかた ~自然言語処理AIによるキャラクター性の抽出と反映への事例紹介~」というセッションを行いました。以下では、このセッションを要約することで自然言語処理を活用してキャラクター性が際立つセリフを生成する試みを解説します。

自然言語処理を活用したキャラクター生成の要件

近年めざましく進歩しているAI研究分野には、言語的タスクを実行したり文章を生成したりする自然言語処理が挙げられます。この分野の研究成果は、Google翻訳、SNS分析、カスタマーサービスにおけるチャットボットのようにさまざまに実用化されています。

自然言語処理は、2010年代において研究パラダイムが大きく変わりました。特定の条件を満たす文章に対して一定の処理を実行するルールベースの研究から、学習データから特徴を抽出したうえで言語的タスクを実行するディープラーニングのそれが主流となったのです。もっとも、ルールベースにはディープラーニングが苦手とする処理を実行できる利点があることから、現在でも活用されています。

バンダイナムコ研究所では、自然言語処理を活用したオリジナルキャラクターを開発しています。それが「ミライ小町」です。架空のアイドルとして開発された同キャラは、企業サイトにおけるFAQチャットボットのように、与えられた言語的タスクを正確かつ効率的に実行することを使命とはしていません。同キャラに求められているのは、キャラクターに固有な言い回しであったり、時には間違った受け答えをしてしまったりするような個性です。

ミライ小町のようにキャラクターの魅力を際立たせる(冴えさせる)ことが重視される場合、同キャラの自然言語処理能力には、「特徴のある魅力的な個性」「個性に沿って首尾一貫した行動」「驚きと感動を与える」ことが必要となります。

ディープラーニングによる魅力の生成

ミライ小町の魅力となるような自然言語処理能力を開発するうえで有効なのが、ディープラーニングです。一般にディープラーニングは、学習データを与えるとそのデータに内在する特徴を学習します。この仕組みをふまえると、同キャラが話しそうなセリフを集めた学習データを用意してディープラーニングモデルを訓練すれば、同キャラに固有な自然言語処理を実行するAIモデルが開発できます。

ミライ小町の個性を強調するようにAIモデルを訓練するには、2つほど注意点があります。1つめは、セリフを収集する際にマンガやSNSといったメディアごとの特徴に合わせた前処理(学習データ作成時に施す加工処理)が必要になります。例えば、マンガにおいてミライ小町がほかのキャラクターのセリフを引用した場合にはそのセリフを除外したり、Twitterで多用される絵文字は感情表現として処理したりします。

2つめは、ミライ小町のセリフの特徴がより際立つように学習することです。具体的には特徴を際立たせる学習技法として、比較学習を実行します。この技法は、同キャラのセリフをほかのキャラクターのそれと対比させながら学習するというものです。セリフの対比は、セリフ特徴グラフとして可視化されます。

以上のようにして開発した「ミライ小町ならでは」の自然言語処理を実行できる言語モデルを活用したツールが、「AIセリフ監督」です。このツールは、任意のセリフを入力するとそのセリフがもつ「ミライ小町らしさ」を数値化して返してくれる、というものです。以下に引用した画像は、同ツールのUIを表しています。①はセリフの話者を表すイラスト、②は入力したセリフが話者の話しそうなものかを数値化した「らしさ度」、③は入力したセリフに対する指摘事項件数、④が入力したセリフ、⑤が具体的な指摘事項とその修正方法、⑥が「らしさ度」の判定に寄与した単語を上位からグラフ表示したもの、となります。

もっとも同ツールには、ひとつ問題点がありました。「らしさ度」が数値化されて出力されますが、同ツールが判定した結果が唯一絶対の答えではなく、セリフを執筆するシナリオライターの主観によって「らしさ度」の解釈が変わってしまうのです。

主観的に解釈されてしまう「らしさ度」を補完する機能として追加されたのが、「類似セリフ検索」です。この機能は、入力したセリフと類似したセリフをキャラクターの過去のセリフにもとづいて生成するものです。セリフの生成に際しては類義語も考慮されており、セリフの出典も表示されるようにしました。同機能を使えば、シナリオライターはキャラクターのセリフの「らしさ度」を確認しながら、類似したセリフからもっとも「キャラクターならでは」の表現を選べます。

バンダイナムコ研究所はAIセリフ監督に加えて、ミライ小町らしいセリフを生成するAIモデルも開発しました。それが「ミライ小町対話システム」です。同モデルの開発にあたっては、2段階の学習を実施しました。第1段階は、常識的な対話ができるようにする学習です。第2段階は、第1段階の学習結果をベースにして個性のある対話ができるようにする学習です。この2段階の学習は、学校などで共通の知識を習得したうえで各個人独自の体験や世界観によって個性的な言語表現が可能となる人間の言語能力を模倣していると言えます。

以下に引用する画像は、ミライ小町対話システムのアーキテクチャを表しています。常識的なセリフを生成するモジュールが「汎用会話生成モデル」です。同モデルの学習データは、インターネットから収集されています。このモジュールとミライ小町セリフ集を統合したものが、「ミライ小町対話モデル」です。同モデルが、「ミライ小町ならでは」なセリフを生成します。また、個性が不要な定型的な対話に対しては「定型文返答モジュール」がセリフを生成します。生成されたセリフは「不適切発言フィルタ」で処理されて問題が除去されたうえで、最終的なセリフが出力されます。

現在、ミライ小町対話システムはバンダイナムコグループ内のチャットボットとして活用されています。同チャットボットは、世間話や同グループIPに関する会話に対応しています。

ディープラーニングを補完するルールベースモデル

ディープラーニングを活用したAIセリフ監督やミライ小町対話システムは、ミライ小町のセリフに関する特徴を抽出して自然言語処理を実行する点において、非常に強力なツールです。しかし、これらのツールには追加的な変更が困難という欠点があります。例えば、「もっと清楚な感じで話してほしい」というユーザからの要望があった場合、清楚なセリフを集めた学習データを使って訓練すれば、より清楚なミライ小町になるわけではありません。というのも、ディープラーニングモデルの学習過程は人間が容易に予測できない「ブラックボックス」となっているからです。

バンダイナムコ研究所は、ディープラーニングモデルとルールベースモデルを統合したハイブリッドモデルを開発することで以上の欠点を克服しました。ルールベースモデルを使えば、追加的な変更を容易に実装できるようになるのです。

新たに実装されたルールベースモデルとは、「ルール」という言葉がふくまれていることからわかるように、一定の言語的なルールにもとづいて自然言語処理を実行するモデルを意味します。ミライ小町の開発では、役割語に着目したルールを設けました。役割語とは、特定の人物像を連想できるような言葉遣いを指します。例えば、一人称が「拙者」であれば、多くの人はその話者を武士だと想像します。

ミライ小町の開発にあたっては、前述のミライ小町対話システムが生成したセリフをよりミライ小町らしいそれに変換するためにルールベースモデルを使いました。このモデルは「役割語変換モジュール」と呼ばれます。同モジュールがルールを適用するにあたっては、生成されたセリフを言語機能的に小さい単位に分割する「形態素解析」を実行してセリフの構造を解明した後に、その構造が正規表現で記述された特定の条件を満たしている場合に役割語に変換するようにしました。ルールを正規表現で記述するのは、表記の一致を変換条件として採用するより過剰な変換を抑制できるからです。

役割語変換モジュールを使えば、コンテンツごとにミライ小町の言葉遣いを変えるといった柔軟な運用が可能になります。しかし、同モジュールには2つほどの課題がありました。1つめは、ルールの作成コストが高いことです。変換したい言葉遣いの特定と正規表現による変換ルールの記述には、多くの工数が必要となります。この課題は、ルール追加作業フローを可能限り自動化することで解決しました。具体的には、変換したい言葉遣いの特定はセリフ群から出現頻度の高い単語の並びを自動抽出し、ルールの記述は変換前のセリフと変換後のそれから自動生成するようにしました。

2つめの課題は、ルールにしたがって変換するという処理の特性のため、ミライ小町の口調が一辺倒に陥りやすいというものです。この課題は、変換候補が複数ある場合は、その候補を確率的に選択することで解決しました。例えば「そうです」の変換候補が「そうなんです」と「そうなんですよ」とある場合、「そうなんです」を50%、「そうなんですよ」を20%の確率で選択するように変更ルールを定義します。確率の定義に際しては、セリフに関する(自然言語処理が容易になるように構築されたデータベースである)コーパスがある場合、コーパスにもとづいて算出します。コーパスがない場合は、確率をランダムに割り当てるか、特定の値を開発者が指定します。

役割語変換モジュールの活用法は、任意のセリフをミライ小町らしく変換するだけにとどまりません。どんなセリフもミライ小町らしい言い回しに変換できることから、任意のセリフからミライ小町らしいセリフに関する学習データにおける事例を生成できるのです。また、期待通りに変換できなかったセリフは新たなルールを定義するための事例となります。

まとめと今後の課題

自然言語処理によってミライ小町の魅力を際立たせる(冴えさせる)ためには、前述したように「特徴のある魅力的な個性」「個性に沿って首尾一貫した行動」「(ミライ小町らしいセリフによって)驚きと感動を与える」という要件を満たす必要がありました。これらの要件は、せんじ詰めれば「キャラクター性の抽出」と「キャラクター性の反映」に要約できます。そして、前者はAIセリフ監督、後者はミライ小町対話システムによって実現されました。さらに、役割語変換モジュールによって柔軟にミライ小町らしいセリフに変換できるようになりました。こうして、ミライ小町は、AIでありながら「血の通った」かのようなコミュニケーションができるようになったのです。

ところで、ミライ小町のようなエンタメ業界における自然言語処理を活用した研究開発には、さまざまな課題があります。以下では、そうした課題を3つ挙げます。

1つめの課題は、エンタメ業界における言語表現の独自性です。エンタメ業界には特有の言い回しやスラングが多数あるのは、周知の通りです。こうした独自な表現は、機能性を重視する標準的な自然言語処理研究だけで対処できないものです。それゆえ、エンタメ業界の自然言語処理研究には、独自なアプローチが求められます。

2つめの課題は、日本語の自然言語処理研究が発展途上なことです。日本語はその特殊性や学習データの不足により、英語や中国語に比べて自然言語処理研究が遅れています。日本語の自然言語処理研究を加速させるには、大規模な日本語の学習データをオープンソースで共有することで研究環境を整備する必要があります。

3つめは、キャラクターを際立たせる表現の幅を広げることです。この記事で解説した手法は、結局のところ、テキスト化されたセリフをキャラクターらしいものに変換処理するにとどまります。しかし、セリフに抑揚をつけたり、絵文字や顔文字を使って感情を表したりすることでより豊かにキャラクターの個性を表現できます。また、表情や仕草といった視覚的表現を加えれば、個性はより印象的になります。こうしたヒューマンライクな表現をAIキャラクターでも実現すれば、より「冴える」に違いありません。

以上のように要約したセッションの終了後には、質疑応答の時間が設けられました。質問のなかには、「AIセリフ監督はキャラクターの掘り下げに使えるのでないか」というものがありました。この質問に対して頼氏は、同ツールを使えばシナリオライターが気づいていないようなキャラクター特有の言い回しを発見できる、と答えました。また、「(ライトノベル『冴えない彼女の育てかた』に登場するライトノベル作家の)霞ヶ丘詩羽のようなAIは、いずれ実現するのか」という質問に対して、ライトノベル作家が執筆しなくても代わりに小説を生成できるようなAIの実現をまさに目指している、と頼氏は答えました。

バンダイナムコ研究所が発表した自然言語処理を活用した冴えるキャラクターの生成は、ゲームはもちろんのこと接客や各種カウンセリングといった非エンタメ業界における応用も期待できます。それゆえ、同研究所が行っているようなエンタメ業界における自然言語処理研究はさまざまな業界から注目されるべきでしょう。

Writer:吉本幸記

RELATED ARTICLE関連記事

TRPGのゲームマスターを演じるゲームAIの探求

2020.3.30ゲーム

TRPGのゲームマスターを演じるゲームAIの探求

無数の可能性から最適な行動を選ぶ。『Zork』プレイAIに見る言語的世界との新たな相互作用

2021.7.27ゲーム

無数の可能性から最適な行動を選ぶ。『Zork』プレイAIに見る言語的世界との新た...

ゲーム運営をディープラーニングでサポートするYOKOZUNA dataの全貌

2019.6.21ゲーム

ゲーム運営をディープラーニングでサポートするYOKOZUNA dataの全貌

RANKING注目の記事はこちら