モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
CG機械学習ディープラーニングCGへの扉安藤幸央GAN月刊エンタメAIニュース河合律子ニューラルネットワークOpenAINVIDIA強化学習三宅陽一郎音楽FacebookQAスクウェア・エニックス森川幸人モリカトロンAIラボインタビュー敵対的生成ネットワークDeepMindルールベースキャラクターAIシナリオGPT-3自然言語処理NFTGoogleグーグル自動生成映画デバッグCEDEC2019吉本幸記StyleGANプロシージャル人工知能学会遺伝的アルゴリズムメタAI深層学習マイクロソフトアートビヘイビア・ツリーCEDEC2021大内孝子CEDEC2020ゲームAISIGGRAPH不完全情報ゲームゲームプレイAIVRナビゲーションAI畳み込みニューラルネットワークDALL-ECLIPロボットAIと倫理ディープフェイクGDC 2021VFXメタバースGDC 2019マルチエージェントボードゲームNPCCNNデジタルツインモリカトロンUnityAIアートファッションHTN階層型タスクネットワークDALL-E2JSAI2020TensorFlowMicrosoftイベントレポートテストプレイ水野勇太小説アニメーションガイスターStyleGAN2懐ゲーから辿るゲームAI技術史toioソニーJSAI2021スポーツ研究シムピープル汎用人工知能GDC Summerバーチャルヒューマンブロックチェーン倫理BERTAdobeアストロノーカNVIDIA Omniverseeスポーツ対話型エージェントAmazoneSportsBLUE PROTOCOLシーマンUbisoft画像生成テキスト画像生成AlphaZeroTransformerGPT-2カメラ環世界中島秀之鴫原盛之DARPAドローンシムシティAI美空ひばり手塚治虫Electronic ArtsメタデータLEFT 4 DEADインタビュー通しプレイOpenAI Five本間翔太CMピクサープラチナエッグイーサリアム作曲ビッグデータ中嶋謙互Amadeus CodeMicrosoft AzureキャリアナラティブOmniverse ReplicatorレコメンドシステムNVIDIA DRIVE SimNVIDIA Isaac Simサイバーエージェント音声認識ロボティクスPyTorchDQN眞鍋和子バンダイナムコスタジオaibo合成音声Minecraft齊藤陽介マインクラフトお知らせチャットボットアバターサルでもわかる人工知能VAEOmniverseUbisoft La Forge自動運転車ワークショップGenvid Technologiesメタ知識表現ウォッチドッグス レギオンIGDAどうぶつしょうぎEpic Gamesジェイ・コウガミ音楽ストリーミング徳井直生マシンラーニングクラウド対話エンジン斎藤由多加リトル・コンピュータ・ピープルコンピューティショナル・フォトグラフィーゴブレット・ゴブラーズ絵画AIりんなシミュレーション完全情報ゲーム坂本洋典釜屋憲彦ウェイポイントパス検索対談藤澤仁生物学GTC 2022画像認識GTC2022StyleCLIPDeNA長谷洋平masumi toyota宮路洋一OpenSeaGDC 2022教育TextWorldSIGGRAPH ASIAGTC2021CycleGANNetHackフェイクニュースエージェントAIボイスアクターNVIDIA CanvasImagenGPUALifeZork人工生命オルタナティヴ・マシンサウンドスケープMCS-AI動的連携モデルASBSマンガモーションキャプチャーぱいどんTEZUKA2020ナビゲーションメッシュ松井俊浩バンダイナムコ研究所スパーシャルAIELYZAELYZA DIGEST3D音声合成マーケティングApex LegendsELIZANinjaコンピュータRPGアップルタウン物語KELDICメロディ言語ゲームTENTUPLAYMARVEL Future FightAstroタイムラプスEgo4Dバスキア日経イノベーション・ラボ敵対的強化学習階層型強化学習GOSU Data LabWANNGOSU Voice Assistant竹内将SenpAI.GGMobalytics馬淵浩希Cygames岡島学AWS Sagemaker映像セリア・ホデント形態素解析UXAWS Lambda誤字検出認知科学ゲームデザインSentencePieceLUMINOUS ENGINELuminous Productionsパターン・ランゲージ竹村也哉ちょまどボエダ・ゴティエGOAPAdobe MAX 2021模倣学習Omniverse AvatarFPSNVIDIA Rivaマルコフ決定過程NVIDIA MegatronNVIDIA Merlinスタンフォード大学NVIDIA Metropolisパラメータ設計テニスバランス調整協調フィルタリング人狼知能テキサス大学軍事AlphaDogfight TrialsAI Messenger VoicebotエージェントシミュレーションOpenAI CodexStarCraft IIHyperStyleFuture of Life InstituteRendering with StyleIntelDisneyLAIKADisneyリサーチRotomationGauGANGauGAN2ドラゴンクエストライバルズ画像言語表現モデル不確定ゲームSIGGRAPH ASIA 2021Dota 2モンテカルロ木探索ディズニーリサーチMitsuba2ソーシャルゲームEmbeddingワイツマン科学研究所GTC2020CG衣装NVIDIA MAXINEVRファッション淡路滋ビデオ会議ArtflowグリムノーツEponymゴティエ・ボエダ音声クローニングGautier Boeda階層的クラスタリングGopherJuliusSIE鑑定TPRGOxia Palusバーチャル・ヒューマン・エージェントtoio SDK for UnityArt Recognitionクーガー田中章愛Meta石井敦銭起揚NHC 2021茂谷保伯池田利夫GDMC新刊案内マーベル・シネマティック・ユニバース成沢理恵MITメディアラボMCU著作権アベンジャーズマジック・リープDigital DomainMagic Leap OneMagendaMasquerade2.0ノンファンジブルトークンDDSPフェイシャルキャプチャーサッカーモリカトロン開発者インタビュー里井大輝Kaggle宮本茂則バスケットボール山田暉Assassin’s Creed OriginsAI会話ジェネレーターSea of ThievesGEMS COMPANYmonoAI technologyLSTMモリカトロンAIソリューション初音ミクOculusコード生成AI転移学習テストAlphaCodeBaldur's Gate 3CodeforcesCandy Crush Saga自己増強型AISIGGRAPH ASIA 2020COLMAPADOPデバッギングBigGANGANverse3DMaterialGANリップシンキングRNNグランツーリスモSPORTReBeLグランツーリスモ・ソフィーGTソフィーVolvoFIAグランツーリスモチャンピオンシップRival PrakDGX A100VTuberユービーアイソフトWebcam VTuber星新一賞北尾まどかHALO市場分析将棋メタルギアソリッドVフォートナイトFSMRobloxナップサック問題Live Nation汎用言語モデルWeb3.0AIOpsSpotifyMITスマートコントラクトReplica StudioAWSamuseChitrakarQosmo巡回セールスマン問題ジョルダン曲線メディア5GMuZero政治クラウドゲーミングRival Peakがんばれ森川君2号和田洋一リアリティ番組Stadiaジョンソン裕子MILEsNightCafeインタラクティブ・ストリーミングLuis Ruizインタラクティブ・メディアポケモンCodexシーマン人工知能研究所東京工業大学Ludo博報堂ラップSIGGRAPH 2019ArtEmisZ世代AIラッパーシステムARrinnaGROVERプラスリンクス ~キミと繋がる想い~FAIRSTCチート検出Style Transfer ConversationオンラインカジノRCPアップルRealFlowRinna Character PlatformiPhoneデジタルヒューマンDeep FluidsSoul MachinesMeInGameAmeliaAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクターBCIGateboxLearning from VideoANIMAK予期知能逢妻ヒカリセコムユクスキュルバーチャル警備システムカント損保ジャパン哲学上原利之ドラゴンクエストエージェントアーキテクチャアッパーグラウンドPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者Siemensアルスエレクトロニカ2019品質保証StyleRigAutodesk逆転オセロニアBentley Systemsワールドシミュレーター奥村エルネスト純いただきストリートH100齋藤精一大森田不可止COBOL高橋智隆DGX H100ロボユニザナックDGX SuperPOD泉幸典仁井谷正充クラウドコンピューティングロボコレ2019Instant NeRFartonomousbitGANsぎゅわんぶらあ自己中心派Azure Machine Learning意思決定モデル脱出ゲームHybrid Reward Architectureコミュニティ管理ウロチョロスSuper PhoenixSNS理化学研究所Project Malmoオンラインゲーム気候変動Project PaidiaEarth-2Project Lookoutマックス・プランク気象研究所Watch Forビョルン・スティーブンスBing気象モデルLEFT ALIVE気象シミュレーション長谷川誠ジミ・ヘンドリックス環境問題Baby Xカート・コバーンエコロジーロバート・ダウニー・Jr.エイミー・ワインハウスSDGsMagentaYouTubeダフト・パンクメモリスタSFGlenn MarshallELYZA PencilThe Age of A.I.Story2Hallucination音声変換レコメンデーションJukebox松尾豊Veap JapanEAPテンセントSIFT福井千春DCGAN医療MOBADANNCEメンタルケア人事ハーバード大学Edgar Handy研修デューク大学Netflixデータマイニングmynet.aiローグライクゲーム東京大学東京理科大学人工音声NeurIPS 2021産業技術総合研究所はこだて未来大学リザバーコンピューティングプレイ動画ヒップホップキャラクターモーションソニーマーケティングサイレント映画もじぱNBA環境音暗号通貨現代アートFUZZLEAlteration粒子群最適化法RPG進化差分法オープンワールド群知能下川大樹AIFAウィル・ライト高津芳希P2E大石真史SIGGRAPH 2022BEiTStyleGAN-NADAレベルデザインDETRゲームエンジンSporeUnreal Engineデノイズ南カリフォルニア大学Unity for Industry画像処理SentropyGLIDECPUDiscordAvatarCLIPSynthetic DataCALMバイアスプログラミングサム・アルトマンソースコード生成LaMDAGMAIシチズンデベロッパーSonanticTRPGGitHubCohereウィザードリィMCN-AI連携モデルマジック:ザ・ギャザリングAI DungeonUrzas.ai介護西川善司並木幸介Kikiサムライスピリッツ森寅嘉Zoetic AIゼビウスSIGGRAPH 2021ペットストリートファイター半導体Digital Dream LabsTopaz Video Enhance AICozmo栗原聡DLSSタカラトミー山野辺一記NetEaseLOVOT大里飛鳥DynamixyzMOFLINRomiU-Netミクシィ13フェイズ構造アドベンチャーゲームユニロボットADVユニボXLandGatoAGIテキスト生成手塚眞DEATH STRANDINGマルチモーダル不気味の谷Eric Johnson汎用強化学習AIOculus Questコジマプロダクション生体情報デシマエンジンインディーゲーム写真高橋ミレイ照明Maxim PeterJoshua Romoffハイパースケープ山崎陽斗深層強化学習立木創太ミライ小町テスラGameGANパックマンTesla BotTesla AI Dayソサエティ5.0SIGGRAPH 2020バズグラフニュースタンテキ東芝DIB-R倉田宜典韻律射影広告韻律転移

【CEDEC2021】ディープラーニングとルールベースによるヒロインの「冴える」セリフ生成

2021.9.22ゲーム

【CEDEC2021】ディープラーニングとルールベースによるヒロインの「冴える」セリフ生成

8月24日から26日にかけて、ゲームを中心とするコンピュータエンタメに関する技術的カンファレンス「CEDEC2021」がオンラインで開催されました。同カンファレンスで株式会社バンダイナムコ研究所所属の頼 展韜氏と石原健司氏は、「冴えるヒロインの作りかた ~自然言語処理AIによるキャラクター性の抽出と反映への事例紹介~」というセッションを行いました。以下では、このセッションを要約することで自然言語処理を活用してキャラクター性が際立つセリフを生成する試みを解説します。

自然言語処理を活用したキャラクター生成の要件

近年めざましく進歩しているAI研究分野には、言語的タスクを実行したり文章を生成したりする自然言語処理が挙げられます。この分野の研究成果は、Google翻訳、SNS分析、カスタマーサービスにおけるチャットボットのようにさまざまに実用化されています。

自然言語処理は、2010年代において研究パラダイムが大きく変わりました。特定の条件を満たす文章に対して一定の処理を実行するルールベースの研究から、学習データから特徴を抽出したうえで言語的タスクを実行するディープラーニングのそれが主流となったのです。もっとも、ルールベースにはディープラーニングが苦手とする処理を実行できる利点があることから、現在でも活用されています。

バンダイナムコ研究所では、自然言語処理を活用したオリジナルキャラクターを開発しています。それが「ミライ小町」です。架空のアイドルとして開発された同キャラは、企業サイトにおけるFAQチャットボットのように、与えられた言語的タスクを正確かつ効率的に実行することを使命とはしていません。同キャラに求められているのは、キャラクターに固有な言い回しであったり、時には間違った受け答えをしてしまったりするような個性です。

ミライ小町のようにキャラクターの魅力を際立たせる(冴えさせる)ことが重視される場合、同キャラの自然言語処理能力には、「特徴のある魅力的な個性」「個性に沿って首尾一貫した行動」「驚きと感動を与える」ことが必要となります。

ディープラーニングによる魅力の生成

ミライ小町の魅力となるような自然言語処理能力を開発するうえで有効なのが、ディープラーニングです。一般にディープラーニングは、学習データを与えるとそのデータに内在する特徴を学習します。この仕組みをふまえると、同キャラが話しそうなセリフを集めた学習データを用意してディープラーニングモデルを訓練すれば、同キャラに固有な自然言語処理を実行するAIモデルが開発できます。

ミライ小町の個性を強調するようにAIモデルを訓練するには、2つほど注意点があります。1つめは、セリフを収集する際にマンガやSNSといったメディアごとの特徴に合わせた前処理(学習データ作成時に施す加工処理)が必要になります。例えば、マンガにおいてミライ小町がほかのキャラクターのセリフを引用した場合にはそのセリフを除外したり、Twitterで多用される絵文字は感情表現として処理したりします。

2つめは、ミライ小町のセリフの特徴がより際立つように学習することです。具体的には特徴を際立たせる学習技法として、比較学習を実行します。この技法は、同キャラのセリフをほかのキャラクターのそれと対比させながら学習するというものです。セリフの対比は、セリフ特徴グラフとして可視化されます。

以上のようにして開発した「ミライ小町ならでは」の自然言語処理を実行できる言語モデルを活用したツールが、「AIセリフ監督」です。このツールは、任意のセリフを入力するとそのセリフがもつ「ミライ小町らしさ」を数値化して返してくれる、というものです。以下に引用した画像は、同ツールのUIを表しています。①はセリフの話者を表すイラスト、②は入力したセリフが話者の話しそうなものかを数値化した「らしさ度」、③は入力したセリフに対する指摘事項件数、④が入力したセリフ、⑤が具体的な指摘事項とその修正方法、⑥が「らしさ度」の判定に寄与した単語を上位からグラフ表示したもの、となります。

もっとも同ツールには、ひとつ問題点がありました。「らしさ度」が数値化されて出力されますが、同ツールが判定した結果が唯一絶対の答えではなく、セリフを執筆するシナリオライターの主観によって「らしさ度」の解釈が変わってしまうのです。

主観的に解釈されてしまう「らしさ度」を補完する機能として追加されたのが、「類似セリフ検索」です。この機能は、入力したセリフと類似したセリフをキャラクターの過去のセリフにもとづいて生成するものです。セリフの生成に際しては類義語も考慮されており、セリフの出典も表示されるようにしました。同機能を使えば、シナリオライターはキャラクターのセリフの「らしさ度」を確認しながら、類似したセリフからもっとも「キャラクターならでは」の表現を選べます。

バンダイナムコ研究所はAIセリフ監督に加えて、ミライ小町らしいセリフを生成するAIモデルも開発しました。それが「ミライ小町対話システム」です。同モデルの開発にあたっては、2段階の学習を実施しました。第1段階は、常識的な対話ができるようにする学習です。第2段階は、第1段階の学習結果をベースにして個性のある対話ができるようにする学習です。この2段階の学習は、学校などで共通の知識を習得したうえで各個人独自の体験や世界観によって個性的な言語表現が可能となる人間の言語能力を模倣していると言えます。

以下に引用する画像は、ミライ小町対話システムのアーキテクチャを表しています。常識的なセリフを生成するモジュールが「汎用会話生成モデル」です。同モデルの学習データは、インターネットから収集されています。このモジュールとミライ小町セリフ集を統合したものが、「ミライ小町対話モデル」です。同モデルが、「ミライ小町ならでは」なセリフを生成します。また、個性が不要な定型的な対話に対しては「定型文返答モジュール」がセリフを生成します。生成されたセリフは「不適切発言フィルタ」で処理されて問題が除去されたうえで、最終的なセリフが出力されます。

現在、ミライ小町対話システムはバンダイナムコグループ内のチャットボットとして活用されています。同チャットボットは、世間話や同グループIPに関する会話に対応しています。

ディープラーニングを補完するルールベースモデル

ディープラーニングを活用したAIセリフ監督やミライ小町対話システムは、ミライ小町のセリフに関する特徴を抽出して自然言語処理を実行する点において、非常に強力なツールです。しかし、これらのツールには追加的な変更が困難という欠点があります。例えば、「もっと清楚な感じで話してほしい」というユーザからの要望があった場合、清楚なセリフを集めた学習データを使って訓練すれば、より清楚なミライ小町になるわけではありません。というのも、ディープラーニングモデルの学習過程は人間が容易に予測できない「ブラックボックス」となっているからです。

バンダイナムコ研究所は、ディープラーニングモデルとルールベースモデルを統合したハイブリッドモデルを開発することで以上の欠点を克服しました。ルールベースモデルを使えば、追加的な変更を容易に実装できるようになるのです。

新たに実装されたルールベースモデルとは、「ルール」という言葉がふくまれていることからわかるように、一定の言語的なルールにもとづいて自然言語処理を実行するモデルを意味します。ミライ小町の開発では、役割語に着目したルールを設けました。役割語とは、特定の人物像を連想できるような言葉遣いを指します。例えば、一人称が「拙者」であれば、多くの人はその話者を武士だと想像します。

ミライ小町の開発にあたっては、前述のミライ小町対話システムが生成したセリフをよりミライ小町らしいそれに変換するためにルールベースモデルを使いました。このモデルは「役割語変換モジュール」と呼ばれます。同モジュールがルールを適用するにあたっては、生成されたセリフを言語機能的に小さい単位に分割する「形態素解析」を実行してセリフの構造を解明した後に、その構造が正規表現で記述された特定の条件を満たしている場合に役割語に変換するようにしました。ルールを正規表現で記述するのは、表記の一致を変換条件として採用するより過剰な変換を抑制できるからです。

役割語変換モジュールを使えば、コンテンツごとにミライ小町の言葉遣いを変えるといった柔軟な運用が可能になります。しかし、同モジュールには2つほどの課題がありました。1つめは、ルールの作成コストが高いことです。変換したい言葉遣いの特定と正規表現による変換ルールの記述には、多くの工数が必要となります。この課題は、ルール追加作業フローを可能限り自動化することで解決しました。具体的には、変換したい言葉遣いの特定はセリフ群から出現頻度の高い単語の並びを自動抽出し、ルールの記述は変換前のセリフと変換後のそれから自動生成するようにしました。

2つめの課題は、ルールにしたがって変換するという処理の特性のため、ミライ小町の口調が一辺倒に陥りやすいというものです。この課題は、変換候補が複数ある場合は、その候補を確率的に選択することで解決しました。例えば「そうです」の変換候補が「そうなんです」と「そうなんですよ」とある場合、「そうなんです」を50%、「そうなんですよ」を20%の確率で選択するように変更ルールを定義します。確率の定義に際しては、セリフに関する(自然言語処理が容易になるように構築されたデータベースである)コーパスがある場合、コーパスにもとづいて算出します。コーパスがない場合は、確率をランダムに割り当てるか、特定の値を開発者が指定します。

役割語変換モジュールの活用法は、任意のセリフをミライ小町らしく変換するだけにとどまりません。どんなセリフもミライ小町らしい言い回しに変換できることから、任意のセリフからミライ小町らしいセリフに関する学習データにおける事例を生成できるのです。また、期待通りに変換できなかったセリフは新たなルールを定義するための事例となります。

まとめと今後の課題

自然言語処理によってミライ小町の魅力を際立たせる(冴えさせる)ためには、前述したように「特徴のある魅力的な個性」「個性に沿って首尾一貫した行動」「(ミライ小町らしいセリフによって)驚きと感動を与える」という要件を満たす必要がありました。これらの要件は、せんじ詰めれば「キャラクター性の抽出」と「キャラクター性の反映」に要約できます。そして、前者はAIセリフ監督、後者はミライ小町対話システムによって実現されました。さらに、役割語変換モジュールによって柔軟にミライ小町らしいセリフに変換できるようになりました。こうして、ミライ小町は、AIでありながら「血の通った」かのようなコミュニケーションができるようになったのです。

ところで、ミライ小町のようなエンタメ業界における自然言語処理を活用した研究開発には、さまざまな課題があります。以下では、そうした課題を3つ挙げます。

1つめの課題は、エンタメ業界における言語表現の独自性です。エンタメ業界には特有の言い回しやスラングが多数あるのは、周知の通りです。こうした独自な表現は、機能性を重視する標準的な自然言語処理研究だけで対処できないものです。それゆえ、エンタメ業界の自然言語処理研究には、独自なアプローチが求められます。

2つめの課題は、日本語の自然言語処理研究が発展途上なことです。日本語はその特殊性や学習データの不足により、英語や中国語に比べて自然言語処理研究が遅れています。日本語の自然言語処理研究を加速させるには、大規模な日本語の学習データをオープンソースで共有することで研究環境を整備する必要があります。

3つめは、キャラクターを際立たせる表現の幅を広げることです。この記事で解説した手法は、結局のところ、テキスト化されたセリフをキャラクターらしいものに変換処理するにとどまります。しかし、セリフに抑揚をつけたり、絵文字や顔文字を使って感情を表したりすることでより豊かにキャラクターの個性を表現できます。また、表情や仕草といった視覚的表現を加えれば、個性はより印象的になります。こうしたヒューマンライクな表現をAIキャラクターでも実現すれば、より「冴える」に違いありません。

以上のように要約したセッションの終了後には、質疑応答の時間が設けられました。質問のなかには、「AIセリフ監督はキャラクターの掘り下げに使えるのでないか」というものがありました。この質問に対して頼氏は、同ツールを使えばシナリオライターが気づいていないようなキャラクター特有の言い回しを発見できる、と答えました。また、「(ライトノベル『冴えない彼女の育てかた』に登場するライトノベル作家の)霞ヶ丘詩羽のようなAIは、いずれ実現するのか」という質問に対して、ライトノベル作家が執筆しなくても代わりに小説を生成できるようなAIの実現をまさに目指している、と頼氏は答えました。

バンダイナムコ研究所が発表した自然言語処理を活用した冴えるキャラクターの生成は、ゲームはもちろんのこと接客や各種カウンセリングといった非エンタメ業界における応用も期待できます。それゆえ、同研究所が行っているようなエンタメ業界における自然言語処理研究はさまざまな業界から注目されるべきでしょう。

Writer:吉本幸記

RELATED ARTICLE関連記事

【GDC2021】深層強化学習はNPCをナビゲーションメッシュという束縛から解放できるか

2021.9.15ゲーム

【GDC2021】深層強化学習はNPCをナビゲーションメッシュという束縛から解放...

時代を先取りし過ぎた『がんばれ森川君2号』『アストロノーカ』のゲームAIはどのようにして開発されたのか?:懐ゲーから辿るゲームAI技術史vol.4

2022.3.22ゲーム

時代を先取りし過ぎた『がんばれ森川君2号』『アストロノーカ』のゲームAIはどのよ...

2D画像だけで大丈夫。3D画像や3Dオブジェクトを自動生成するAIまとめ

2020.7.27ゲーム

2D画像だけで大丈夫。3D画像や3Dオブジェクトを自動生成するAIまとめ

RANKING注目の記事はこちら