モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
CG機械学習ディープラーニングCGへの扉安藤幸央GAN月刊エンタメAIニュース河合律子ニューラルネットワークOpenAI音楽三宅陽一郎NVIDIA強化学習Facebook人工知能学会QAスクウェア・エニックス森川幸人モリカトロンAIラボインタビュー敵対的生成ネットワークDeepMindキャラクターAIルールベースシナリオGoogle吉本幸記GPT-3映画自然言語処理NFTグーグル自動生成デバッグメタAICEDEC2019アートStyleGANプロシージャル大内孝子遺伝的アルゴリズム深層学習マイクロソフトビヘイビア・ツリーCEDEC2021CEDEC2020ゲームAISIGGRAPH不完全情報ゲームゲームプレイAIVRナビゲーションAI畳み込みニューラルネットワークDALL-ECLIPロボットAIと倫理ディープフェイクGDC 2021VFXメタバースGDC 2019マルチエージェントボードゲームNPCCNNデジタルツインモリカトロンUnityAIアート小説ファッションHTN階層型タスクネットワークDALL-E2JSAI2020JSAI2022TensorFlowBERTAdobeMicrosoftイベントレポートテストプレイ水野勇太アニメーションガイスターStyleGAN2懐ゲーから辿るゲームAI技術史toioソニーJSAI2021スポーツ研究シムピープル汎用人工知能GDC Summerバーチャルヒューマンブロックチェーン倫理アストロノーカNVIDIA Omniverseeスポーツ対話型エージェントAmazoneSportsBLUE PROTOCOLシーマンUbisoft画像生成テキスト画像生成AlphaZeroTransformerGPT-2カメラ環世界中島秀之鴫原盛之DARPAドローンシムシティMCS-AI動的連携モデルマンガTEZUKA2020AI美空ひばり手塚治虫スパーシャルAIElectronic ArtsメタデータLEFT 4 DEADインタビュー通しプレイOpenAI Five本間翔太CMピクサープラチナエッグイーサリアム作曲ボエダ・ゴティエビッグデータ中嶋謙互Amadeus CodeMicrosoft AzureキャリアナラティブOmniverse ReplicatorレコメンドシステムNVIDIA DRIVE SimNVIDIA Isaac Sim軍事サイバーエージェント音声認識ロボティクスPyTorchDQN眞鍋和子バンダイナムコスタジオaibo合成音声MetaMinecraft齊藤陽介マインクラフトお知らせ著作権チャットボットアバターサルでもわかる人工知能VAEOmniverseUbisoft La Forge自動運転車ワークショップGenvid Technologiesメタ知識表現ウォッチドッグス レギオンIGDAどうぶつしょうぎEpic Gamesジェイ・コウガミ音楽ストリーミングMIT徳井直生マシンラーニングクラウド対話エンジン斎藤由多加リトル・コンピュータ・ピープルコンピューティショナル・フォトグラフィーゴブレット・ゴブラーズ絵画AIりんなシミュレーション完全情報ゲーム坂本洋典釜屋憲彦ウェイポイントパス検索哲学対談藤澤仁生物学GTC 2022画像認識GTC2022StyleCLIPDeNA長谷洋平masumi toyota宮路洋一OpenSeaGDC 2022理化学研究所教育TextWorldSIGGRAPH ASIAMagentaGTC2021CycleGANNetHackはこだて未来大学フェイクニュースエージェントRPGAIボイスアクターNVIDIA CanvasImagenGPUALifeZork人工生命オルタナティヴ・マシンサウンドスケープASBS栗原聡モーションキャプチャーぱいどんナビゲーションメッシュ松井俊浩バンダイナムコ研究所ELYZAELYZA DIGEST3D音声合成マーケティング西成活裕Apex LegendsELIZA群衆マネジメントNinjaコンピュータRPGライブビジネスアップルタウン物語新型コロナKELDIC周済涛メロディ言語清田陽司ゲームTENTUPLAYサイバネティックスMARVEL Future FightAstro人工知能史タイムラプスEgo4DAI哲学マップバスキア星新一日経イノベーション・ラボ敵対的強化学習階層型強化学習GOSU Data LabWANNGOSU Voice Assistant竹内将SenpAI.GGMobalytics馬淵浩希Cygames岡島学AWS Sagemaker映像セリア・ホデント形態素解析UXAWS Lambda誤字検出認知科学ゲームデザインSentencePieceLUMINOUS ENGINELuminous Productionsパターン・ランゲージ竹村也哉ちょまどGOAPAdobe MAX 2021模倣学習Omniverse AvatarFPSNVIDIA Rivaマルコフ決定過程NVIDIA MegatronNVIDIA Merlinスタンフォード大学NVIDIA Metropolisパラメータ設計テニスバランス調整協調フィルタリング人狼知能テキサス大学AlphaDogfight TrialsAI Messenger VoicebotエージェントシミュレーションOpenAI CodexStarCraft IIHyperStyleFuture of Life InstituteRendering with StyleIntelDisneyLAIKADisneyリサーチRotomationGauGANGauGAN2ドラゴンクエストライバルズ画像言語表現モデル不確定ゲームSIGGRAPH ASIA 2021Dota 2モンテカルロ木探索ディズニーリサーチMitsuba2ソーシャルゲームEmbeddingワイツマン科学研究所GTC2020CG衣装NVIDIA MAXINEVRファッション淡路滋ビデオ会議ArtflowグリムノーツEponymゴティエ・ボエダ音声クローニングGautier Boeda階層的クラスタリングGopherJuliusSIE鑑定TPRGOxia Palusバーチャル・ヒューマン・エージェントtoio SDK for UnityArt Recognitionクーガー田中章愛石井敦銭起揚NHC 2021茂谷保伯池田利夫GDMC新刊案内マーベル・シネマティック・ユニバース成沢理恵MITメディアラボMCUアベンジャーズマジック・リープDigital DomainMagic Leap OneMagendaMasquerade2.0ノンファンジブルトークンDDSPフェイシャルキャプチャーサッカーモリカトロン開発者インタビュー里井大輝Kaggle宮本茂則バスケットボール山田暉Assassin’s Creed OriginsAI会話ジェネレーターSea of ThievesGEMS COMPANYmonoAI technologyLSTMモリカトロンAIソリューション初音ミクOculusコード生成AI転移学習テストAlphaCodeBaldur's Gate 3CodeforcesCandy Crush Saga自己増強型AISIGGRAPH ASIA 2020COLMAPADOPデバッギングBigGANGANverse3DMaterialGANリップシンキングRNNグランツーリスモSPORTReBeLグランツーリスモ・ソフィーGTソフィーVolvoFIAグランツーリスモチャンピオンシップRival PrakDGX A100VTuberユービーアイソフトWebcam VTuber星新一賞北尾まどかHALO市場分析将棋メタルギアソリッドVフォートナイトFSMRobloxナップサック問題Live Nation汎用言語モデルWeb3.0AIOpsSpotifyスマートコントラクトReplica StudioAWSamuseChitrakarQosmo巡回セールスマン問題ジョルダン曲線メディア5GMuZero政治クラウドゲーミングRival Peakがんばれ森川君2号和田洋一リアリティ番組Stadiaジョンソン裕子MILEsNightCafeインタラクティブ・ストリーミングLuis Ruizインタラクティブ・メディアポケモンCodexシーマン人工知能研究所東京工業大学Ludo博報堂ラップSIGGRAPH 2019ArtEmisZ世代AIラッパーシステムARrinnaGROVERプラスリンクス ~キミと繋がる想い~FAIRSTCチート検出Style Transfer ConversationオンラインカジノRCPアップルRealFlowRinna Character PlatformiPhoneデジタルヒューマンDeep FluidsSoul MachinesMeInGameAmeliaAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクターBCIGateboxLearning from VideoANIMAK予期知能逢妻ヒカリセコムユクスキュルバーチャル警備システムカント損保ジャパン上原利之ドラゴンクエストエージェントアーキテクチャアッパーグラウンドPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者Siemensアルスエレクトロニカ2019品質保証StyleRigAutodesk逆転オセロニアBentley Systemsワールドシミュレーター奥村エルネスト純いただきストリートH100齋藤精一大森田不可止COBOL高橋智隆DGX H100ロボユニザナックDGX SuperPOD泉幸典仁井谷正充クラウドコンピューティングロボコレ2019Instant NeRFartonomousbitGANsぎゅわんぶらあ自己中心派Azure Machine Learning意思決定モデル脱出ゲームHybrid Reward Architectureコミュニティ管理ウロチョロスSuper PhoenixSNSProject Malmoオンラインゲーム気候変動Project PaidiaEarth-2Project Lookoutマックス・プランク気象研究所Watch Forビョルン・スティーブンスBing気象モデルLEFT ALIVE気象シミュレーション長谷川誠ジミ・ヘンドリックス環境問題Baby Xカート・コバーンエコロジーロバート・ダウニー・Jr.エイミー・ワインハウスSDGsYouTubeダフト・パンクメモリスタSFGlenn MarshallELYZA PencilThe Age of A.I.Story2Hallucination音声変換レコメンデーションJukebox松尾豊Veap JapanEAPテンセントSIFT福井千春DCGAN医療MOBADANNCEメンタルケア人事ハーバード大学Edgar Handy研修デューク大学Netflixデータマイニングmynet.aiローグライクゲーム東京大学東京理科大学人工音声NeurIPS 2021産業技術総合研究所リザバーコンピューティングプレイ動画ヒップホップキャラクターモーションソニーマーケティングサイレント映画もじぱNBA環境音暗号通貨現代アートFUZZLEAlteration粒子群最適化法進化差分法オープンワールド群知能下川大樹AIFAウィル・ライト高津芳希P2E大石真史SIGGRAPH 2022BEiTStyleGAN-NADAレベルデザインDETRゲームエンジンSporeUnreal Engineデノイズ南カリフォルニア大学Unity for Industry画像処理SentropyGLIDECPUDiscordAvatarCLIPSynthetic DataCALMバイアスプログラミングサム・アルトマンソースコード生成LaMDAGMAIシチズンデベロッパーSonanticTRPGGitHubCohereウィザードリィMCN-AI連携モデルマジック:ザ・ギャザリングAI DungeonUrzas.ai介護西川善司並木幸介Kikiサムライスピリッツ森寅嘉Zoetic AIゼビウスSIGGRAPH 2021ペットストリートファイター半導体Digital Dream LabsTopaz Video Enhance AICozmoDLSSタカラトミー山野辺一記NetEaseLOVOT大里飛鳥DynamixyzMOFLINRomiU-Netミクシィ13フェイズ構造アドベンチャーゲームユニロボットADVユニボXLandGatoAGIテキスト生成手塚眞DEATH STRANDINGマルチモーダル不気味の谷Eric Johnson汎用強化学習AIデザインOculus Questコジマプロダクションロンドン芸術大学生体情報デシマエンジンGoogle BrainインディーゲームSound Control写真高橋ミレイSYNTH SUPER照明Maxim PeterKarl SimsJoshua RomoffArtnomeハイパースケープICONATE山崎陽斗深層強化学習立木創太松原仁浜中雅俊ミライ小町武田英明テスラ福井健策GameGANフルコトパックマンTesla BotNEDOTesla AI DayWikipediaソサエティ5.0SphereSIGGRAPH 2020バズグラフXaver 1000ニュースタンテキ養蜂東芝BeewiseDIB-R倉田宜典フィンテック投資韻律射影MILIZE広告韻律転移三菱UFJ信託銀行

【JSAI2022】RPGにおける物語自動生成とさまざまな物語の構造解明

2022.7.28ゲーム

【JSAI2022】RPGにおける物語自動生成とさまざまな物語の構造解明

2022年6月14日から17日、2022年度人工知能学会全国大会がハイブリッド開催されました。同大会の14日には、RPGの演出を自動生成する研究と物語構造分析に関する研究が発表されました。本稿では、これらの研究を物語自動生成研究に関する基礎と応用と位置づけてまとめていきます。

シナリオ・音楽・背景画像を自動生成して統合

公立はこだて未来大学の奥山凌伍氏は、「ゲームシナリオ・音響効果・背景画像の作成補助を行う自動生成ゲームシステムの構築」と題してRPGの演出を自動生成する研究を発表しました。同氏によると、この研究のねらいは人間のクリエイティブな活動を支援するAIの開発であり、RPGをテーマに選んだのはこのゲームジャンルにはテキストで表現できるゲームシナリオに加えて、音楽と画像による複合的な演出がなされるという特徴があるからです。こうしたRPGの演出を自動生成するとは、シナリオ、音楽、背景画像をそれぞれ自動生成するAIを開発して統合することを意味します。

シナリオプロットを自動生成するにあたっては、テーマを「精神的問題とその解決」と設定したうえで、テーマに沿った先行作品を分析してシーンごとに物語における機能を抽出しました。その結果、3種類の問題と3種類の解決方法が抽出されました。こうした機能を3~7個組み合わせることで、プロットを自動生成しました。

戦闘開始時のセリフの自動生成も試みました。この試みのために、RPGの戦闘時におけるセリフ事例を収集して機能分析を行い、11種類の意図と4種類の感情を抽出しました。これらの機能の組み合わせのなかから、カイ二乗検定を行って優位に多い組み合わせを特定しました。こうした出現確率の高いセリフのテンプレートを作成した後、そのテンプレートを適宜出力することでセリフの自動生成を実現しました。

楽曲の自動生成に関しては、ゲームシーンに相応しい楽曲を選択するためにそのシーンの雰囲気をHevnerが提唱した音楽が喚起する印象語群にもとづいた8次元情報に変換しました。この情報を入力値として、BPM、Spectral centroid、Chroma Vectorから構成される6次元情報とZero crossing rateから算出される11次元情報を出力するふたつのニューラルネットワークを構築しました。このニューラルネットワークが出力する音響特徴量と近似している楽曲が、ゲームシーンにふさわしい楽曲となるのです。

さらに選択した楽曲をループ再生するために、楽曲をその特徴に応じて5種類のメロディパートに分けるクラスタリングを実施しました。そして、クラスタリングされたブロックを基準としてループ音源を生成しました。

背景画像の自動生成については、まずオブジェクト配置案に関するデータセットを作成しました。そして、オブジェクトを配置する部屋のサイズとオブジェクト数に関する標準偏差を算出したうえで、極端な値などのために不適切なデータをそのデータセットから除外しました。こうして用意された適正なデータセットを使って、オブジェクト配置に関するパラメータをテキストデータとして出力するようにしました。このテキストデータを入力値として、3DCGのオブジェクトを配置した背景画像を生成しました。極端な値のパラメータはあらかじめ除外されているので、不自然な背景画像は生成されません。

発表の最後に奥山氏は、以上のようにして自動生成したゲームシナリオ、音楽、背景画像を統合したゲームデモを披露しました。そして、今後の研究方針として自動生成する創造的要素を増やしていくこととRPG以外のゲームジャンルにおける自動生成を目指すことを挙げました。

星新一作品における伏線とオチの類型とは?

公立はこだて未来大学の岩崎潤哉氏は、「星新一のショートショートにおける伏線とオチの構造分析」と題して星新一作品の物語構造を統計手法によって明らかにする研究を発表しました。

岩崎氏によると、伏線とオチをふくんだ物語の自動生成に関する成功事例はまだありません。というのも、伏線とオチが成立するためには伏線とその機知に富む回収という高度にコンテクストに依存した物語構造が不可欠となるのですが、そうした物語構造に関する分析が進んでいないからです。こうしたなか同氏は伏線とオチの構造を解明するために、星新一の諸作品を研究素材に選びました。星新一作品を選んだ理由は、短編が多いうえに意外な展開をふくむものが多いからでした。

岩崎氏の研究は星新一の作品から薬を題材にした77編を選定したうえで、それらに対して伏線とオチに関するタグを付けていくことから着手しました(タグ付けは重複が許容されます)。こうしたタグ付けを通して、類似する伏線とオチをもつ作品ごとにカテゴリ分けしました。

以上の最初のカテゴリ分けでは、伏線を65種類、オチを28種類に分類しました。こうした分類は「初期カテゴリ」と命名されたのですが、それらは以下の画像のような内容でした。

ついで伏線とオチを統計分析しやすいように、初期カテゴリをその内容に応じて統合しました。統合した結果、伏線とオチはそれぞれ5つのカテゴリにまとめられ、それらは「大カテゴリ」と呼ぶことにしました。大カテゴリの内容は、以下の画像のようになりました。

以上のようにしてまとめられた伏線とオチに関する大カテゴリについて、共起分析と因子分析を行いました。共起分析を行えば、特定のカテゴリと同時に現れるカテゴリが特定できるので、伏線とオチの結びつきを明らかにできます。また、因子分析を行えば、大カテゴリに潜在する伏線とオチが結びつく構造が分かります。

共起分析の結果、例えば「一時的利益」という伏線がオチの5カテゴリすべてに対して共起することがわかりました。この分析結果が示唆しているのは、星新一のショートショートでは何かしらの利益を得たあとにオチに向かって展開するというのが典型的なストーリーテリングである、ということです。そのほかでは、オチカテゴリの「終末」と「皮肉」が共起することから、皮肉な原因による終末の描写という展開も顕著に現れることもわかりました。

また因子分析の結果、星新一作品のストーリーテリングを特徴づける以下のような3つの因子を発見できました。

  1. 第一因子「種明かし因子」:繰り返しの表現で展開を予想させた後に、未知の情報で予想を裏切る物語構造
  2. 第二因子「転落因子」登場人物が利益を得ている様子について情報を隠さずに描写した後、その様子に対する皮肉な結末を迎える物語構造
  3. 第三因子「無駄骨因子」繰り返しの表現で展開を予想させた後に、それまでの繰り返しが無価値となるような出来事や情報をオチとして提示する物語構造

岩崎氏は、今後の研究課題として今回明らかになった伏線とオチに関する物語構造にもとづいた物語の自動生成に取り組むことを挙げて発表を終えました。

「泣ける」作品に共通して見られる特徴

公立はこだて未来大学の福元隆希氏は、『物語構造分析に基づく「泣ける」と評価される物語の分類とパターン抽出』と題して「泣ける」物語に共通する物語構造の分析について発表しました。

福元氏の発表は、「泣ける」物語研究の背景の説明から始まりました。人気の高い映画やアニメは、しばしば「泣ける」という評価を受けます。こうしたなか、「泣ける」物語構造に関する計量的な特徴を調査した研究はほとんどありませんでした。もしこの「泣ける」物語の構造を明らかにできれば、その知見を泣ける物語の自動生成やシナリオ執筆などに応用できます。

つづいて福元氏は、研究対象となる「泣ける物語作品」の選定方法を説明しました。その選定方法とは、以下のような3つの条件を満たす物語作品を特定するというものでした。

  1. (条件1):インターネット投票サイト「みんなのランキング」において、泣ける物語作品として上位30以内である。
  2. (条件2):漫画・小説の原作が存在する。
  3. (条件3):(分析者が)涙を促すと考えられるシーンが5回以上存在する。

以上のような選定条件を満たす物語作品として、以下のような4つの作品が選定されました。

4つの物語作品の構造分析にあたっては、2種類のカテゴリ分けが実行されました。1つ目のカテゴリ分けは、物語作品におけるストーリーテリングを成立させている物語機能カテゴリをシーンごとに割り振っていく作業です。物語機能カテゴリには、以下の表に示すようなものが使われました。

2つ目のカテゴリ分けは、泣けるシーンに特有な特徴を表すタグを割り振っていく作業です。そうした泣けるシーン用カテゴリには、以下の表のようなものがあります。

以上の2種類のカテゴリ分けに加えて、シーンごとに主語と目的語を追記した物語構造表を作成しました。この表を見ると、泣けるシーンにおいて誰が何をしているのかという状況理解と、前後のストーリーテリングと泣けるシーンの特徴がわかります。

以上にようにして割り振られたカテゴリを集計すると、物語作品の特徴が浮かび上がります。各物語作品の泣けるシーン用カテゴリの集計は、以下のグラフのように表せます。このグラフから『ヴァイオレット・エヴァ―ガーデン』と『夏目友人帳』は、ともに「辛苦」と「絆_負」のカテゴリが多い点が共通していることがわかります。

泣けるシーン用カテゴリを物語機能カテゴリごとに集計すると、以下のようなグラフが得られます。このグラフから、泣けるシーンと同時に現れる傾向が強い物語機能カテゴリがあることがわかります。例えば物語機能「発覚」は泣けるシーンともっとも同時に現れますが、この傾向は何らかの秘密が明かされることで涙を誘うストーリーテリングが多いことを意味しています。

さらに泣ける物語作品とその作品と同ジャンルの(涙を誘うわけではない)通常の作品の比較も行いました。比較する通常の作品として以下の表にまとめたようなものを選定したうえで、泣けるシーンの直前におけるそれぞれの作品の物語機能をカイ二乗検定を用いて比較しました。

以上の比較の結果、物語機能「発覚」「意思」「関係変化_人間関係」「災難」は泣けるシーンの直前で有意に多くなる傾向がある一方で、「出現」「妨害」「対決」は有意に少なることがわかりました。この結果は、ストーリーテリングのうえで隠されていた情報の「開示」や意思の「表示」によって鑑賞者の共感を喚起することで涙を誘っている、と考察できます。対して「妨害」や「人物の出現」は、涙を流すことを阻害する物語機能だと言えます。

発表の最後に福元氏は今後の研究課題として、「泣けるシーン」における程度の発見(より強く、あるいは弱く「涙を誘う」シーンがあるのか)、鑑賞者の属性と「泣けるシーン」の関係の発見(例えば男性がよく「泣く」シーンというのが存在するのか)などを挙げました。

以上の3つの研究発表を物語自動生成という軸でとらえ直すと、奥山氏の研究はRPGという具体例に取り組んだ応用研究、岩崎氏と福元氏のそれは特定の物語構造に関する基礎研究と位置づけられます。物語構造に関する基礎研究が進めば、さまざまなジャンルの物語を自動生成するためのフレームが整備されていきます。物語の自動生成は、今後も基礎研究と応用研究が両輪となって進展していくことでしょう。

Writer:吉本幸記

RELATED ARTICLE関連記事

チートのパターンを学習するチート検出AIの活躍

2021.2.26ゲーム

チートのパターンを学習するチート検出AIの活躍

【CEDEC2019】人工知能が敵キャラを育てる! ディープラーニングを使った次世代のゲームAI開発

2019.9.19ゲーム

【CEDEC2019】人工知能が敵キャラを育てる! ディープラーニングを使った次...

【CEDEC2021】ゲーム制作をAIで効率化するCygamesのチャレンジ

2021.10.26ゲーム

【CEDEC2021】ゲーム制作をAIで効率化するCygamesのチャレンジ

RANKING注目の記事はこちら