モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
CGCGへの扉安藤幸央機械学習ディープラーニング月刊エンタメAIニュース河合律子GANOpenAI音楽NVIDIA吉本幸記ニューラルネットワーク強化学習Google生成系AI三宅陽一郎QA人工知能学会GPT-3Stable Diffusion自然言語処理グーグルDeepMindFacebook森川幸人シナリオ大内孝子マイクロソフトChatGPT敵対的生成ネットワークルールベースアート映画キャラクターAIスクウェア・エニックスモリカトロンAIラボインタビューAIと倫理SIGGRAPHゲームプレイAI大規模言語モデル倫理デバッグNFTDALL-E2StyleGANプロシージャル遺伝的アルゴリズムモリカトロン著作権画像生成自動生成テストプレイメタAI画像生成AINPCテキスト画像生成ロボット深層学習ファッションCEDEC2019ディープフェイクVFXMidjourneyデジタルツインボードゲームDALL-ECLIPビヘイビア・ツリーCEDEC2021LLMCEDEC2020ゲームAIメタバース不完全情報ゲームVRナビゲーションAI畳み込みニューラルネットワークGDC 2021マンガJSAI2022AdobeNVIDIA OmniverseGDC 2019マルチエージェントCEDEC2022AIアート小説Stability AI懐ゲーから辿るゲームAI技術史toioジェネレーティブAIスポーツCNNBERT作曲MicrosoftUnityMinecraftアニメーションOmniverseメタJSAI2023鴫原盛之HTN階層型タスクネットワークソニー栗原聡手塚治虫汎用人工知能JSAI2020GTC2023TensorFlowインタビューバーチャルヒューマンイベントレポート対話型エージェントAmazonロボティクスDQNMeta水野勇太アバター3DCGUbisoftGenvid TechnologiesガイスターStyleGAN2デジタルヒューマンGTC2022教育音楽生成AIJSAI2021研究シムピープルMCS-AI動的連携モデルモーションキャプチャーElectronic ArtsNeRFマーケティングメタデータGDC SummerブロックチェーンCMMicrosoft Azureアストロノーカキャリア模倣学習eスポーツスタンフォード大学アーケードゲームテニスサイバーエージェントトレーディングカード音声認識メディアアートeSportsBLUE PROTOCOLシーマンaibo合成音声チャットボットAWS徳井直生斎藤由多加AlphaZeroTransformerGPT-2rinnaAIりんなカメラ環世界中島秀之PaLM哲学ベリサーブPlayable!理化学研究所SIGGRAPH ASIASFNetflix東京大学はこだて未来大学現代アートエージェントDARPAドローンシムシティImagenZorkバイアスプロンプトGPT-4ASBSアドベンチャーゲームTEZUKA2020CEDEC2023AI美空ひばりテキスト生成マルチモーダルバンダイナムコ研究所スパーシャルAI3DLEFT 4 DEADイーロン・マスク通しプレイOpenAI FiveStable Diffusion XL本間翔太CygamesAudio2Faceピクサープラチナエッグイーサリアムボエダ・ゴティエビッグデータ中嶋謙互Amadeus Codeデータ分析MILEナラティブNVIDIA RivaOmniverse ReplicatorWCCFレコメンドシステムNVIDIA DRIVE SimWORLD CLUB Champion FootballNVIDIA Isaac Simセガ柏田知大軍事田邊雅彦トレカMax CooperGPT類家利直PyTorchChatGPT4眞鍋和子バンダイナムコスタジオ大澤博隆SFプロトタイピング齊藤陽介マインクラフトお知らせMagic Leap OneTencentバスケットボールサルでもわかる人工知能text-to-3DVAEDreamFusionブラック・ジャックリップシンキングUbisoft La Forge自動運転車ワークショップ知識表現ウォッチドッグス レギオンIGDA秋期GTC2022市場分析どうぶつしょうぎEpic GamesRobloxジェイ・コウガミ音楽ストリーミングMITAIロボ「迷キュー」に挑戦野々下裕子マシンラーニング5GMuZeroRival Peakpixivクラウド対話エンジン3Dスキャンリトル・コンピュータ・ピープルCodexシーマン人工知能研究所コンピューティショナル・フォトグラフィーPreferred Networksゴブレット・ゴブラーズ絵画ARMicrosoft DesignerイラストシミュレーションSoul Machines柿沼太一完全情報ゲームELSI坂本洋典釜屋憲彦ウェイポイントパス検索対談藤澤仁生物学GTC 2022画像認識GPT-3.5ハリウッドSiemensストライキStyleCLIPDeNA長谷洋平クラウドコンピューティングmasumi toyotaIBM宮路洋一OpenSeaGDC 2022SNSGen-1TextWorldEarth-2BingMagenta音声生成AIELYZA PencilScenarioSIGGRAPH2023テキスト画像生成AI松尾豊AIピカソGTC2021AI素材.comCycleGANテンセントAIQVE ONEデータマイニングNetHackBardキャラクターモーションControlNetNBAフェイクニュースRPG法律SIGGRAPH 2022世界モデルレベルデザインAIボイスアクターNVIDIA CanvasGPUALife人工生命オルタナティヴ・マシンサウンドスケープLaMDATRPGマジック:ザ・ギャザリングAI Dungeonぱいどん手塚眞不気味の谷ナビゲーションメッシュインディーゲーム高橋ミレイ深層強化学習松原仁松井俊浩武田英明ELYZAフルコトNEDOELYZA DIGEST建築音声合成広告西成活裕Apex LegendsELIZA群衆マネジメントライブポートレイトNinjaコンピュータRPGライブビジネスWonder Studioアップルタウン物語新型コロナ土木KELDIC周済涛BIMメロディ言語清田陽司インフラゲームTENTUPLAYサイバネティックスMARVEL Future FightAstro人工知能史Amazon BedrockタイムラプスEgo4DAI哲学マップバスキア星新一X.AI日経イノベーション・ラボStyleGAN-XLX Corp.敵対的強化学習StyleGAN3Twitter階層型強化学習GOSU Data LabGANimatorXホールディングスWANNGOSU Voice AssistantVoLux-GANMagi竹内将SenpAI.GGProjected GANMobalyticsSelf-Distilled StyleGANSDXL馬淵浩希ニューラルレンダリングRTFKT岡島学AWS SagemakerPLATONIKE映像セリア・ホデント形態素解析frame.ioClone XUXAWS LambdaFoodly村上隆誤字検出森山和道認知科学中川友紀子Digital MarkゲームデザインSentencePieceアールティSnapchatLUMINOUS ENGINEクリエイターコミュニティLuminous ProductionsBlenderBot 3バーチャルペットパターン・ランゲージ竹村也哉Meta AINVIDIA NeMo Serviceちょまどマーク・ザッカーバーグヴァネッサ・ローザGOAPWACULVanessa A RosaAdobe MAX 2021陶芸自動翻訳Play.ht音声AIAIライティングLiDAROmniverse AvatarAIのべりすとPolycamFPSQuillBotdeforumマルコフ決定過程NVIDIA MegatronCopysmith動画生成AINVIDIA MerlinJasperハーベストNVIDIA MetropolisForGamesパラメータ設計ゲームマーケットバランス調整岡野翔太協調フィルタリング郡山喜彦人狼知能テキサス大学ジェフリー・ヒントンGoogle I/O 2023AlphaDogfight TrialsAI Messenger VoicebotGoogle I/OエージェントシミュレーションOpenAI Codex武蔵野美術大学StarCraft IIHyperStyleBingAIFuture of Life InstituteRendering with StyleIntelDisneyFireflyLAIKADisneyリサーチヴィトゲンシュタインPhotoshopRotomationGauGAN論理哲学論考LightroomGauGAN2京都芸術大学Canvaドラゴンクエストライバルズ画像言語表現モデル不確定ゲームSIGGRAPH ASIA 2021PromptBaseBOOTHDota 2モンテカルロ木探索ディズニーリサーチpixivFANBOXMitsuba2バンダイナムコネクサス虎の穴ソーシャルゲームEmbeddingワイツマン科学研究所ユーザーレビューFantiaGTC2020CG衣装mimicとらのあなNVIDIA MAXINEVRファッションBaidu集英社淡路滋ビデオ会議ArtflowERNIE-ViLG少年ジャンプ+グリムノーツEponym古文書ComicCopilotゴティエ・ボエダ音声クローニング凸版印刷コミコパGautier Boeda階層的クラスタリングGopherAI-OCRゲームマスター画像判定Inowrld AIJuliusSIE鑑定ラベル付けMODTPRGOxia PalusGhostwriterバーチャル・ヒューマン・エージェントtoio SDK for UnityArt RecognitionSkyrimクーガー田中章愛実況パワフルサッカースカイリム石井敦銭起揚NHC 2021桃太郎電鉄RPGツクールMZ茂谷保伯池田利夫桃鉄ChatGPT_APIMZGDMC新刊案内パワサカダンジョンズ&ドラゴンズマーベル・シネマティック・ユニバースコナミデジタルエンタテインメントOracle RPG成沢理恵MITメディアラボMCU岩倉宏介深津貴之アベンジャーズPPOxVASynthマジック・リープDigital DomainMachine Learning Project CanvasLaser-NVMagendaMasquerade2.0国立情報学研究所ノンファンジブルトークンDDSPフェイシャルキャプチャー石川冬樹MERFサッカーモリカトロン開発者インタビュースパコンAlibaba里井大輝Kaggle宮本茂則スーパーコンピュータVQRF山田暉松岡 聡nvdiffrecAssassin’s Creed OriginsAI会話ジェネレーターTSUBAME 1.0NeRFMeshingSea of ThievesTSUBAME 2.0LERFGEMS COMPANYmonoAI technologyLSTMABCIマスタリングモリカトロンAIソリューション富岳TikTok初音ミクOculusコード生成AISociety 5.0リアム・ギャラガー転移学習テストAlphaCode夏の電脳甲子園グライムスBaldur's Gate 3Codeforces座談会BoomyCandy Crush Saga自己増強型AItext-to-imageジョン・レジェンドSIGGRAPH ASIA 2020COLMAPザ・ウィークエンドADOPNVIDIA GET3DドレイクデバッギングBigGANGANverse3DTEZUKA2023MaterialGANRNNグランツーリスモSPORTAI絵師エッジワークスReBeLグランツーリスモ・ソフィーUGC日本音楽作家団体協議会GTソフィーPGCFCAVolvoFIAグランツーリスモチャンピオンシップVoiceboxNovelAIさくらインターネットRival PrakDGX A100NovelAI DiffusionVTuberぷよぷよユービーアイソフトWebcam VTuberモーションデータ立教大学星新一賞大阪公立大学北尾まどかHALOポーズ推定TCG将棋メタルギアソリッドVフォートナイトメッシュ生成KLabFSMメルセデス・ベンツQRコードMagic Leap囲碁ナップサック問題Live NationEpyllionデンソー汎用言語モデルWeb3.0マシュー・ボールデンソーウェーブAIOpsムーアの法則原昌宏Spotifyスマートコントラクト日本機械学会Replica Studioロボティクス・メカトロニクス講演会amuseChitrakarQosmoAdobe MAX 2022トヨタ自動車巡回セールスマン問題Adobe MAXかんばん方式ジョルダン曲線メディアAdobe Research村井源政治Galacticaプロット生成クラウドゲーミングがんばれ森川君2号オムロン サイニックエックス和田洋一リアリティ番組映像解析FastGANStadiaジョンソン裕子セキュリティ4コママンガMILEsNightCafe東芝デジタルソリューションズ電気通信大学インタラクティブ・ストリーミングLuis RuizSATLYS 映像解析AI稲葉通将インタラクティブ・メディアポケモン橋本敦史PFN 3D ScanElevenLabs東京工業大学HeyGenLudo博報堂After EffectsラップPFN 4D Scan絵本SIGGRAPH 2019ArtEmisZ世代DreamUp出版AIラッパーシステムDeviantArtAmmaar ReshiWaifu DiffusionStoriesGROVERプラスリンクス ~キミと繋がる想い~元素法典StoryBirdFAIRSTCNovel AIVersedチート検出Style Transfer ConversationOpen AIProlificDreamerオンラインカジノRCPUnity SentisアップルRealFlowRinna Character PlatformUnity MuseiPhoneCALACaleb WardDeep Fluids宮田龍MeInGameAmelia清河幸子AIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクター西中美和BCIGateboxアフォーダンス安野貴博Learning from VideoANIMAKPaLM-SayCan斧田小夜予期知能逢妻ヒカリ宮本道人セコムGitHub CopilotLLaMA 2ユクスキュルバーチャル警備システムCode as PoliciesLLaMAカント損保ジャパンCaPHugging FaceCM3leon上原利之Stable DoodleドラゴンクエストエージェントアーキテクチャアッパーグラウンドコリジョンチェックT2I-AdapterPAIROCTOPATH TRAVELERxAI西木康智OCTOPATH TRAVELER 大陸の覇者山口情報芸術センター[YCAM]アルスエレクトロニカ2019品質保証YCAM日本マネジメント総合研究所StyleRigAutodeskアンラーニング・ランゲージVoyager逆転オセロニアBentley Systemsカイル・マクドナルドLily Hughes-Robinsonワールドシミュレーターローレン・リー・マッカーシーColossal Cave Adventure奥村エルネスト純いただきストリートH100鎖国[Walled Garden]​​プロジェクトAdventureGPT齋藤精一大森田不可止COBOLSIGGRAPH ASIA 2022リリー・ヒューズ=ロビンソン高橋智隆DGX H100VToonifyBabyAGIロボユニザナックDGX SuperPODControlVAEGPT-3.5 Turbo泉幸典仁井谷正充変分オートエンコーダーカーリングロボコレ2019Instant NeRFフォトグラメトリウィンブルドンartonomous回帰型ニューラルネットワークbitGANsDeepJoin戦術分析ぎゅわんぶらあ自己中心派Azure Machine LearningAzure OpenAI Serviceパフォーマンス測定意思決定モデル脱出ゲームDeepLIoTHybrid Reward Architectureコミュニティ管理DeepL WriteProFitXウロチョロスSuper PhoenixWatsonxProject MalmoオンラインゲームAthletica気候変動コーチングProject Paidiaシンギュラリティ北見工業大学Project Lookoutマックス・プランク気象研究所レイ・カーツワイル北見カーリングホールWatch Forビョルン・スティーブンスヴァーナー・ヴィンジ画像解析気象モデルRunway ResearchじりつくんLEFT ALIVE気象シミュレーションMake-A-VideoNTT Sportict長谷川誠ジミ・ヘンドリックス環境問題PhenakiAIカメラBaby Xカート・コバーンエコロジーDreamixSTADIUM TUBEロバート・ダウニー・Jr.エイミー・ワインハウスSDGsText-to-ImageモデルPixelllot S3ソフトバンクYouTubeダフト・パンクメモリスタAIスマートコーチGlenn MarshallThe Age of A.I.Story2Hallucination音声変換LatitudeレコメンデーションJukeboxDreamboothVeap Japanヤン・ルカンEAPneoAIPerfusionSIFT福井千春DreamIconニューラル物理学DCGAN医療mign毛髪MOBADANNCEメンタルケアstudiffuse荒牧英治人事ハーバード大学Edgar HandyAndreessen Horowitz中ザワヒデキ研修デューク大学大屋雄裕QA Tech Night中川裕志mynet.aiローグライクゲーム松木晋祐Adreeseen Horowitz東京理科大学下田純也NVIDIA Avatar Cloud Engine人工音声NeurIPS 2021産業技術総合研究所桑野範久Replica StudiosリザバーコンピューティングSmart NPCsプレイ動画ヒップホップ対話型AIモデルRoblox StudioソニーマーケティングPromethean AIサイレント映画もじぱnote音源分離環境音暗号通貨note AIアシスタントMusiioFUZZLEKetchupEndelAlterationAI Newsユニバーサルミュージック粒子群最適化法Art Selfie進化差分法オープンワールドArt TransferSonar群知能下川大樹AIFAPet PortraitsSonar+Dウィル・ライト高津芳希P2EBlob OperaWeb3大石真史クリムトDolby AtmosBEiTStyleGAN-NADASonar Music FestivalDETRゲームエンジンDreamerV3ライゾマティクスSporeUnreal Engineクリティックネットワーク真鍋大度デノイズ南カリフォルニア大学Unity for Industryアクターネットワーク花井裕也画像処理DMLabRitchie HawtinSentropyGLIDEControl SuiteErica SynthCPUDiscordAvatarCLIPAtari 100kUfuk Barış MutluSynthetic DataAtari 200MJapanese InstructBLIP AlphaCALMYann LeCun日本新聞協会プログラミングサム・アルトマン鈴木雅大AIいらすとやソースコード生成コンセプトアートAI PicassoGMAIシチズンデベロッパーSonanticColie WertzEmposyGitHubCohereリドリー・スコットAIタレントウィザードリィMCN-AI連携モデル絵コンテAIタレントエージェンシーUrzas.aiストーリーボードmodi.ai介護大阪大学BitSummit西川善司並木幸介KikiBlenderBitSummit Let’s Go!!サムライスピリッツ森寅嘉Zoetic AIRed RamゼビウスSIGGRAPH 2021ペットマーダーミステリーストリートファイター半導体Digital Dream LabsPaLM APIデジタルレプリカTopaz Video Enhance AICozmoMakerSuiteGOT7DLSSタカラトミーSkebsynthesia山野辺一記NetEaseLOVOTDreambooth-Stable-DiffusionHumanRF大里飛鳥DynamixyzMOFLINゲーム背景Actors-HQRomiGoogle EarthSAG-AFTRAU-NetミクシィGEPPETTO AIWGA13フェイズ構造ユニロボットStable Diffusion web UIチャーリー・ブルッカーADVユニボPoint-EXLandGatoアパレル岡野原大輔AGIAI model自己教師あり学習DEATH STRANDINGAI ModelsIn-Context Learning(ICL)Eric Johnson汎用強化学習AIZMO.AILoRAデザインMOBBY’SファインチューニングOculus Questコジマプロダクションロンドン芸術大学モビーディックグランツーリスモ生体情報デシマエンジンGoogle Brainダイビング量子コンピュータSound Controlアウトドアqubit写真SYNTH SUPERAIスキャニングIBM Quantum System 2照明Maxim PeterKarl Sims自動採寸北野宏明Joshua RomoffArtnome3DLOOKダリオ・ヒルハイパースケープICONATESizerジェン・スン・フアン山崎陽斗ワコールHuggingFace立木創太スニーカーStable Audio浜中雅俊UNSTREET宗教ミライ小町Newelse仏教テスラ福井健策CheckGoodsコカ・コーラGameGAN二次流通食品パックマンTesla Bot中古市場Coca‑Cola Y3000 Zero SugarTesla AI DayWikipediaDupe KillerCopilot Copyright Commitmentソサエティ5.0Sphere偽ブランドテラバースSIGGRAPH 2020バズグラフXaver 1000配信京都大学ニュースタンテキ養蜂立福寛東芝Beewiseソニー・ピクチャーズ アニメーション音声解析DIB-R倉田宜典フィンテック感情分析投資Fosters+Partners韻律射影MILIZEZaha Hadid Architects韻律転移三菱UFJ信託銀行

【JSAI2023】AIはクリエイターの良きサポーターになり得るか?

2023.7.12アート

【JSAI2023】AIはクリエイターの良きサポーターになり得るか?

2023年6月6日から9日にかけて、熊本県熊本城ホールをメイン会場として2023年度 人工知能学会全国大会(第37回)がハイブリッド開催されました。6月8日には企画セッション「人の創造力はAIとの共進化によりどのように変化するか?」が行われました。本稿ではこのセッションを要約することで、クリエイターを支援するAIの可能性を探ります。

コンテンツ制作における人とAIの螺旋的進化を目指して

以上の企画セッションは、栗原聡慶應義塾大学教授の趣旨説明から始まりました。同セッションは2020年7月から取り組まれているNEDOの「人と共に進化する次世代人工知能に関する技術開発事業」の一環である「インタラクティブなストーリー型コンテンツ創作支援基盤の開発」の成果報告にあたると述べたうえで、同教授は各種配信サービスが普及したことでコンテンツ量産が要請されている社会的背景を指摘しました。こうした要請に応えるためには、AIによる制作力の底上げが不可欠となります。

栗原教授は、上記NEDO事業の成果を示すための言わば打ち上げ花火としてコンテンツ生成を計画しているとも述べました。そして、長期的な展望としてAIがクリエイターにインスピレーションを与えながら人とAIが共進化する螺旋的進化のビジョンを提示して、後続する技術紹介に通底する共通認識を確認しました。

物語構造の抽出と人気の物語の対応関係

技術紹介の1人目は、はこだて未来大学の村井源教授が「物語構造の分析と生成」と題して物語構造の抽出と分析について発表しました。星新一プロジェクト「きまぐれ人工知能プロジェクト作家ですのよ」に参加したこともある同教授は、物語構造を分かりやすく説明するために恋愛物語の構造分析事例を示しました。その構造とは、以下のスライドのように外的情報の提示や登場人物の出現にはじまり、関係変化などを経て恋が成就する物語の起伏を分節化したものです。

続いて村井教授は、冒険物語や怪談をふくむ5つのジャンルごとから約200話、合計1,000話分の構造分析を実施した結果を見せました。その結果にもとづけば、各ジャンルの物語構造は異なり、各ジャンルにおけるサブジャンルの構造も特定できます。また、各ジャンルの(主人公や仲間といった)登場人物とその関係も抽出できます。

村井教授は物語構造分析を個別的な物語に適用した事例として、手塚治虫原作のマンガ『ブラック・ジャック』のエピソード「二度死んだ少年」の分析事例を示しました。こうした分析から、同エピソードは複数の物語構造が重層的に組み合わされることで重厚な命のドラマとなっていることが分かります。

ブラック・ジャックの多数のエピソードを構造分析することで、同マンガで使われる典型的なストーリーテリングが特定できます。村井教授は構造分析と因子分析を駆使して、以下のスライドでまとめられたような同マンガの代表的な7つの語り口を明らかにしました。

村井教授は、ブラック・ジャックで人気のあるエピソードと抽出した7因子の対応関係も調べました。その結果、「主人公の競合者が出てくる話」などが人気なのが分かりました。同教授は、物語構造と人気の物語の関係は物語を自動生成する際の科学的指針となると指摘して発表を終えました。

一貫性と斬新性のバランスをとる

2人目の技術紹介は、趣旨説明をした栗原教授がプロット生成について発表しました。前出の村井教授が分析した物語構造分析は言わば物語の骨格にあたるものであり、構造だけでは実際に消費されるコンテンツにはなりません。栗原教授が取り組んだのは、物語構造から具体的なプロットを生成することでした。

物語構造にもとづいたプロット生成において注意を要するのは、一貫性と斬新性の両立です。ChatGPTのようなLLM(Large Language Model:大規模言語モデル)が台頭した現在では、物語構造を意味するキーワードをAIに与えてプロットを文章として出力することが技術的に可能です。しかし、確率的に後続する可能性の高い文字列を出力するように訓練されている現在のLLMを活用すると、展開を先読みしやすい凡庸なプロットが生成される傾向にあります。こうしたなか栗原教授は展開が読めないプロットを生成するために、物語の始まりと終わりを人間が決めたうえでそのあいだをAIが生成するようにしました。すると、AIのみによるプロット生成と比べて斬新なものが生成できることを確認しました。

AIによるプロット生成にあたっては、有名なLLMのひとつであるOpenAI社開発のGPT-3を活用しました。同AIに入力するプロンプトは、以下のスライドのようにプロットの簡単な説明、キーワード、キャラクター設定から構成されたものを作成しました。

栗原教授は、生成したプロットにもとづいて3Dキャラクターが動作する3Dシナリオシーンの実験事例も紹介しました。こうした事例が制作支援AIツールとして実用化されれば、アニメや映画のプロットからシーンの視覚的共有と試行錯誤が迅速に行えるようになるでしょう。

キャラクター制作におけるStable Diffusionの革新性

3人目は、慶応義塾大学で特任講師を務めているオムロン サイニックエックス・シニアリサーチャー橋本敦史氏が「物語の登場人物のビジュアルデザイン支援」と題して画像生成AIによるキャラクターデザインの試みについて発表しました。手塚プロから提供された手塚作品に登場するキャラクター画像を活用して、新たな手塚キャラクターの創作プロジェクトに取り組む同氏は、過去の成果を報告することから発表を始めました。

過去の挑戦のひとつとして、FastGANを活用したキャラクター顔画像生成があります。具体的には、14,581枚の手塚作品を学習データとして、手塚作品の特徴を備えた新たな顔画像を生成しました。

2つ目の挑戦は、条件付きFastGANによる顔画像生成です。この挑戦では、実写画像あるいはマンガ画像のどちらかを指定して生成できるようにしました。寒色的な印象あるいは暖色的な印象を受ける顔画像生成も試みましたが、寒色・暖色のような人の主観的判断がふくまれる条件付けは制御困難であることが分かりました。この挑戦により、実写画像からマンガ画像へ変換する技法も開発されました。

3つ目は、NaviGANの活用です。この技法を使えば、例えば手塚作品で登場する鼻の大きいキャラクターの特徴を誇張できるようになります。

2022年8月、Stable Diffusionが公開されたことで画像生成AI文化が一挙に進化しました。テキストプロンプトによって高画質の画像を生成できるようになったことで、画像生成時の制御性が大きく向上しました。この結果、キャラクター設定に沿った画像生成が格段に容易になりました。

Stable diffusionによってプロジェクトが大きく前進したので、誇張なども制御してより創造性の高いキャラクター画像生成を今後の目標として掲げて、橋本氏の発表は終わりました。

4コママンガの学習データからセリフを生成する

4人目は、電気通信大学の稲葉通将准教授が「プロットに基づくキャラクタのセリフ生成に向けた取り組み」と題して、プロットとコンテキストに沿った4コママンガのセリフ生成について発表しました。

前出の技術紹介では物語構造、プロット、キャラクター画像に関する成果が発表されましたが、マンガを制作する場合にはこれら3つの要素に加えてセリフが必要になります。そこで稲葉准教授は、4コママンガのセリフを生成するAIを開発するために学習データを構築しました。そのデータは、マンガのストーリーに関する要約と各コマの情報という2種類から構成されています。

要約データセットでは、4コママンガのストーリーを1~5文程度にまとめたものを収集しました。ただし、セリフをそのままふくめることを禁止しました。

コマ情報データセットでは、セリフの内容、吹き出し、話者などのセリフの属性とセリフが語られるシーンの情報をふくんだ以下のようなデータを収集しました。

収集したデータセットは、以下のスライドで示されるような規模になりました。

以上のような学習データを活用して構築されるセリフ生成AIは、生成するセリフをふくむ4コママンガのストーリーを要約した「プロットS」、生成するセリフに先行するセリフをふくんだ「文脈C」、そして生成するセリフを話す「次の話者uk(※正式表記ではkは下付き)」を入力として、セリフが出力されるというアーキテクチャが採用されました。

稲葉准教授は、以上のようにして開発したセリフ生成AIの活用事例を紹介しました。同AIは以下のスライドで示されたように「中年になったらデブになりますよ」というセリフを生成しましたが、既存モデルと比較してよりプロットと整合しており、なおかつ自然なものとなりました。

今回開発のセリフ生成AIにはキャラクターの個性を反映したようなセリフを生成できない、と言う課題がありました。さらには、今後はChatGPTやGPT-4などのLLMの活用を視野に入れていることを述べて稲葉准教授の発表は終わりました。

AIの限界と希望が語られたパネルディスカッション

4名による技術紹介を終えた後、栗原教授を司会にして、ヴィジュアリストであり手塚治虫の子息である手塚眞氏、手塚プロダクションの石渡正人氏、エッジワークス所属の山野辺一記氏、スクウェア・エニックスの三宅陽一郎氏、そして東京大学の松原仁教授をパネリストにしたディスカッションが行われました。このディスカッションでは、以下のような興味深い見解が語られました。

  1. (「現在の生成AIに驚いたことは?」という栗原教授からの質問に対する手塚氏の発言)この3年における生成AIの進化スピードが速いのが驚き。生成AIの普及が早いのは、世界が注目しているから。生成AIとクリエイティブのあいだの関係に関する議論も始まり、その展開が早い。こうした状況に希望を抱いている。
  2. (同質問に対する石渡氏の発言)映像テクノロジーに長年触れてきたが、Stable Diffusionの登場とその性能には驚いた。対してChatGPTは汎用性があるかも知れないが、出力が平凡。ゆえに驚きはなかった。
  3. (同質問に対する山野辺の発言)クリエイターが生成AIを使い始めると、作品数が増えるだろう。そして、AIを使っていないと言いつつも、AIを活用した作品も増えると考えられる。AIが生成しているかも知れない作品をどのように評価するのか、というのが今後の問題だろう。
  4. (同質問に対する三宅氏の発言)画像生成AIを使ってモンスター画像を生成した場合、同じような構図の画像しか生成されない。それらの画像は、まるでモンスター図鑑のようだ。画像生成AIの登場により「一億総クリエイター」のような雰囲気となり、一般消費者のコンテンツに対する要求レベルが上がったように感じられる。
  5. (同質問に対する松原教授の発言)さまざまなパラメータと学習データの組み合わせから、多数の生成AIが開発されたことが驚き。こうした開発においては、開発前に実現される性能は予見できなかったはずである。それゆえ、生成AIの開発は「実際に作って確かめる」実験的な側面が強かった。
  6. (「現在の生成AIに感じる限界は?」という栗原教授からの質問に対する手塚氏の発言)生成AIのUIには、大いに改善できる余地がある。UIは使う目的とユーザのレベルに最適化されるべきだが、現在の生成AIのそれは与えられたものを使うだけに留まっている。
  7. (同質問に対する石渡氏の発言)現在のLLMでは詳細なキャラクター設定に沿ったストーリーやセリフ生成が可能なのか、ということが疑問であると同時に課題と考えている。
  8. (同質問に対する山野辺の発言)現在のLLMには修辞が苦手。例えばゴルフ用語の「天ぷら(ゴルフボールを打ち上げること。天ぷらの「揚げる」をかけている)」のような表現は、LLMは出力しないだろう。
  9. (同質問に対する三宅氏の発言)ゲームにLLMを活用しようとすると、プレイヤーが開発者の想定しない会話をはじめてしまう。こうした会話の誘導に対する耐性がLLMには求められる。
  10. (同質問に対する松原教授の発言)LLMは優等生すぎる。LLMは答えるのはうまいが、質問を発するのが苦手。
  11. (「クリエイターにとってのAIはどのような存在になっていく?」という栗原教授からの質問に対する手塚氏の発言)AIにはクリエイターのパートナーになってほしい。そのためには、クリエイターごとにパーソラナイズされたAIになる必要がある。
  12. (同質問に対する三宅氏の発言)AIはクリエイターをインスパイアする存在になってほしい。そのためには、生成物にゆらぎがあると面白い。
  13. (同質問に対する松原教授の発言)今後の生成AI研究は、生成物にふくまれるゆらぎをクリエイターごとにパーソラナイズする方向に進めるのがよいのではないか。
  14. (セッション参加者から「スタンフォード大学のLLM実験のような生成AIによって実現するコンテンツとはどのようなものか」という質問に対する三宅氏の発言)スタンフォード大学のLLM実験は言語空間で閉じており、キャラクターと世界との相互作用がない。それゆえ、キャラクターが世界と相互作用したうえで、リアルタイムのシチュエーションに則した会話ができるように進化する余地が大いにある。

以上のようなパネルディスカッションの終了後、栗原教授はサプライズの発表を用意していると告知しました。この告知は、2023年6月12日に発表された「TEZUKA2023」を予告するものでした。このプロジェクトは「現在のAI技術を駆使してブラック・ジャックの新作を制作する」というものです。同プロジェクトには上記企画セッションの成果が生かされると同時に、最新のAI技術が活用されることでしょう。

Writer:吉本幸記​​

RELATED ARTICLE関連記事

CGへの扉 Vol.5:SIGGRAPH 2019に見るCG研究と機械学習

2019.8.20アート

CGへの扉 Vol.5:SIGGRAPH 2019に見るCG研究と機械学習

CGへの扉 Vol.20:Adobeと人工知能の将来を見極める #AdobeMAX2020

2020.11.13アート

CGへの扉 Vol.20:Adobeと人工知能の将来を見極める #AdobeMA...

CGへの扉 Vol.39:言葉から生み出されるアートとは?

2022.6.17アート

CGへの扉 Vol.39:言葉から生み出されるアートとは?

RANKING注目の記事はこちら