モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
CGCGへの扉安藤幸央機械学習月刊エンタメAIニュースディープラーニング河合律子生成AI吉本幸記OpenAIGAN音楽NVIDIAGoogle三宅陽一郎強化学習ニューラルネットワークグーグルStable DiffusionChatGPTシナリオQA森川幸人DeepMind人工知能学会GPT-3自然言語処理マイクロソフトFacebook大内孝子大規模言語モデル映画AIと倫理キャラクターAI著作権敵対的生成ネットワークルールベースアート倫理SIGGRAPHゲームプレイAIスクウェア・エニックスモリカトロンAIラボインタビュー画像生成モリカトロンNFTプロシージャルLLMデバッグMinecraftNPCDALL-E2StyleGANMidjourney遺伝的アルゴリズム画像生成AI自動生成VFXAdobeテストプレイメタAIテキスト画像生成ロボット深層学習ファッションCEDEC2019音楽生成AIディープフェイクデジタルツインVRアニメーションボードゲームDALL-ECLIPビヘイビア・ツリーマンガCEDEC2021CEDEC2020ゲームAIメタバース不完全情報ゲームナビゲーションAI小説畳み込みニューラルネットワークGDC 2021JSAI2022作曲MicrosoftNVIDIA OmniverseGDC 2019マルチエージェントCEDEC2022MetaマインクラフトAIアート3DCGStability AIメタ懐ゲーから辿るゲームAI技術史toioジェネレーティブAIスポーツ栗原聡手塚治虫CNNNeRFバーチャルヒューマンBERTUnityOmniverseJSAI2023デジタルヒューマン鴫原盛之HTN階層型タスクネットワークソニーGPT-4マルチモーダル汎用人工知能JSAI2020GTC20233DTensorFlowDALL-E 3インタビューブロックチェーンイベントレポート対話型エージェントAmazonロボティクスDQN水野勇太アバターUbisoftGenvid TechnologiesガイスターStyleGAN2ARELSIGTC2022教育SIGGRAPH ASIANetflixJSAI2021はこだて未来大学Bard研究エージェントシムピープルMCS-AI動的連携モデルプロンプトモーションキャプチャーTEZUKA2020CEDEC2023テキスト生成Electronic Arts音声合成マーケティングメタデータGDC SummerCMMicrosoft Azureアストロノーカキャリア模倣学習動画生成AIeスポーツスタンフォード大学アーケードゲームテニスサイバーエージェントトレーディングカード音声認識メディアアート類家利直eSportsBLUE PROTOCOLシーマンaibo合成音声チャットボットブラック・ジャックEpic GamesAWS徳井直生クラウド斎藤由多加AlphaZeroTransformerGPT-2rinnaAIりんなカメラ環世界中島秀之PaLM哲学ベリサーブPlayable!GPT-3.5ハリウッド理化学研究所Gen-1SFテキスト画像生成AIデータマイニング東京大学現代アートDARPAドローンシムシティゲームエンジンImagenZorkバイアスRed RamマーダーミステリーASBSぱいどんアドベンチャーゲームAI美空ひばり手塚眞インディーゲームバンダイナムコ研究所スパーシャルAINEDOFSM-DNNLEFT 4 DEADイーロン・マスク通しプレイ論文OpenAI FiveStable Diffusion XL本間翔太馬淵浩希Cygames森山和道Audio2Faceピクサープラチナエッグイーサリアム効果音ボエダ・ゴティエビッグデータ中嶋謙互Amadeus Codeデータ分析MILEナラティブNVIDIA RivaOmniverse ReplicatorWCCFレコメンドシステムNVIDIA DRIVE SimWORLD CLUB Champion FootballNVIDIA Isaac Simセガ柏田知大軍事田邊雅彦トレカMax CooperGPTDisneyFireflyPyTorchChatGPT4眞鍋和子バンダイナムコスタジオ大澤博隆SFプロトタイピング齊藤陽介お知らせMagic Leap OneTencentモリカトロン開発者インタビュー宮本茂則バスケットボールGeminiTikToktext-to-imageサルでもわかる人工知能text-to-3DVAEDreamFusionTEZUKA2023リップシンキングRNNUbisoft La Forge自動運転車ワークショップ知識表現ウォッチドッグス レギオンVTuberIGDA立教大学秋期GTC2022市場分析フォートナイトどうぶつしょうぎRobloxジェイ・コウガミ音楽ストリーミングMITAIロボ「迷キュー」に挑戦野々下裕子Adobe MAXマシンラーニング村井源5GMuZeroRival Peakpixivオムロン サイニックエックスGPTs電気通信大学対話エンジン稲葉通将ポケモン3Dスキャン橋本敦史リトル・コンピュータ・ピープルCodexシーマン人工知能研究所コンピューティショナル・フォトグラフィーPreferred Networksゴブレット・ゴブラーズ絵画3D Gaussian SplattingMicrosoft DesignerアップルイラストシミュレーションSoul Machines柿沼太一完全情報ゲーム坂本洋典釜屋憲彦GitHub CopilotウェイポイントLLaMAパス検索対談藤澤仁生物学GTC 2022Apple Vision Pro画像認識SiemensストライキStyleCLIPDeNA長谷洋平クラウドコンピューティングmasumi toyotaIBM宮路洋一OpenSeaGDC 2022SNSTextWorldEarth-2BingMagentaYouTube音声生成AIELYZA PencilScenarioSIGGRAPH2023松尾豊AIピカソGTC2021AI素材.comCycleGANテンセントAndreessen HorowitzAIQVE ONENetHackキャラクターモーションControlNet音源分離NBAフェイクニュースユニバーサルミュージックRPG法律Web3SIGGRAPH 2022世界モデルレベルデザインDreamerV3AIボイスアクターUnreal Engine南カリフォルニア大学NVIDIA CanvasGPUALife人工生命オルタナティヴ・マシンサウンドスケープLaMDATRPGマジック:ザ・ギャザリングAI Dungeonゲーム背景AGI不気味の谷ナビゲーションメッシュ高橋ミレイ深層強化学習松原仁松井俊浩武田英明ELYZAフルコトELYZA DIGEST建築広告西成活裕ハイブリッドアーキテクチャApex LegendsELIZA群衆マネジメントライブポートレイトNinjaコンピュータRPGライブビジネスWonder StudioAdobe Max 2023アップルタウン物語新型コロナ土木MindAgentKELDIC周済涛BIMBing Chatメロディ言語清田陽司インフラBing Image CreatorゲームTENTUPLAYサイバネティックスMARVEL Future FightAstro人工知能史Amazon BedrockAssistant with BardタイムラプスEgo4DAI哲学マップThe Arcadeバスキア星新一X.AISearch Generative Experience日経イノベーション・ラボStyleGAN-XLX Corp.Dynalang敵対的強化学習StyleGAN3TwitterVLE-CE階層型強化学習GOSU Data LabGANimatorXホールディングスWANNGOSU Voice AssistantVoLux-GANMagiAI Act竹内将SenpAI.GGProjected GANEUMobalyticsSelf-Distilled StyleGANSDXLArs ElectronicaニューラルレンダリングRTFKTAI規制岡島学AWS SagemakerPLATONIKE欧州委員会映像セリア・ホデント形態素解析frame.ioClone X欧州議会UXAWS LambdaFoodly村上隆欧州理事会誤字検出MusicLM認知科学中川友紀子Digital MarkAudioLMゲームデザインSentencePieceアールティSnapchatMusicCapsLUMINOUS ENGINEクリエイターコミュニティAudioCraftLuminous ProductionsBlenderBot 3バーチャルペットパターン・ランゲージ竹村也哉Meta AINVIDIA NeMo ServiceMubertちょまどマーク・ザッカーバーグヴァネッサ・ローザMubert RenderGOAPWACULVanessa A RosaGen-2Adobe MAX 2021陶芸Runway AI Film Festival自動翻訳Play.htPreViz音声AINVIDIA ACEAIライティングLiDARCharacter-LLMOmniverse AvatarAIのべりすとPolycam復旦大学FPSQuillBotdeforumChat-Haruhi-Suzumiyaマルコフ決定過程NVIDIA MegatronCopysmith涼宮ハルヒNVIDIA MerlinJasperハーベストEmu VideoNVIDIA MetropolisForGamesNianticパラメータ設計ゲームマーケットペリドットバランス調整岡野翔太Dream Track協調フィルタリング郡山喜彦Music AI Tools人狼知能テキサス大学ジェフリー・ヒントンLyriaGoogle I/O 2023Yahoo!知恵袋AlphaDogfight TrialsAI Messenger VoicebotGoogle I/OインタラクティブプロンプトAIエージェントシミュレーションOpenAI Codex武蔵野美術大学慶應義塾大学StarCraft IIHyperStyleBingAI石渡正人Future of Life InstituteRendering with Style手塚プロダクションIntel林海象LAIKADisneyリサーチヴィトゲンシュタインPhotoshop古川善規RotomationGauGAN論理哲学論考Lightroom大規模再構成モデルGauGAN2京都芸術大学CanvaLRMドラゴンクエストライバルズ画像言語表現モデルObjaverse不確定ゲームSIGGRAPH ASIA 2021PromptBaseBOOTHMVImgNetDota 2モンテカルロ木探索ディズニーリサーチpixivFANBOXOne-2-3-45Mitsuba2バンダイナムコネクサス虎の穴3DガウシアンスプラッティングソーシャルゲームEmbeddingワイツマン科学研究所ユーザーレビューFantiaワンショット3D生成技術GTC2020CG衣装mimicとらのあな高橋力斗NVIDIA MAXINEVRファッションBaidu集英社FGDC淡路滋ビデオ会議ArtflowERNIE-ViLG少年ジャンプ+Future Game Development ConferenceグリムノーツEponym古文書ComicCopilot佐々木瞬ゴティエ・ボエダ音声クローニング凸版印刷コミコパヒストリアGautier Boeda階層的クラスタリングGopherAI-OCRゲームマスターAI Frog Interactive画像判定Inowrld AI新清士JuliusSIE鑑定ラベル付けMODAniqueTPRGOxia PalusGhostwriter中村太一バーチャル・ヒューマン・エージェントtoio SDK for UnityArt RecognitionSkyrimエグゼリオクーガー田中章愛実況パワフルサッカースカイリムCopilot石井敦銭起揚NHC 2021桃太郎電鉄RPGツクールMZComfyUI茂谷保伯池田利夫桃鉄ChatGPT_APIMZserial experiments lainGDMC新刊案内パワサカダンジョンズ&ドラゴンズAI lainマーベル・シネマティック・ユニバースコナミデジタルエンタテインメントOracle RPGPCG成沢理恵MITメディアラボMCU岩倉宏介深津貴之PCGRLアベンジャーズPPOxVASynthDungeons&Dragonsマジック・リープDigital DomainMachine Learning Project CanvasLaser-NVビートルズMagendaMasquerade2.0国立情報学研究所ザ・ビートルズ: Get BackノンファンジブルトークンDDSPフェイシャルキャプチャー石川冬樹MERFDemucsサッカースパコンAlibaba音楽編集ソフト里井大輝KaggleスーパーコンピュータVQRFAdobe Audition山田暉松岡 聡nvdiffreciZotopeAssassin’s Creed OriginsAI会話ジェネレーターTSUBAME 1.0NeRFMeshingRX10Sea of ThievesTSUBAME 2.0LERFMoisesGEMS COMPANYmonoAI technologyLSTMABCIマスタリングモリカトロンAIソリューション富岳レベルファイブ初音ミクOculusコード生成AISociety 5.0リアム・ギャラガーSuno AI転移学習テストAlphaCode夏の電脳甲子園グライムスKaKa CreationBaldur's Gate 3Codeforces座談会BoomyVOICEVOXCandy Crush Saga自己増強型AIジョン・レジェンドGenie AISIGGRAPH ASIA 2020COLMAPザ・ウィークエンドSIGGRAPH Asia 2023ADOPNVIDIA GET3DドレイクC·ASEデバッギングBigGANGANverse3DFLAREMaterialGANダンスグランツーリスモSPORTAI絵師エッジワークスMagicAnimateReBeLグランツーリスモ・ソフィーUGC日本音楽作家団体協議会Animate AnyoneGTソフィーPGCFCAインテリジェントコンピュータ研究所VolvoFIAグランツーリスモチャンピオンシップVoiceboxアリババNovelAIさくらインターネットDreaMovingRival PrakDGX A100NovelAI DiffusionVISCUITぷよぷよScratchユービーアイソフトWebcam VTuberモーションデータスクラッチ星新一賞大阪公立大学ビスケット北尾まどかHALOポーズ推定TCGプログラミング教育将棋メタルギアソリッドVメッシュ生成KLabFSMメルセデス・ベンツQRコードVALL-EMagic Leap囲碁Deepdub.aiナップサック問題Live NationEpyllionデンソーAUDIOGEN汎用言語モデルWeb3.0マシュー・ボールデンソーウェーブEvoke MusicAIOpsムーアの法則原昌宏AutoFoleySpotifyスマートコントラクト日本機械学会Colourlab.AiReplica Studioロボティクス・メカトロニクス講演会ディズニーamuseChitrakarQosmoAdobe MAX 2022トヨタ自動車Largo.ai巡回セールスマン問題かんばん方式Cinelyticジョルダン曲線メディアAdobe ResearchTaskade政治Galacticaプロット生成Pika.artクラウドゲーミングがんばれ森川君2号AI Filmmaking Assistant和田洋一リアリティ番組映像解析FastGANStadiaジョンソン裕子セキュリティ4コママンガAI ScreenwriterMILEsNightCafe東芝デジタルソリューションズ芥川賞インタラクティブ・ストリーミングLuis RuizSATLYS 映像解析AI文学インタラクティブ・メディア恋愛PFN 3D ScanElevenLabsタップル東京工業大学HeyGenAbema TVLudo博報堂After EffectsNECラップPFN 4D Scan絵本木村屋SIGGRAPH 2019ArtEmisZ世代DreamUp出版GPT StoreAIラッパーシステムDeviantArtAmmaar Reshi生成AIチェッカーWaifu DiffusionStoriesユーザーローカルGROVERプラスリンクス ~キミと繋がる想い~元素法典StoryBird九段理江FAIRSTCNovel AIVersed東京都同情塔チート検出Style Transfer ConversationOpen AIProlificDreamerオンラインカジノRCPUnity Sentis4Dオブジェクト生成モデルRealFlowRinna Character PlatformUnity MuseAlign Your GaussiansiPhoneCALACaleb WardAYGDeep Fluids宮田龍MAV3DMeInGameAmelia清河幸子ファーウェイAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクター西中美和4D Gaussian SplattingBCIGateboxアフォーダンス安野貴博4D-GSLearning from VideoANIMAKPaLM-SayCan斧田小夜Glaze予期知能逢妻ヒカリ宮本道人WebGlazeセコムLLaMA 2NightShadeユクスキュルバーチャル警備システムCode as PoliciesSpawningカント損保ジャパンCaPHugging FaceHave I Been Trained?CM3leonFortnite上原利之Stable DoodleUnreal Editor For FortniteドラゴンクエストエージェントアーキテクチャアッパーグラウンドコリジョンチェックT2I-AdapterXRPAIROCTOPATH TRAVELERxAI西木康智VolumetricsOCTOPATH TRAVELER 大陸の覇者山口情報芸術センター[YCAM]AIワールドジェネレーターアルスエレクトロニカ2019品質保証YCAM日本マネジメント総合研究所Rosebud AI GamemakerStyleRigAutodeskアンラーニング・ランゲージVoyagerLayer逆転オセロニアBentley Systemsカイル・マクドナルドLily Hughes-RobinsonCharisma.aiワールドシミュレーターローレン・リー・マッカーシーColossal Cave AdventureGDC 2024奥村エルネスト純いただきストリートH100鎖国[Walled Garden]​​プロジェクトAdventureGPT調査齋藤精一大森田不可止COBOLSIGGRAPH ASIA 2022リリー・ヒューズ=ロビンソンMeta Quest高橋智隆DGX H100VToonifyBabyAGIIPロボユニザナックDGX SuperPODControlVAEGPT-3.5 Turbo泉幸典仁井谷正充変分オートエンコーダーカーリング強いAIロボコレ2019Instant NeRFフォトグラメトリウィンブルドン弱いAIartonomous回帰型ニューラルネットワークbitGANsDeepJoin戦術分析ぎゅわんぶらあ自己中心派Azure Machine LearningAzure OpenAI Serviceパフォーマンス測定Lumiere意思決定モデル脱出ゲームDeepLIoTUNetHybrid Reward Architectureコミュニティ管理DeepL WriteProFitXImageFXウロチョロスSuper PhoenixWatsonxMusicFXProject MalmoオンラインゲームAthleticaTextFX気候変動コーチングSoraProject Paidiaシンギュラリティ北見工業大学KeyframerProject Lookoutマックス・プランク気象研究所レイ・カーツワイル北見カーリングホールAppleWatch Forビョルン・スティーブンスヴァーナー・ヴィンジ画像解析Gemini 1.5気象モデルRunway ResearchじりつくんAI StudioLEFT ALIVE気象シミュレーションMake-A-VideoNTT SportictVertex AI長谷川誠ジミ・ヘンドリックス環境問題PhenakiAIカメラChat with RTXBaby Xカート・コバーンエコロジーDreamixSTADIUM TUBESlackロバート・ダウニー・Jr.エイミー・ワインハウスSDGsText-to-ImageモデルPixelllot S3Slack AIソフトバンクPokémon Battle Scopeダフト・パンクメモリスタAIスマートコーチポケットモンスターGlenn MarshallkanaeruThe Age of A.I.Story2Hallucination音声変換Latitude占いレコメンデーションJukeboxDreamboothVeap Japanヤン・ルカンEAPneoAIPerfusionSIFT福井千春DreamIconニューラル物理学DCGAN医療mign毛髪MOBADANNCEメンタルケアstudiffuse荒牧英治人事ハーバード大学Edgar Handy中ザワヒデキ研修デューク大学大屋雄裕QA Tech Night中川裕志mynet.aiローグライクゲーム松木晋祐Adreeseen Horowitz東京理科大学下田純也NVIDIA Avatar Cloud Engine人工音声NeurIPS 2021産業技術総合研究所桑野範久Replica StudiosリザバーコンピューティングSmart NPCsプレイ動画ヒップホップ対話型AIモデルRoblox StudioソニーマーケティングPromethean AIサイレント映画もじぱnote環境音暗号通貨note AIアシスタントMusiioFUZZLEKetchupEndelAlterationAI News粒子群最適化法Art Selfie進化差分法オープンワールドArt TransferSonar群知能下川大樹AIFAPet PortraitsSonar+Dウィル・ライト高津芳希P2EBlob Opera大石真史クリムトDolby AtmosBEiTStyleGAN-NADASonar Music FestivalDETRライゾマティクスSporeクリティックネットワーク真鍋大度デノイズUnity for Industryアクターネットワーク花井裕也画像処理DMLabRitchie HawtinSentropyGLIDEControl SuiteErica SynthCPUDiscordAvatarCLIPAtari 100kUfuk Barış MutluSynthetic DataAtari 200MJapanese InstructBLIP AlphaCALMYann LeCun日本新聞協会プログラミングサム・アルトマン鈴木雅大AIいらすとやソースコード生成コンセプトアートAI PicassoGMAIシチズンデベロッパーSonanticColie WertzEmposyGitHubCohereリドリー・スコットAIタレントウィザードリィMCN-AI連携モデル絵コンテAIタレントエージェンシーUrzas.aiストーリーボードmodi.ai介護大阪大学BitSummit西川善司並木幸介KikiBlenderBitSummit Let’s Go!!サムライスピリッツ森寅嘉Zoetic AIゼビウスSIGGRAPH 2021ペットストリートファイター半導体Digital Dream LabsPaLM APIデジタルレプリカTopaz Video Enhance AICozmoMakerSuiteGOT7DLSSタカラトミーSkebsynthesia山野辺一記NetEaseLOVOTDreambooth-Stable-DiffusionHumanRF大里飛鳥DynamixyzMOFLINActors-HQRomiGoogle EarthSAG-AFTRAU-NetミクシィGEPPETTO AIWGA13フェイズ構造ユニロボットStable Diffusion web UIチャーリー・ブルッカーADVユニボPoint-EXLandGatoアパレル岡野原大輔AI model自己教師あり学習DEATH STRANDINGAI ModelsIn-Context Learning(ICL)Eric Johnson汎用強化学習AIZMO.AILoRAデザインMOBBY’SファインチューニングOculus Questコジマプロダクションロンドン芸術大学モビーディックグランツーリスモ生体情報デシマエンジンGoogle Brainダイビング量子コンピュータSound Controlアウトドアqubit写真SYNTH SUPERAIスキャニングIBM Quantum System 2照明Maxim PeterKarl Sims自動採寸北野宏明Joshua RomoffArtnome3DLOOKダリオ・ヒルハイパースケープICONATESizerジェン・スン・フアン山崎陽斗ワコールHuggingFace立木創太スニーカーStable Audio浜中雅俊UNSTREET宗教ミライ小町Newelse仏教テスラ福井健策CheckGoodsコカ・コーラGameGAN二次流通食品パックマンTesla Bot中古市場Coca‑Cola Y3000 Zero SugarTesla AI DayWikipediaDupe KillerCopilot Copyright Commitmentソサエティ5.0Sphere偽ブランドテラバースSIGGRAPH 2020バズグラフXaver 1000配信京都大学ニュースタンテキ養蜂立福寛東芝Beewiseソニー・ピクチャーズ アニメーション音声解析DIB-R倉田宜典フィンテック感情分析投資Fosters+Partners周 済涛韻律射影MILIZEZaha Hadid Architectsステートマシン韻律転移三菱UFJ信託銀行ディープニューラルネットワーク

TEZUKA2023が制作した『ブラック・ジャック』新作の舞台裏

2023.11.30アート

TEZUKA2023が制作した『ブラック・ジャック』新作の舞台裏

AIと人のコラボレーションで手塚治虫漫画の“新作”制作に挑む「TEZUKA2023」プロジェクト。その成果である『ブラック・ジャック』新作漫画が秋田書店「週刊少年チャンピオン」52号(11/22日発売号)に、読み切りとして掲載されました。タイトルは「TEZUKA2023 ブラック・ジャック 機械の心臓 – Heartbeat Mark II -」。巻頭カラー、32ページの作品です。

「週刊少年チャンピオン」52号(11/22日発売号)に掲載

あらすじは以下のとおり。

ピノコを連れて医療とAIの最先端技術が集まる企業を訪れたブラック・ジャックは、CEOから女性患者を診てほしいと依頼を受ける。患者には「AIを活用した完全な機械の心臓」が移植されていたが、完全なはずの心臓に血腫が発生していた。過去に同様の症状である本間血腫を治せなかったトラウマを持つブラック・ジャックは一度手術を断るが、ピノコの「どこからどこまでが人間なのか?」という問いに、この難題に立ち向かう決意をする。

このプロジェクトでは大規模言語モデル(LLM)のGPT-4、テキストから画像を生成するStable Diffusionといった生成AIが活用されています。では、どのように使ったのでしょうか。

クリエイターとAIを仲立ちするインタラクティブプロンプトAIを開発

制作工程の主な流れ

手塚治虫作品『ブラック・ジャック』は、秋田書店「週刊少年チャンピオン」で1973年11月~1983年10月まで連載された手塚治虫の代表作のひとつです。無免許の天才外科医ブラック・ジャックが活躍する医学ドラマで、当初は短期連載予定でしたが人気を博し、全243話が掲載されました。今年2023年に誕生50年を迎えた今でも人気があります。

『ブラック・ジャック』。1973年11月~1983年10月まで連載された手塚治虫の代表作

「TEZUKA2023」は、2020年に行われた「TEZUKA2020」の後継プロジェクトです。AIと人間のコラボレーションによって手塚漫画の“新作”の制作を目指したプロジェクトで、当時は漫画『ぱいどん』(講談社「週刊モーニング」掲載)を生み出しました。しかしAIの活用はシナリオ作成・キャラクター画像作成いずれにおいても一度だけ、最初だけに止まっていました。

【関連記事】人工知能に作家性を宿らせる方法:栗原聡氏×山野辺一記氏インタビュー(前編)

一方、今回の「TEZUKA2023」は、テキストから画像、または画像から画像を出力できる生成AIをフル活用。さらに、人間による入力とAIによる出力、それを見た人間による再入力といった制作過程を経ることで、AIと人間によるコラボレーションがインタラクティブに、何度も何度も繰り返して行われました。

AIの操作もクリエイター自身が行いました。生成AIから出力を得るにはプロンプトと呼ばれる入力を与える必要があります。生成AIから安定した出力結果を得ながらインタラクティブ性の高いやりとりを行うために、プロジェクトでは共創型AIサポートシステム「インタラクティブプロンプトAI」を開発しました。

研究の中核は人と生成AIを仲介する「インタラクティブプロンプトAI」

これは、プロジェクトの中心メンバーの一人である慶應義塾大学の栗原聡教授らが国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)事業「人と共に進化する次世代人工知能に関する技術開発事業」の委託業務「インタラクティブなストーリー型コンテンツ創作支援基盤の開発」のなかで開発した技術の活用です。

NEDO事業「インタラクティブなストーリー型コンテンツ創作支援基盤の開発」

生成AIとの仲介となるインタラクティブプロンプトAIを使うことにより、ユーザーのスキルに依存せず、安定したプロンプトの成形、コンテンツ特徴の自由な入れこみなどが可能になりました。インタラクティブなやりとりが自由にできる生成AIをクリエイターの創造性サポートツールとして使うことで、人の創造力が大いに発揮できたといいます。

人間と生成AIのあいだに入る「御用聞き」としてのAIを作成

慶應義塾大学 理工学部教授 栗原聡氏

発売前の11月20日にはプロジェクト概要の成果発表会が行われました。会見ではまず、プロジェクトの総合プロデューサーである慶應義塾大学 理工学部教授の栗原聡氏が、「我々はナラティブを必要とする生き物。自分達が作ったツールを使って実際にどんなコンテンツが作れるのかチャレンジした」と趣旨を紹介しました。そして「手塚治虫が存命であれば作ったであろうコンテンツを、AIのサポートを得ながら作成することに挑戦することを通して、人間とAIの共生がどうあるべきかを探り、作品が実際にどの程度一般の人にも受け入れられるのか、フィードバックを頂きたいと考えた」と述べました。

「TEZUKA2020」の目的は生成AIの可能性を探ること

研究成果物の中核は前述のインタラクティブプロンプトAIです。生成AIは生み出されたばかりの技術であり、さまざまな課題がありますが、「一番大きな課題は、我々が入力するプロンプトにある」と考えて、生成AIと人間の間に入る御用聞きを仲介として制作してプロンプト作成を行わせることにしました。そして、それを何度も繰り返すことで、クリエイターの創造魂をくすぐることを目指しました。利用者のリテラシーに依存せず生成AIを使ってもらえるようにする道具を作ることを想定し、実際にどんなプロンプトが入力されるかはユーザーには開示しないことにしました。それによって悪用も防げるといいます。

生命の尊厳や幸福を問いかける『ブラック・ジャック』らしい作品

手塚プロダクション 取締役 手塚眞氏

プロジェクトでは統括ディレクターとして活躍した手塚プロダクション 取締役の手塚眞氏は雑誌を手に取り「このように『チャンピオン』に『ブラック・ジャック』が復活しました。人間とAIが共同作業で完成させることができ、嬉しいしほっとしている」と語りました。『ブラック・ジャック』を選んだ理由は、誰もが知っている漫画であるため多くの人から評価をもらいやすいこと、240話以上のストーリーがあることからデータが豊富であること、キャラクターの位置付けや性格がはっきりしていること、連載50年の記念の年であることなど。手塚眞氏は「たいへん興味深いものができあがった。何より『ブラック・ジャック』らしいなと思ったのは中心テーマが命の尊厳として最初から入っていたことだった」と語りました。

あらすじも紹介され、手塚眞氏はネタバレに気をつけつつも内容について熱く語りました。「非常に現代的なテーマがふくまれている。人間には生まれながらの肉体があるが人工的な臓器で命を助けていくことを繰り返すと、その人は本当に幸せだろうかという問いかけが生まれる。これからの高齢化社会を迎える我々にとっても切実な課題。今後、長寿はどこまで意味があり、どこまでが幸せなのかという問題が出てくる。医学の問題だけではない。AIが社会に入っていくなかで人間の社会が本当にAIにくるまれてしまったときに人間にとって素晴らしいものかどうかという問いかけもふくまれている」と述べ、問題提起がふくまれていること、命や社会に関わっていることの2点があって『ブラック・ジャック』らしい、手塚治虫らしい作品となったと語りました。

シナリオ制作過程

はこだて未来大学 システム情報科学部教授 村井源氏

制作過程は以下のとおりです。まず、手塚治虫作品のあらすじを人間がデータ化し、AIに読み込ませる作業をしないといけません。どんなテーマがあり、どんな要素・関係性があるのか、きめ細かい調査作業が必要です。はこだて未来大学 システム情報科学部教授の村井源氏は「ブラック・ジャックを精密に分析し、ブラック・ジャックらしさは何かと発見することをまず第一とした」と語りました。そしてストーリーの流れや要素因子を抽出、数理モデルを作りました。

まずは『ブラック・ジャック』作品のデータ化から

その過程で、『ブラック・ジャック』は1話完結の短編スタイルでありながら物語の起伏が非常に複雑であり、かつ、さまざまな登場人物の視点から語られる多層的な構造になっていて読み手側がきちんと読み込まないといけない物語になっていることがわかり、非常にやりがいがあったそうです。

生成AIはパラメーター数の大きなモデルであればあるほど豊かな一般常識を持っていると考えられていますが、今回使われたChatGPT(GPT-4)自体のモデルは既に完成しているもので、そこに新たに追加学習させることはできません。

このプロジェクトでは前述の仲介人工知能にデータをひたすら読み込ませました。『ブラック・ジャック』のストーリー構造やキャラ性格なども仲介AIには入力されており、村井教授らの統計的モデルを中心としたストーリーの型のようなものから、ブラック・ジャック作品っぽいものがアウトプットされるようにしました。そのアウトプットを見て、クリエイターは再び入力を行うことで、さらに内容を洗練させていくことができます。

誰にとっても使いやすいUIを持った仲介AIを使ってプロンプトを作成し、生成AIから安定したアウトプットを得る

仲介AIではジャンルやアイデア、登場人物などの指定が可能で、シーンごとの視点変更や登場人物の追加や削除、一部分の修正などが自由に行えます。ある程度クリエイター側の入力を制限することで、逆に安定したツールとすることができたのです。

仲介AIのプロット編集機能

出力されたシナリオは、ト書やセリフに変換することもできます。「TEZUKA2020」のときには一番最初だけAIを使ったのですが「今回は最初から最後までAIと人間のコラボが可能になった」、少なくともAIが何かしらに貢献できるようになった点が大きな違いです。

シナリオからト書きに変換する機能も

このようなシナリオアウトプットを得ると、人間は新たなインスピレーションを得ることができます。そしてそれを再び入力すると、生成AIから新たな出力が得られます。このようにインタラクティブに入出力のサイクルをぐるぐる回すことで、シナリオの完成度を高めていくことができます。実際の作成は、改善点を皆で議論したり、医学監修の意見も入れながら、決めていきました。

実際の制作ステップのフロー

5つのチームがAIとやりとりを繰り返してプロットを練った

5つのチームでそれぞれ異なるプロットを作成

実際の制作フローについては、手塚プロダクションの石渡正人氏が紹介しました。プロット作成は5つのチームで行われました。テーマもそれぞれ異なり、サスペンス調やヒューマンドラマ的なものなど、色々あったそうです。チームで行うことにした理由は、特定の作家の個性や癖を抑えるため。そして色々な考えを入れながら、異なるジャンルの作品作りを行うことで、AIがどんなものを作ってくれるのかを見るためです。

手塚プロダクション 石渡正人氏

ディレクターの手塚氏は、チームでトライした理由として「出来レースになってしまうと実験にならない。だから色々なジャンルの人に集まってもらって、多方面からストーリー制作してもらった」と語りました。最終的に選ばれたのは映画監督・林海象氏のプロットでした。「人間とは何か、生命とはどういうことなのか、ブラック・ジャックはそのなかで何ができるのかという問いかけが感じられた」ことが決定の理由だったそうです。

クリエイターとAIは平均して70回くらいのやりとりを実行、プロットを練った

前述のとおり、プロットは何十回もAIとキャッチボールしながら、提案を受け入れたり拒否したりしながら最終完成形を目指しました。通常は70回くらいのやりとりを行ったそうです。そして、どれが一番今回の作品にするのにふさわしいかを議論し、最終的に林海象氏の「機械の心臓」に決定したという流れです。

クリエイターとのやりとり

映画監督・林海象氏

映画監督・林海象氏は、実際にAIを触りながらプロットを練った経験について語りました。まず最初に、ブラック・ジャックはさまざまな病気を治していますが、治せない病気はあるのかと考えてプロットを作成させたそうです。するとAIが「機械の心臓」というアイデアを提案してきたとのこと。また人工心臓の名前として「HeartBeat Mark II」という言葉を出してきたものもAIです。これには驚いたそうです。こうして最初に林氏が考えたアイデアとAIの発想を混ぜたものとしてプロットが作られていきました。

プロット作成から決定への流れ

林氏は「AIはキャッチボールの速度が早い。手塚作品の分析をしているだけではない」と語りました。「違う結末がないかなと言ったらすぐに作ってくる。実際に会話をしていた感じで、感情もわいてくるような気がする。こちらの聞き方次第なんだということがわかった。AIは仲間。非常に楽しかったです」と感想を述べました。

人間からAIへの指示、それに対する変更の例

なお林氏自身も手塚治虫の大ファンで、『ブラック・ジャック』は最初から読んでいたそうです。そして今回、雑誌に掲載された漫画を見て「誌面で見ると一番感動する。こんな嬉しいことはない」と語りました。そして、今回やってみて、一番感じたことは「AIの向こうに手塚治虫がいる」ということだったそうです。そのプレッシャーはすごくて、「逆にAIに助けてもらった感覚」があるとのことでした。

「AIの向こうに手塚治虫を感じた」と語る林海象監督

秋田書店「週刊少年チャンピオン」編集部からの視点も

秋田書店「週刊少年チャンピオン」編集部 担当編集者 田中良樹氏

今回は漫画掲載が決まっていたため、最初から秋田書店「週刊少年チャンピオン」編集部も参画しました。担当編集者の田中良樹氏は今回のプロットを見たとき「そこに至るまでの感情や心情が足らない。行動原理が不足している」と思ったそうです。AIがまだ苦手としている点なのかもしれません。手塚氏は会見でも「編集の意見はやはりこわい」と苦笑していました。

なお田中氏から見て一番よかった点は「リテイクが何十回もできること」だそうです。「AIには人格も執着もないので、ちょっとうまくいかないときもバッサリ切れる」とのことでした。AI自体については漫画のツールがアナログからデジタルへと広がったように「AIを使って、ちょっと描きやすくなった。『幅が広がった』という捉え方ができるのではないか。漫画家が主役なのは変わらない。アシストとしては今後も活用できそうだと考えた」と語りました。

セリフは人間が書き直し

今回のツールはプロットからト書き、セリフへと変換していくこともできます。今回も最終的に作り上げたシナリオを元にしたト書シナリオを作ったのですが、最終的にはセリフはそのままでは使わなかったそうです。AIが作ったセリフはどうしても説明的なものが多く、それをより漫画として適切なセリフに変更する必要があったとのこと。

ト書きシナリオも作成したがセリフはほぼ書き直した

これについて手塚眞氏は「映画の撮影現場で脚本のセリフを直すのと似ている」とコメントしました。林氏も「セリフはできるだけ短いほうがいい。でも『説明してくれ』と言われると長くなる」と語りました。

栗原氏は「膨大な知識を入れこむことはできるようになったので、手塚漫画を知ってる人なら『これはおかしい』と指摘することはできる。しかしAIは個々のキャラクターの奥にある背景や心情は作れない。人間でいう感情や感性を創造することは現時点ではできない。AIが得意なところと人間が得意なところは現時点では棲み分けている」と語りました。以上が、シナリオ作成部分の流れです。

AIは心情や空気感を作ることは苦手だがストーリーの骨格作りやアイデアだしには有用

Stable Diffusionをベースとした新キャラクター生成

画像生成も大幅に進歩

キャラクター画像の作成にも生成AIが使われています。「TEZUKA2020」の頃には生成AIはまだなかったのでGANを使って絵を作り、それを元にキャラクターを作るといった試みが行われました。今回、Stable Diffusionをベースとすることで絵の生成のクオリティは非常に高くなり、表情の豊かさも表現できるようになりました。

画像生成は2段階、2種類の方法で

慶應義塾大学 理工学部特任講師、オムロン サイニックエックス シニアリサーチャー 橋本敦史氏

慶應義塾大学 理工学部特任講師、オムロン サイニックエックス シニアリサーチャーの橋本敦史氏は、実はこれまで漫画の制作に興味を持ったことはなかったそうです。そこでこのプロジェクトに参画するにあたり、複数の人にヒアリングを行ったところ、生成AIを使ってビジュアルをデザインする工程はドラマのキャスティングに近いと考えるようになり、そのメタファーで開発することを決めたと語りました。つまり、最初に「書類選考」を行い、選んだキャラ画像を実際の作品にあてはめてみて「オーディション」をするといった2段階で考えたのです。

ゼロベースで作る方法と参考画像を取り込んで生成する二種類を使うことが可能

画像生成には2種類の方法を使うことができます。テキストの入力からゼロベースで作る方法と、参考画像を取り込んで生成する方法の2種類です。いずれもインタラクティブに条件をつけながら作成していける点は、シナリオ作りのときと同じです。

今回の「機械の心臓」には「マリア」と「川村」という新しいキャラクターが登場します。作成したのはこの二人で、マリアはゼロから作成し、「川村」は写真を取り込んで作成しました。マリアのほうは体の一部を人工臓器化している寝たきりの少女という設定ですので、ロボット生成モデルを組み立てて、幸せ感や笑顔を排除して生成しました。

栗原研究室の学生・川村さん。キャラのモデルになった

「川村」のほうは、今回のプロジェクトで林監督のサポートを行った栗原研究室の学生 川村さんの顔写真を取り込んだものです。名前ももちろん、ご本人から許可を得て取ったものです。なおシナリオ作りにおいてキャラクターの名前をつけることはとても重要だそうです。

新キャラ「マリア」と「川村」を作成

ユーザーインターフェースに条件を入力すると、10秒足らずの間に膨大な数の画像が生成されます。2020年の『ぱいどん』の頃はランダムに生成された画像の中から、それっぽいものを探していたのですが「今回は欲しい画像ばかりが出てきた。どれを見ても手塚治虫風」だったそうです。

「マリア」生成のUI画面

手塚漫画では、主人公にふたつのパターンがあります。患者が主人公なのか、ブラック・ジャック本人が主人公なのかの2パターンです。今回はブラック・ジャックが主人公で、患者はサブキャラですので、脇役としてふさわしい顔つきを手塚眞氏が選びました。「読者に感情移入してほしい、特に目を開けたときのかわいらしさに重点をおいた」そうです。

また、生成画像には額に線があったので、それを額につけたプレートとして発想するなど、さまざまな注文をつけて、何度も何度も描き直してもらったとのことです。

マリア決定デザイン。最終的な絵はすべて人が描いている

「川村」は前述のとおり慶応義塾大学の川村さんの写真がベースです。スタッフはかっこいい系統の顔を選んでいたのですが、手塚ディレクターはやはり主役ではないこと、そして川村は「大企業のCEOでエリート」という設定なのですが「エリートがエリートっぽいと嫌味なだけ」と考えて、「大企業のトップだけど実は優しいお父さん。だから人間的な顔にしよう」と考えて、愛嬌のある顔となりました。

写真をベースにした「川村」の作成

手塚漫画の脇役は癖があるキャラが多いことから、コミカルな感じで、髪の毛がボサボサという点も生かされて「手塚治虫が脇役に使いそうな顔。少しひょうきんなんだけど人間味のあるキャラクターとして選んだ」とのことでした。

最終的に愛嬌のある顔が選ばれた

AIコマ生成は参考画像として活用

コマ生成のための下処理

最後は下書きであるネームの作成、コマ生成です。ここはほぼ人による演出となりました。ただし、ここにもAIのサポートは活かされています。今回の漫画は最終的な絵はすべて人が描いていますが、その参考画像となるコマ生成にAIが使われました。

コマ生成のためには、手塚治虫が描いた『ブラック・ジャック』の単行本からコマを切り出し、セリフを除去。それぞれのコマを言葉で説明してアノテーションをつけました。これを学習データとしてStable Diffusionをファインチューニングすることで、プロンプトからブラック・ジャックとピノコであれば描けるようになりました。

ブラック・ジャックとピノコの2ショットであれば生成可能に

ブラック・ジャックは240話以上ありますが、それでも、キャラの絵のアングルは限られています。生成AIを使うことで、さまざまなアングルでのブラック・ジャック画像を生成することができ、構図や表現の位置関係の参考画像を作ることができるのです。

生成画像は漫画を描くときの参考画像として活用

たとえば、「正面を向いて考えているブラック・ジャック」であるとか、「後ろ姿」といった指定をすれば、そのような画像が出力されるので、それを参考にできるのです。

ブラック・ジャックの後ろ姿

電気通信大学 人工知能先端研究センター 准教授の稲葉通将氏は「手塚漫画には大胆なコマ割りも多いので、コマを綺麗に切り出すことが難しかった」と振り返りました。大変でしたが「想定したよりも手塚先生らしいものができているのではないか。いまは人数制限もあるし、ピノコとブラック・ジャックしか出せないが、まずはここまできた。もっとはるかに色々なものができるのは間違いない」とのことでした。

電通大 人工知能先端研究センター 准教授 稲葉通将氏

AIの性能を引き出すのは人間

手塚眞氏

最後に、クリエイターとしての感想が紹介されました。手塚眞氏は「AIをさわってもらうところから始めたので、最初はとまどっていたが、1時間くらいさわっているだけで要領がわかってくる。AIとのやりとりもテンポが心地よくなってくる」と紹介しました。ただし、人間の脚本家と仕事するときは最低1日、あるいは3、4日間があって、その間にどちらもじっくり考えて返しますが、AIは即座に返事してくるので「AIのテンポに人間が巻き込まれているようなところはあった」とのことです。

また、やりとりを繰り返すあいだに「親近感がわいてくる」とのことでした。「向こうに脚本家がいて、実際に書いているような、自然と人格を感じてしまう」そうです。そして「AIのほうが感情的なことを言ってくることもある。仕事の良いパートナーになるのではないか」と語りました。

今回の仲介AIのインターフェースを間に入れたことについては、評価しつつも「条件付けができすぎてしまう。AIが自由に出してくるものに、こちらも自由に考えることができるといいのではないか」と述べました。

実際に制作された漫画

今回はブラック・ジャックを学習データとしたことにより、いかにもブラック・ジャックっぽいシナリオが出力されてくるAIでしたが、手塚治虫をふくむ実際の漫画家は、過去のさまざまな学習成果の積み重ねから作品を生み出しています。つまり「ブラック・ジャックだけを学習すれば描けるわけではない。もっと広いデータを持たないといけない。これをどのようにデータ化させていくのか。それとインターフェースの問題がある」と問いかけました。

「ここに素晴らしいレーシングカーがある。誰が運転できるのか。完璧なプログラムがあったとしても、きちんと性能を熟知して操作できるのか。AIと接していくなかで、私たちがもっと馴染んでいって、要求を出していく、つまりAIの性能を僕らがもっと引き出してあげることが必要なのではないか」と述べました。

AIは感情表現が苦手という話もありましたが、それについては「苦手というよりはデータの持ち方」ではないかと考えているそうです。「感情、感覚、ニュアンス、間合い、一つのことが起きて、次が起こるまでの感情的な間、この間合いは、まだ見えてこない。感情的な問題や感覚は、人によって違う。人間の感覚をどのように学習していけばいいのか、偏らないようにするにはどうすればいいのか」といったことは今後の課題だと述べました。

AIはツール、ツールは使い方次第

良質なコンテンツの高速な量産を目指す

慶應義塾大学の栗原氏はNEDOプロジェクトとしてはまだ来年度が最終年度であり、今後も続くと述べました。そして「AIは優秀な道具。道具は使い方次第。AIの光と影とよく言われるが、光の部分はまだまだ掘り下げられていない。どれだけ光ることができるかは、まだこれから。光のところで少しでも貢献できれば」と語りました。

具体的にわかったこととしては、「人は何かあれば考える」ものなので「燃料を投下するのがAIの役割。燃やすのはクリエイター。クリエイティビティが増えて量産できるようになり、良いものをいっぱい作れることが重要。クリエイターもまだまだ先へいく。人工知能によって効率良く良いものを10倍、20倍と生み出すことができれば」と述べ、今後は「さまざまな人たちとコラボすることで、具体的にもっと良さを見てもらってコンテンツ生成をどんどん活性化させていきたい。良い形でコラボしていきたい」と語りました。

NEDO ロボット・AI 部長 古川善規氏

NEDO ロボット・AI 部長の古川善規氏もコメントし、「AIは基本的にはツール。クリエイターに使ってもらったことは有り難い。雑誌に掲載されたからこそこそわかる迫力もある」と語りました。

毎週描いていた手塚治虫は天才

会見の様子

最後に手塚眞氏は「やっと完成させたが、手塚治虫は毎週描いていた。やっぱり天才だな」と語りました。なお手塚治虫であれば「AIは使ったと思う」とのこと。プロジェクトが生み出した漫画が成功したかどうか、その結果の判断は「読者にお任せしたい」とのことでした。

関係者記念撮影

Writer:森山和道

RELATED ARTICLE関連記事

CGへの扉 Vol.25:変幻自在の顔も実は人工知能

2021.4.13アート

CGへの扉 Vol.25:変幻自在の顔も実は人工知能

CGへの扉 Vol.47:Gen-1登場。映像が映像を作る時代に

2023.2.14アート

CGへの扉 Vol.47:Gen-1登場。映像が映像を作る時代に

CGへの扉 Vol.13:AIのクリエイティブとクリエイティビティ再考

2020.4.23アート

CGへの扉 Vol.13:AIのクリエイティブとクリエイティビティ再考

RANKING注目の記事はこちら