モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
CG機械学習CGへの扉ディープラーニング安藤幸央GAN月刊エンタメAIニュース河合律子OpenAI音楽NVIDIAニューラルネットワーク強化学習三宅陽一郎吉本幸記Facebook人工知能学会自然言語処理大内孝子QA敵対的生成ネットワークGoogleGPT-3キャラクターAIスクウェア・エニックス森川幸人モリカトロンAIラボインタビュールールベースDeepMindシナリオAIと倫理グーグル映画倫理NFTDALL-E2StyleGAN自動生成デバッグゲームプレイAIメタAIロボット深層学習マイクロソフトCEDEC2019アートプロシージャルSIGGRAPH遺伝的アルゴリズムDALL-Eテキスト画像生成ビヘイビア・ツリーディープフェイクCEDEC2021CEDEC2020ゲームAIデジタルツインメタバース不完全情報ゲームVRナビゲーションAINPC畳み込みニューラルネットワークCLIPGDC 2021JSAI2022VFXGDC 2019マルチエージェントCEDEC2022ボードゲーム画像生成ファッション懐ゲーから辿るゲームAI技術史toioCNNAdobeテストプレイモリカトロンStable DiffusionUnity著作権AIアート小説鴫原盛之HTN階層型タスクネットワークJSAI2020TensorFlowBERTMicrosoftイベントレポート対話型エージェントロボティクス水野勇太アニメーションGenvid Technologiesガイスター画像生成AIStyleGAN2GTC2022教育ソニーJSAI2021スポーツ研究シムピープルマンガ汎用人工知能マーケティングGDC SummerインタビューバーチャルヒューマンブロックチェーンMidjourneyアストロノーカキャリアNVIDIA OmniverseeスポーツAmazoneSportsDQNBLUE PROTOCOLシーマンMinecraftアバターOmniverseUbisoftメタAlphaZeroTransformerGPT-2AIりんなカメラ環世界中島秀之哲学理化学研究所DARPAドローンシムシティImagenバイアスMCS-AI動的連携モデルモーションキャプチャーTEZUKA2020AI美空ひばり手塚治虫バンダイナムコ研究所スパーシャルAIElectronic ArtsメタデータLEFT 4 DEAD通しプレイOpenAI Five本間翔太CMピクサープラチナエッグイーサリアム作曲ボエダ・ゴティエビッグデータ中嶋謙互Amadeus Codeデータ分析Microsoft AzureMILEナラティブアーケードゲームOmniverse ReplicatorWCCFレコメンドシステムNVIDIA DRIVE SimWORLD CLUB Champion FootballNVIDIA Isaac Simセガ柏田知大軍事サイバーエージェント田邊雅彦トレーディングカードトレカ音声認識PyTorch眞鍋和子バンダイナムコスタジオaibo合成音声Meta齊藤陽介マインクラフトお知らせMagic Leap Oneチャットボットサルでもわかる人工知能VAE3DCGリップシンキングUbisoft La Forge自動運転車ワークショップ知識表現ウォッチドッグス レギオンIGDA秋期GTC2022どうぶつしょうぎEpic Gamesジェイ・コウガミ音楽ストリーミングMITAIロボ「迷キュー」に挑戦野々下裕子徳井直生マシンラーニング5GRival Peakクラウド対話エンジン斎藤由多加リトル・コンピュータ・ピープルコンピューティショナル・フォトグラフィーゴブレット・ゴブラーズ絵画rinnaシミュレーションデジタルヒューマン完全情報ゲーム坂本洋典釜屋憲彦ウェイポイントパス検索対談藤澤仁生物学GTC 2022画像認識SiemensStyleCLIPDeNA長谷洋平masumi toyota宮路洋一OpenSeaGDC 2022TextWorldSIGGRAPH ASIAEarth-2MagentaSFELYZA PencilGTC2021CycleGANデータマイニングNetHackはこだて未来大学キャラクターモーションフェイクニュースエージェントRPGSIGGRAPH 2022AIボイスアクターNVIDIA CanvasGPUALifeZork人工生命オルタナティヴ・マシンサウンドスケープASBS栗原聡ぱいどんテキスト生成不気味の谷ナビゲーションメッシュ松井俊浩ELYZAフルコトELYZA DIGEST3D音声合成西成活裕Apex LegendsELIZA群衆マネジメントNinjaコンピュータRPGライブビジネスアップルタウン物語新型コロナKELDIC周済涛メロディ言語清田陽司ゲームTENTUPLAYサイバネティックスMARVEL Future FightAstro人工知能史タイムラプスEgo4DAI哲学マップバスキア星新一日経イノベーション・ラボStyleGAN-XL敵対的強化学習StyleGAN3階層型強化学習GOSU Data LabGANimatorWANNGOSU Voice AssistantVoLux-GAN竹内将SenpAI.GGProjected GANMobalyticsSelf-Distilled StyleGAN馬淵浩希Cygamesニューラルレンダリング岡島学AWS SagemakerPLATO映像セリア・ホデント形態素解析frame.ioUXAWS LambdaFoodly誤字検出森山和道認知科学中川友紀子ゲームデザインSentencePieceアールティLUMINOUS ENGINELuminous ProductionsBlenderBot 3パターン・ランゲージ竹村也哉Meta AIちょまどマーク・ザッカーバーグGOAPWACULAdobe MAX 2021自動翻訳模倣学習AIライティングOmniverse AvatarAIのべりすとFPSNVIDIA RivaQuillBotマルコフ決定過程NVIDIA MegatronCopysmithNVIDIA MerlinJasperスタンフォード大学NVIDIA Metropolisパラメータ設計テニスバランス調整協調フィルタリング人狼知能テキサス大学AlphaDogfight TrialsAI Messenger VoicebotエージェントシミュレーションOpenAI CodexStarCraft IIHyperStyleMax CooperFuture of Life InstituteRendering with StyleメディアアートIntelDisney類家利直LAIKADisneyリサーチヴィトゲンシュタインRotomationGauGAN論理哲学論考GauGAN2京都芸術大学ドラゴンクエストライバルズ画像言語表現モデル不確定ゲームSIGGRAPH ASIA 2021PromptBaseDota 2モンテカルロ木探索ディズニーリサーチMitsuba2バンダイナムコネクサスソーシャルゲームEmbeddingワイツマン科学研究所ユーザーレビューGTC2020CG衣装mimicNVIDIA MAXINEVRファッションBaidu淡路滋ビデオ会議ArtflowERNIE-ViLGグリムノーツEponym古文書ゴティエ・ボエダ音声クローニング凸版印刷Gautier Boeda階層的クラスタリングGopherAI-OCR画像判定JuliusSIE鑑定ラベル付けTPRGOxia Palus大澤博隆バーチャル・ヒューマン・エージェントtoio SDK for UnityArt RecognitionSFプロトタイピングクーガー田中章愛実況パワフルサッカー石井敦銭起揚NHC 2021桃太郎電鉄茂谷保伯池田利夫桃鉄GDMC新刊案内パワサカマーベル・シネマティック・ユニバースコナミデジタルエンタテインメント成沢理恵MITメディアラボMCU岩倉宏介アベンジャーズPPOマジック・リープDigital DomainMachine Learning Project CanvasMagendaMasquerade2.0国立情報学研究所ノンファンジブルトークンDDSPフェイシャルキャプチャー石川冬樹サッカーモリカトロン開発者インタビュースパコン里井大輝Kaggle宮本茂則スーパーコンピュータバスケットボール山田暉松岡 聡Assassin’s Creed OriginsAI会話ジェネレーターTSUBAME 1.0Sea of ThievesTSUBAME 2.0GEMS COMPANYmonoAI technologyLSTMABCIモリカトロンAIソリューション富岳初音ミクOculusコード生成AISociety 5.0転移学習テストAlphaCode夏の電脳甲子園Baldur's Gate 3Codeforces座談会Candy Crush Saga自己増強型AItext-to-imageSIGGRAPH ASIA 2020COLMAPtext-to-3DADOPNVIDIA GET3DデバッギングBigGANGANverse3DDreamFusionMaterialGANRNNグランツーリスモSPORTAI絵師ReBeLグランツーリスモ・ソフィーUGCGTソフィーPGCVolvoFIAグランツーリスモチャンピオンシップStability AINovelAIRival PrakDGX A100NovelAI DiffusionVTuberユービーアイソフトWebcam VTuberモーションデータ星新一賞北尾まどかHALO市場分析ポーズ推定将棋メタルギアソリッドVフォートナイトメッシュ生成FSMメルセデス・ベンツRobloxMagic Leapナップサック問題Live NationEpyllion汎用言語モデルWeb3.0マシュー・ボールAIOpsムーアの法則SpotifyスマートコントラクトReplica StudioAWSamuseChitrakarQosmoAdobe MAX 2022巡回セールスマン問題Adobe MAXジョルダン曲線メディアAdobe ResearchMuZero政治Galacticaクラウドゲーミングがんばれ森川君2号pixiv和田洋一リアリティ番組映像解析Stadiaジョンソン裕子セキュリティMILEsNightCafe東芝デジタルソリューションズインタラクティブ・ストリーミングLuis RuizSATLYS 映像解析AIインタラクティブ・メディアポケモン3DスキャンCodexPFN 3D Scanシーマン人工知能研究所東京工業大学Ludo博報堂Preferred NetworksラップPFN 4D ScanSIGGRAPH 2019ArtEmisZ世代DreamUpAIラッパーシステムDeviantArtARWaifu DiffusionGROVERプラスリンクス ~キミと繋がる想い~元素法典FAIRSTCNovel AIチート検出Style Transfer ConversationOpen AIオンラインカジノRCPMicrosoft DesignerアップルRealFlowRinna Character PlatformイラストiPhoneCALADeep FluidsSoul Machines柿沼太一MeInGameAmeliaELSIAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクター大規模言語モデルBCIGateboxアフォーダンスLearning from VideoANIMAKPaLM-SayCan予期知能逢妻ヒカリPaLMセコムGitHub Copilotユクスキュルバーチャル警備システムCode as Policiesカント損保ジャパンCaP上原利之ドラゴンクエストエージェントアーキテクチャアッパーグラウンドPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者アルスエレクトロニカ2019品質保証StyleRigAutodesk逆転オセロニアBentley Systemsワールドシミュレーター奥村エルネスト純いただきストリートH100齋藤精一大森田不可止COBOL高橋智隆DGX H100ロボユニザナックDGX SuperPOD泉幸典仁井谷正充クラウドコンピューティングロボコレ2019Instant NeRFartonomousbitGANsぎゅわんぶらあ自己中心派Azure Machine Learning意思決定モデル脱出ゲームHybrid Reward Architectureコミュニティ管理ウロチョロスSuper PhoenixSNSProject Malmoオンラインゲーム気候変動Project PaidiaProject Lookoutマックス・プランク気象研究所Watch Forビョルン・スティーブンスBing気象モデルLEFT ALIVE気象シミュレーション長谷川誠ジミ・ヘンドリックス環境問題Baby Xカート・コバーンエコロジーロバート・ダウニー・Jr.エイミー・ワインハウスSDGsYouTubeダフト・パンクメモリスタGlenn MarshallThe Age of A.I.Story2Hallucination音声変換レコメンデーションJukebox松尾豊Veap JapanEAPテンセントSIFT福井千春DCGAN医療MOBADANNCEメンタルケア人事ハーバード大学Edgar Handy研修デューク大学Netflixmynet.aiローグライクゲーム東京大学東京理科大学人工音声NeurIPS 2021産業技術総合研究所リザバーコンピューティングプレイ動画ヒップホップソニーマーケティングサイレント映画もじぱNBA環境音暗号通貨現代アートFUZZLEAlteration粒子群最適化法進化差分法オープンワールド群知能下川大樹AIFAウィル・ライト高津芳希P2E大石真史BEiTStyleGAN-NADAレベルデザインDETRゲームエンジンSporeUnreal Engineデノイズ南カリフォルニア大学Unity for Industry画像処理SentropyGLIDECPUDiscordAvatarCLIPSynthetic DataCALMプログラミングサム・アルトマンソースコード生成LaMDAGMAIシチズンデベロッパーSonanticTRPGGitHubCohereウィザードリィMCN-AI連携モデルマジック:ザ・ギャザリングAI DungeonUrzas.ai介護西川善司並木幸介Kikiサムライスピリッツ森寅嘉Zoetic AIゼビウスSIGGRAPH 2021ペットストリートファイター半導体Digital Dream LabsTopaz Video Enhance AICozmoDLSSタカラトミー山野辺一記NetEaseLOVOT大里飛鳥DynamixyzMOFLINRomiU-Netミクシィ13フェイズ構造アドベンチャーゲームユニロボットADVユニボXLandGatoAGI手塚眞DEATH STRANDINGマルチモーダルEric Johnson汎用強化学習AIデザインOculus Questコジマプロダクションロンドン芸術大学生体情報デシマエンジンGoogle BrainインディーゲームSound Control写真高橋ミレイSYNTH SUPER照明Maxim PeterKarl SimsJoshua RomoffArtnomeハイパースケープICONATE山崎陽斗深層強化学習立木創太松原仁浜中雅俊ミライ小町武田英明テスラ福井健策GameGANパックマンTesla BotNEDOTesla AI DayWikipediaソサエティ5.0SphereSIGGRAPH 2020バズグラフXaver 1000ニュースタンテキ養蜂東芝BeewiseDIB-R倉田宜典フィンテック投資韻律射影MILIZE広告韻律転移三菱UFJ信託銀行

CGへの扉 Vol.38:AIで作りAIで届ける映像作品

2022.5.16アート

CGへの扉 Vol.38:AIで作りAIで届ける映像作品

ホラー映画を40万時間観たAIが考えたホラー映画とは

DVDレンタル事業から始まった映像配信企業 Netflix はマーケティングやレコメンデーションにAIやデータ解析を最大限生かしたサービスを提供している企業として知られています。その活用は凄まじく、例えばシリーズ作の1回目、2回目の映像の視聴継続率、視聴離脱率などから、その後に制作されるストーリーの変化や登場人物の出現時間までが視聴者にウケが良いように柔軟に変えられていくそうです。Netflix オリジナルの人気作品「ハウス・オブ・カード」は監督、出演者など、完全にNetflix視聴者の好みを集めて作られた、人気必須の作品だと言われています。

また、Netflixの視聴作品をお勧めするレコメンデーションに関する考え方は独特で、性別や年齢などを指標として見ていません。よく映像視聴サービスに登録する際、性別や年齢(生年月日)などの入力が求められる場合が多いでしょう。ところが Netflix の考えは異なります。例えば、ホラー映画好きの視聴者がいたとすると、その人は年齢や性別に関係なくホラー映画が好きであると予想されます。また、ホラー映画に興味が無い人からすると「ホラー映画」とすべて同じカテゴリにくくられがちですが、生粋のホラー映画好きであれば、ゾンビ映画が好きかもしれませんし、心理的ホラーが好きなのかもしれません。単に恋愛映画といっても、失恋もの、不倫もの、叶わぬ恋、危険な恋など、さまざまなタイプがあることを思い浮かべてみてください。

現状、ある映像作品がどういった要素を持っているかという分類は “tagger” と呼ばれる職種の人が実際に Netflix 作品を見て、8万種類ほどのタグ付け分類の作業に協力していると言われています。現在は人手で行われている作業ですが、映像とタグという対になるデータが大量に揃えば、その後の作業が機械学習の得意分野であることは明白です。現状はまだ精度やコスト面でAIに置き換えるまでには至っていないように思えますが、それも近い将来、手作業による分類とAIによる分類の役割は逆転していくことでしょう。

Netflix の過去の決算報告書によると、視聴者の75%〜80%がレコメンデーションをきっかけに映像作品を観ていることがわかっています。そういったレコメンデーションをさらに推し進めるため、最近では作品を選ぶ際の一覧画像も、視聴者の好みによって、出し分けられていることに気づいた人はいるでしょうか?

例えば同じ映画でも恋愛映画として楽しむ視聴者や、アクション映画として楽しむ視聴者、大御所俳優の演技を好む人や、SFメカが好きな人など、さまざまな好みがあります。それらの好みに合わせて、作品選択時のサムネイル画像も恋愛映画っぽいもの、アクション映画っぽいもの、俳優の表情を大きくとらえた画像など、視聴者に選んでもらいやすいよう、パーソナライズが進んでいるのです。

そういったさまざまな場面で AIに多大な投資をし、当然のごとく活用している Netflix が「実験的に AI でホラー映画を作ってみるという試みを行いました」という冗談をNetflixのコメディアカウント “Netflix Is A Joke” で展開しました。この映像作品は、現代のAIが作っている風に、ちぐはぐで意味不明な内容にしつつ、まだまだ発展途上のAIを笑い飛ばすといった目的のものです。

この作品は”I Forced a Bot to Write This Book(抄訳:ボットに無理やり書かせた本)” を出版した執筆家でありコメディアンでもあるKeaton Patti氏と協力して制作されました。40万時間分のホラー映画をAIに解析させ、そこからオリジナルストーリーを生み出したという謳い文句です。ある程度は機械学習などをさせて解析させているかもしれませんが、最終的には「笑える」映像を人間が選択して編集したものと解釈して間違いないでしょう。

まあ、オリジナルストーリーといっても、既存のホラー映画を切り貼りしたような、どこかで見たことのあるような展開ばかりです。子どものころに高熱を出した時にうなされながら見た悪夢のような独特の雰囲気をもった映像になっています。

けれども実際、映画館で上映されるような大作ホラー映画も、まったくの独自性を持った今まで見たことがなかったような作品というのは稀で、たいていは定番のストーリー展開、王道のストーリー展開、定番の映像カット、シーン構成、恐怖感があおられる音楽によって作られていることがほとんどです。実際にこの 4分半のジョーク作品には見覚えのある名作ホラー作品っぽいシーンが何度か登場します。

Netflix のジョークアカウント Netflix Is A Joke からの投稿


同様のアプローチで大量のコメディ映像を学習して制作された映像もありますが、お世辞にも面白いと言うのは難しいところです。ところが、これがあと数年もすれば文字通り簡単には笑い飛ばせないくらい笑える映像になるかもしれません。

The First Stand-Up Comedy Special Written Entirely By Bots コメディー版

The First Romantic Comedy Written Entirely By Bots 恋愛ドラマ編

The First Documentary Made Entirely By Bots ドキュメンタリー編

コンテンツ制作の支援ツールとしてのAIの台頭

2022年3月、オースティンで開催された映像と音楽、最新技術の展示会 SXSW 2022では、Wonder Dynamics 社より 2022年後半にリリース予定の Wonder AI Suite の発表がありました。また同時期に約12億円という巨額の投資受け入れの発表がありました。

Wonder Dynamics:https://www.wonderdynamics.com/

詳細はまだわかりませんが、Wonder Dynamics社は大作映画を作れるようなプラットフォームを構築中で、単なるVFXツールではないこと、映像制作のプロでなくとも、高品質の映像が作れることなどがあきらかになってきています。また Wallace Interactive というツールで映像の登場人物とチャットで会話できる仕組みなど、映像制作に限らない展開が期待されています。

Wonder Dynamics CEO のNikola Todorovic 氏が登録している特許情報から新サービスが予想できるかもしれません。ステルス(隠れて)研究開発が進んでいるAI技術をいち早く知るには、特許情報の活用も有益です。

・映像コンテンツ切り替え・同期システムおよび複数の映像フォーマット間の切り替え方法:Video content switching and synchronization system and method for switching between multiple video formats(米国特許 US20200413152A1)

文章だけであれば、さまざまなストーリー生成ツールが英語、日本語にかかわらず登場してきています。まったくゼロからベストセラーになるような面白い小説をAIが書けるか?と言われると、まだまだという印象ですが、人工知能OKの小説コンテストへの応募作品の数%がAI活用の作品であったり、徐々に補助ツールとして浸透しつつある気配が感じられます。

例えばすべてAIが文章を作成するのは無理にしても、人が書いた文章に手を入れて面白くしたり、誤字脱字の間違いや曖昧さを排除したり、冗長な文を簡潔にまとめたりといった文章執筆を補助する役目としては十分実用域に達してきています。

例えば DeepStoryというツールは、人間の脚本執筆を手助けする用途としてAIが最大限支援してくれるものです。そういった人間の創造性と、AIの膨大なデータ解析能力、機械学習能力を組み合わせたハイブリッドな創作支援はこれから様々な分野で広がっていくことが予想されます。DeepStoryのほかにもSaasbookなど商業ベースで展開を始めた執筆補助ツールも登場してきています。

しばらく前になりますが、2016年に話題になった3分の映像作品は、監督であるChris R. Wilsonが、Cleverbot というツールに登場人物の名前やセリフ、作品のタイトルを考えてもらったとのこと。言われないと、AIが関わっていることに気づかないかもしれない映像です。

映画一本をAIで自動生成するのは難しくとも予告編だけならなんとかなるかもしれません。IBMが20世紀フォックスと協力して制作されたAIによる映画の予告編は、予告編っぽいけれどもなんだか違和感のある映像でした。

Morgan | IBM Creates First Movie Trailer by AI [HD] | 20th Century FOX from Raymond on Vimeo.

映像としてのストーリー性をそれほど求めない用途として、ミュージックビデオの映像作りにAIを活用する事例は、インディーズ系のミュージシャンを中心に映像を見かけるようになってきました。

ここまでのさまざまなAIの進化を俯瞰してとらえるとOpenAI の DALL-E2のような言葉から画像を生み出す仕組みも驚くべきクオリティの出力が得られる程度には進化してきています。今後、大規模映像配信サービスの視聴者が面白いと考えるプロットに合ったストーリーをAIが自動生成し、その脚本を、バーチャル空間のバーチャル俳優が演じるといったことも可能性としては十分考えられることです。さらに映像シーンの起伏に合わせて、フルオーケストラの楽曲をAIが提供するといったことも可能になってきました。ただしこうやってAIで作られた映像作品が不滅の名作と呼ばれるようになるかどうかは、まだまだ未知数です。

本連載の今後の予定:「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。何か取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉

Vol.37:NVIDIA GTC 2022 レポート/アートとAIの視点で

Vol.36:創るためのAI〜AIと人間の創造性の未来:徳井直生氏講演レポート

Vol.35:マーベル・シネマティック・ユニバースを支える機械学習

Vol.34:注目論文よりCGの祭典 #SIGGRAPHAsia2021 を振り返る

Vol.33:AIの必然性 #SIGGRAPHAsia2021 レポート

Vol.32:Adobe Sneaks より進化の方向性を知る

Vol.31:人工知能が考える「顔」と、人が考える「顔」

Vol.30:SIGGRAPH2021レポート「ディープフェイクとの戦い」

Vol.29:AIの恩恵を受けるCG研究の世界。#SIGGRAPH2021 論文より

Vol.28:定番手法の他分野応用、自然言語処理AI由来の画像処理AI

Vol.27:眼に追いつけ追い越せ? カメラは機械学習により進化

Vol.26:アートを加速させるAIの役割 #GTC2021 レポート

≫≫すべてのバックナンバーはこちらから

Contributor:安藤幸央

RELATED ARTICLE関連記事

CGへの扉 Vol.19:コミュニケーションツールの新境地「NVIDIA MAXINE」

2020.10.15アート

CGへの扉 Vol.19:コミュニケーションツールの新境地「NVIDIA MAX...

デザイン支援に日本アニメ画生成も。画像生成アプリの展開まとめ

2022.11.25アート

デザイン支援に日本アニメ画生成も。画像生成アプリの展開まとめ

CGへの扉 Vol.2:なめらかなキャラクタアニメーションと、ディープラーニングの役目

2019.5.15アート

CGへの扉 Vol.2:なめらかなキャラクタアニメーションと、ディープラーニング...

RANKING注目の記事はこちら