モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。
- TAG LIST
- CGCGへの扉機械学習安藤幸央ディープラーニング月刊エンタメAIニュースGAN河合律子OpenAI音楽ニューラルネットワークNVIDIA三宅陽一郎強化学習吉本幸記QAGoogleFacebook人工知能学会GPT-3自然言語処理グーグルDeepMind大内孝子森川幸人敵対的生成ネットワークキャラクターAIスクウェア・エニックスモリカトロンAIラボインタビューマイクロソフトルールベースシナリオAIと倫理映画デバッグアートDALL-E2StyleGAN倫理ゲームプレイAINFT自動生成SIGGRAPHメタAIStable Diffusionテキスト画像生成ロボット深層学習CEDEC2019プロシージャル遺伝的アルゴリズムテストプレイモリカトロンDALL-Eビヘイビア・ツリーディープフェイクCEDEC2021CEDEC2020ゲームAIVFXデジタルツインメタバース不完全情報ゲームVRナビゲーションAI画像生成AINPC畳み込みニューラルネットワークCLIP画像生成GDC 2021JSAI2022GDC 2019マルチエージェントCEDEC2022AIアートボードゲームファッション懐ゲーから辿るゲームAI技術史toioCNNAdobeUnity著作権小説アニメーション鴫原盛之HTN階層型タスクネットワーク汎用人工知能JSAI2020TensorFlowインタビューBERTMicrosoftイベントレポート対話型エージェントロボティクスMetaMinecraft水野勇太Genvid TechnologiesガイスターStyleGAN2GTC2022教育ソニーJSAI2021スポーツ研究シムピープルMCS-AI動的連携モデルマンガマーケティングGDC SummerバーチャルヒューマンブロックチェーンMidjourneyアストロノーカキャリアNVIDIA OmniverseeスポーツAmazoneSportsDQNBLUE PROTOCOLシーマンアバターOmniverse3DCGUbisoftメタAlphaZeroTransformerGPT-2AIりんなカメラ環世界中島秀之哲学ベリサーブPlayable!ChatGPT理化学研究所ジェネレーティブAISIGGRAPH ASIADARPAドローンシムシティImagenZorkバイアスモーションキャプチャーTEZUKA2020AI美空ひばり手塚治虫バンダイナムコ研究所スパーシャルAIElectronic Arts3DメタデータLEFT 4 DEAD通しプレイOpenAI Five本間翔太CMピクサープラチナエッグイーサリアム作曲ボエダ・ゴティエビッグデータ中嶋謙互Amadeus Codeデータ分析Microsoft AzureMILE模倣学習ナラティブスタンフォード大学アーケードゲームOmniverse ReplicatorWCCFレコメンドシステムNVIDIA DRIVE SimWORLD CLUB Champion FootballNVIDIA Isaac Simセガ柏田知大軍事サイバーエージェント田邊雅彦トレーディングカードトレカ音声認識メディアアートPyTorch眞鍋和子バンダイナムコスタジオaibo合成音声齊藤陽介マインクラフトお知らせMagic Leap Oneチャットボットサルでもわかる人工知能VAEDreamFusionリップシンキングUbisoft La Forge自動運転車ワークショップ知識表現ウォッチドッグス レギオンIGDA秋期GTC2022どうぶつしょうぎEpic Gamesジェイ・コウガミ音楽ストリーミングMITAIロボ「迷キュー」に挑戦野々下裕子徳井直生マシンラーニング5GMuZeroRival Peakクラウド対話エンジン斎藤由多加リトル・コンピュータ・ピープルCodexコンピューティショナル・フォトグラフィーゴブレット・ゴブラーズ絵画rinnaイラストシミュレーションデジタルヒューマン完全情報ゲーム坂本洋典PaLM釜屋憲彦ウェイポイントパス検索対談藤澤仁生物学GTC 2022画像認識GPT-3.5SiemensStyleCLIPDeNA長谷洋平masumi toyota宮路洋一OpenSeaGDC 2022TextWorldEarth-2BingMagentaSFELYZA Pencil松尾豊GTC2021CycleGANデータマイニング東京大学NetHackはこだて未来大学キャラクターモーションフェイクニュースエージェントRPGSIGGRAPH 2022レベルデザインAIボイスアクターNVIDIA CanvasGPUALife人工生命オルタナティヴ・マシンサウンドスケープLaMDAAI DungeonASBS栗原聡ぱいどんテキスト生成不気味の谷ナビゲーションメッシュ松井俊浩ELYZAフルコトELYZA DIGEST音声合成西成活裕Apex LegendsELIZA群衆マネジメントNinjaコンピュータRPGライブビジネスアップルタウン物語新型コロナKELDIC周済涛メロディ言語清田陽司ゲームTENTUPLAYサイバネティックスMARVEL Future FightAstro人工知能史タイムラプスEgo4DAI哲学マップバスキア星新一日経イノベーション・ラボStyleGAN-XL敵対的強化学習StyleGAN3階層型強化学習GOSU Data LabGANimatorWANNGOSU Voice AssistantVoLux-GAN竹内将SenpAI.GGProjected GANMobalyticsSelf-Distilled StyleGAN馬淵浩希Cygamesニューラルレンダリング岡島学AWS SagemakerPLATO映像セリア・ホデント形態素解析frame.ioUXAWS LambdaFoodly誤字検出森山和道認知科学中川友紀子ゲームデザインSentencePieceアールティLUMINOUS ENGINELuminous ProductionsBlenderBot 3パターン・ランゲージ竹村也哉Meta AIちょまどマーク・ザッカーバーグGOAPWACULAdobe MAX 2021自動翻訳AIライティングOmniverse AvatarAIのべりすとFPSNVIDIA RivaQuillBotマルコフ決定過程NVIDIA MegatronCopysmithNVIDIA MerlinJasperNVIDIA Metropolisパラメータ設計テニスバランス調整協調フィルタリング人狼知能テキサス大学AlphaDogfight TrialsAI Messenger VoicebotエージェントシミュレーションOpenAI CodexStarCraft IIHyperStyleMax CooperFuture of Life InstituteRendering with StyleIntelDisney類家利直LAIKADisneyリサーチヴィトゲンシュタインRotomationGauGAN論理哲学論考GauGAN2京都芸術大学ドラゴンクエストライバルズ画像言語表現モデル不確定ゲームSIGGRAPH ASIA 2021PromptBaseDota 2モンテカルロ木探索ディズニーリサーチMitsuba2バンダイナムコネクサスソーシャルゲームEmbeddingワイツマン科学研究所ユーザーレビューGTC2020CG衣装mimicNVIDIA MAXINEVRファッションBaidu淡路滋ビデオ会議ArtflowERNIE-ViLGグリムノーツEponym古文書ゴティエ・ボエダ音声クローニング凸版印刷Gautier Boeda階層的クラスタリングGopherAI-OCR画像判定JuliusSIE鑑定ラベル付けTPRGOxia Palus大澤博隆バーチャル・ヒューマン・エージェントtoio SDK for UnityArt RecognitionSFプロトタイピングクーガー田中章愛実況パワフルサッカー石井敦銭起揚NHC 2021桃太郎電鉄茂谷保伯池田利夫桃鉄GDMC新刊案内パワサカマーベル・シネマティック・ユニバースコナミデジタルエンタテインメント成沢理恵MITメディアラボMCU岩倉宏介アベンジャーズPPOマジック・リープDigital DomainMachine Learning Project CanvasMagendaMasquerade2.0国立情報学研究所ノンファンジブルトークンDDSPフェイシャルキャプチャー石川冬樹サッカーモリカトロン開発者インタビュースパコン里井大輝Kaggle宮本茂則スーパーコンピュータバスケットボール山田暉松岡 聡Assassin’s Creed OriginsAI会話ジェネレーターTSUBAME 1.0Sea of ThievesTSUBAME 2.0GEMS COMPANYmonoAI technologyLSTMABCIモリカトロンAIソリューション富岳初音ミクOculusコード生成AISociety 5.0転移学習テストAlphaCode夏の電脳甲子園Baldur's Gate 3Codeforces座談会Candy Crush Saga自己増強型AItext-to-imageSIGGRAPH ASIA 2020COLMAPtext-to-3DADOPNVIDIA GET3DデバッギングBigGANGANverse3DMaterialGANRNNグランツーリスモSPORTAI絵師ReBeLグランツーリスモ・ソフィーUGCGTソフィーPGCVolvoFIAグランツーリスモチャンピオンシップStability AINovelAIRival PrakDGX A100NovelAI DiffusionVTuberユービーアイソフトWebcam VTuberモーションデータ星新一賞北尾まどかHALO市場分析ポーズ推定将棋メタルギアソリッドVフォートナイトメッシュ生成FSMメルセデス・ベンツRobloxMagic Leapナップサック問題Live NationEpyllion汎用言語モデルWeb3.0マシュー・ボールAIOpsムーアの法則SpotifyスマートコントラクトReplica StudioAWSamuseChitrakarQosmoAdobe MAX 2022巡回セールスマン問題Adobe MAXジョルダン曲線メディアAdobe Research政治Galacticaクラウドゲーミングがんばれ森川君2号pixiv和田洋一リアリティ番組映像解析Stadiaジョンソン裕子セキュリティMILEsNightCafe東芝デジタルソリューションズインタラクティブ・ストリーミングLuis RuizSATLYS 映像解析AIインタラクティブ・メディアポケモン3DスキャンPFN 3D Scanシーマン人工知能研究所東京工業大学Ludo博報堂Preferred NetworksラップPFN 4D ScanSIGGRAPH 2019ArtEmisZ世代DreamUpAIラッパーシステムDeviantArtARWaifu DiffusionGROVERプラスリンクス ～キミと繋がる想い～元素法典FAIRSTCNovel AIチート検出Style Transfer ConversationOpen AIオンラインカジノRCPMicrosoft DesignerアップルRealFlowRinna Character PlatformiPhoneCALADeep FluidsSoul Machines柿沼太一MeInGameAmeliaELSIAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクター大規模言語モデルBCIGateboxアフォーダンスLearning from VideoANIMAKPaLM-SayCan予期知能逢妻ヒカリセコムGitHub Copilotユクスキュルバーチャル警備システムCode as Policiesカント損保ジャパンCaP上原利之ドラゴンクエストエージェントアーキテクチャアッパーグラウンドコリジョンチェックPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者山口情報芸術センター［YCAM］アルスエレクトロニカ2019品質保証YCAMStyleRigAutodeskアンラーニング・ランゲージ逆転オセロニアBentley Systemsカイル・マクドナルドワールドシミュレーターローレン・リー・マッカーシー奥村エルネスト純いただきストリートH100鎖国［Walled Garden］プロジェクト齋藤精一大森田不可止COBOLSIGGRAPH ASIA 2022高橋智隆DGX H100VToonifyロボユニザナックDGX SuperPODControlVAE泉幸典仁井谷正充クラウドコンピューティング変分オートエンコーダーロボコレ2019Instant NeRFフォトグラメトリartonomous回帰型ニューラルネットワークbitGANsDeepJoinぎゅわんぶらあ自己中心派Azure Machine LearningAzure OpenAI Service意思決定モデル脱出ゲームDeepLHybrid Reward Architectureコミュニティ管理DeepL WriteウロチョロスSuper PhoenixSNSProject MalmoオンラインゲームGen-1気候変動Project PaidiaシンギュラリティProject Lookoutマックス・プランク気象研究所レイ・カーツワイルWatch Forビョルン・スティーブンスヴァーナー・ヴィンジ気象モデルRunway ResearchLEFT ALIVE気象シミュレーションMake-A-Video長谷川誠ジミ・ヘンドリックス環境問題PhenakiBaby Xカート・コバーンエコロジーDreamixロバート・ダウニー・Jr.エイミー・ワインハウスSDGsText-to-Imageモデル音楽生成AIYouTubeダフト・パンクメモリスタ音声生成AIGlenn MarshallScenarioThe Age of A.I.Story2Hallucination音声変換LatitudeレコメンデーションJukeboxAIピカソVeap JapanAI素材.comEAPneoAIテンセントSIFT福井千春DreamIconDCGAN医療mignMOBADANNCEメンタルケアstudiffuse人事ハーバード大学Edgar HandyAndreessen Horowitz研修デューク大学NetflixAIQVE ONEQA Tech Nightmynet.aiローグライクゲーム松木晋祐東京理科大学下田純也人工音声NeurIPS 2021産業技術総合研究所桑野範久リザバーコンピューティングBardプレイ動画ヒップホップ対話型AIモデル詩ソニーマーケティングControlNetサイレント映画もじぱnoteNBA環境音暗号通貨note AIアシスタント現代アートFUZZLEKetchupAlterationAI News粒子群最適化法Art Selfie進化差分法オープンワールドArt Transfer群知能下川大樹AIFAPet Portraitsウィル・ライト高津芳希P2EBlob Opera大石真史クリムトBEiTStyleGAN-NADA世界モデルDETRゲームエンジンDreamerV3SporeUnreal Engineクリティックネットワークデノイズ南カリフォルニア大学Unity for Industryアクターネットワーク画像処理DMLabSentropyGLIDEControl SuiteCPUDiscordAvatarCLIPAtari 100kSynthetic DataAtari 200MCALMYann LeCunプログラミングサム・アルトマン鈴木雅大ソースコード生成コンセプトアートGMAIシチズンデベロッパーSonanticColie WertzTRPGGitHubCohereリドリー・スコットウィザードリィMCN-AI連携モデルマジック：ザ・ギャザリング絵コンテUrzas.aiストーリーボード介護大阪大学西川善司並木幸介KikiBlenderサムライスピリッツ森寅嘉Zoetic AIプロンプトゼビウスSIGGRAPH 2021ペットGPT-4ストリートファイター半導体Digital Dream LabsPaLM APITopaz Video Enhance AICozmoMakerSuiteDLSSタカラトミーSkeb山野辺一記NetEaseLOVOTDreambooth-Stable-Diffusion大里飛鳥DynamixyzMOFLINゲーム背景RomiGoogle EarthU-NetミクシィGEPPETTO AI13フェイズ構造アドベンチャーゲームユニロボットStable Diffusion web UIADVユニボPoint-EXLandGatoAGI手塚眞DEATH STRANDINGマルチモーダルEric Johnson汎用強化学習AIデザインOculus Questコジマプロダクションロンドン芸術大学生体情報デシマエンジンGoogle BrainインディーゲームSound Control写真高橋ミレイSYNTH SUPER照明Maxim PeterKarl SimsJoshua RomoffArtnomeハイパースケープICONATE山崎陽斗深層強化学習立木創太松原仁浜中雅俊ミライ小町武田英明テスラ福井健策GameGANパックマンTesla BotNEDOTesla AI DayWikipediaソサエティ5.0SphereSIGGRAPH 2020バズグラフXaver 1000ニュースタンテキ養蜂東芝BeewiseDIB-R倉田宜典フィンテック投資韻律射影MILIZE広告韻律転移三菱UFJ信託銀行
CGへの扉 Vol.47：Gen-1登場。映像が映像を作る時代に
2023.2.14アート
ジェネレーティブAI（生成系AI）の台頭
AIが進化したら面倒な仕事はAIにやってもらって、絵を描いたり音楽を作ったりしてのんびりと過ごそうと考えていたら、現実はその逆で、AIが絵を描いたり音楽を作曲し始め、人間の仕事は面倒で複雑になる一方です。
人工知能が人間の知性を大幅に凌駕する「シンギュラリティ（技術的特異点）」という概念あります。この現象に到達するのが2045年と予想されていました。この「シンギュラリティ」という概念はアメリカの数学者でありSF作家でもあるヴァーナー・ヴィンジ氏が広めました。この予想がなされたのは1990年代のことです。近年ではレイ・カーツワイル（現在Googleのフェロー）の引用によって広く知られるようになりました。
ここ数年AIの進歩はめざましく、一部の用途では十分実用に耐えるレベルに近づいてきました。目に見える分かりやすい結果を導き出す事例としては、ジェネレーティブAI（生成系AI）が数多く台頭しています。こういった状況を踏まえ、一部では「シンギュラリティ」がもう少し早い段階で到達するのではないか、それはもしかしたら2025年頃ではないかとも言われています。
日々増え続けるジェネレーティブAIの情報を集めている There’s an AI for That では、2023年2月の時点で 451種類のタスクに対応する 1,694種のAIが登録されています。この数と種類は、皆さんがご存じのジェネレーティブAIの数よりも1桁も2桁も多いのではないでしょうか？ 数と規模はもちろん、AIの生成物や対応可能なタスクの多様性からも、もの凄いスピードでAI活用が広がっていることが分かります。
There’s an AI for Thatに検索キーワードを入れると、該当するタスクを実行するAIを見つけることができます。例えば “3D” というキーワードで検索すると、ソースコード共有サイトgithubのリンクから、サブスクリプションの課金モデルまでしっかり出来上がっているサービスまで、さまざまなソリューションがあっという間に見つかります。
- 2D画像から3Dデータを生成するMake3D、Kaedim
- 3D画像を扱うPoint-E、Masterpiece Studio
- 文章で指示するとテクスチャ素材を生成するPonzu.gg
- ゲーム用の部品や素材を生成するG3D、WithPoly
- インテリアデザインをサポートするGetfloorplan
映像クリエーターのコミュニティとともに作り上げたGen-1
研究が先か実用化が先か、必要性や需要性を示すニーズと研究開発の「種」であるシーズのどちらが先でどちらが重要かといった議論は、AIのような先進的テクノロジーであればあるほど難しい問題です。
2023年2月に登場した、参照画像や文章を元に動画を生成、加工するAI「Gen-1」が話題を集めています。昨今MidjourneyやStable Diffusionといった静止画を生成するAIが大きな話題を集め、当然次は動画を扱う段階になることは多くの人々が予想していました。けれどもそれが思った以上に早く、それも大層なクオリティで登場し、Midjourneyの存在には平然としていた動画クリエーターたちも戦々恐々とし始めた印象があります。
Gen-1は、アメリカニューヨークを拠点としたAIスタートアップRunway Researchによるものです。現在の社員数は40名、機械学習に強い技術者はもちろんのこと、バックエンドの開発者、iOSアプリの開発者など広く人材を募集中です。Runway Researchは、Stability.AI社とともに画像生成系のAI Stable Diffusionを作り上げたAIの研究開発を主軸とした企業です（ただし、現在はフォトストックGetty Images社からStability.AI社が訴えられていることから協力関係は解消されているもようです）。
サンプルでは、次のような事例を提示しました。映像制作の手間や試行錯誤のスピードを圧倒的に向上させるアプローチに期待がふくらみます。
現時点ではベータ版の段階で、一般の利用者はまだウェイティングリストに登録できるところまでです。生成される動画の品質や生成に必要なコンピューティングパワーや速度、費用が気になるところです。けれどもこういったツールの進化は止めようもなく、映像制作のワークフローを大きく変えていくであろうことも確かです。Customizationは、モーションキャプチャ、Maskはマスキング、Renderは膨大な時間をかけていたCGレンダリングの世界を大きく変革していくことでしょう。
Gen-1 の元となった論文 “Structure and Content-Guided Video Synthesis with Diffusion Models” も公開されています。
論文：Structure and Content-Guided Video Synthesis with Diffusion Models（拡散モデルを用いた構造と内容を導く映像合成手法）
こういった論文を詳しく読み解く場合、論文著者の書いた他の論文をチェックしたり、論文中で引用されている論文、また逆にこの論文を引用している他の論文などを探していきます。研究者であれば、研究活動のひとつとして当然のごとく行っていた事柄も、現在はAIの手助けによって加速的に調べて理解を深めることができるようになってきています。
さらに、Gen-1の登場の経緯として興味深いのは、純粋なAI研究の延長線上にGen-1が登場したのではなく、映像制作のクリエーターたちとともに、現場のニーズをとらえつつ、映像制作の手順やワークフローを考えながら Gen-1 の実装が作られていったことです。ライバルソリューションである Text2Live や Stable Diffusion 1.5 といった従来手法よりも生成動画の評価が高いことと、単なる映像制作の手段というだけでなく、Gen-1は「ストーリーテリング（物語を紡ぎ出す）」手段だとアピールしています。
デモとして公開されている Gen-1の生成した短編動画はそれぞれ技術デモとしての役割だけでなく、映像作品としても印象的なものが揃っています。もしAIが制作したと知らなかったとしても動画作品として成り立つほどの印象を与えているのです。
「現在主流となっているAIの大規模言語モデルを巨大化させるだけでは、AI活用は次の段階に発展することは難しい。規模の拡大だけに頼るべきではない」という主旨のことをMetaのチーフAIサイエンティストYann LeCun氏が論文やイベント等で発言しています。AIは自らの影響を予測する必要があると考えているそうです。
AIの真価は試行錯誤のスピードと回数
Runway ResearchはGen-1をふくむAIを活用したさまざまな映像系ソリューションを展開しています。あるアメリカのバラエティ番組では、それらを活用することで通常制作と編集に5時間ほどかかる作業を5分で完了したそうです。また、ミシェル・ヨーの活躍で注目を浴びている2023年3月に公開予定の映画「Everything Everywhere All at Once」のVFXチームでも活用され、映像から余計なものを除去したり、映像の中に加えたいシーンを文章で指示して生成し合成しているそうです。
Gen-1 とよく似たソリューションとしてはMetaのMake-A-VideoやGoogleのPhenaki、Dreamixがありますが、何となくすごいけれどもあくまで研究段階、見栄えの良いデモとして受け取られがちです。一方、Gen-1は映像制作にすぐにでも取り入れたくなる魅力や機能、配慮が伝わってきます。
今後は、Gen-1のようなジェネレーティブAIに適切な指示を出し、試行錯誤のスピードと回数を増やし、そこからできあがる最終的な映像をどれだけ素晴らしいものにできるかが人間クリエーターに残された道なのかもしれません。言葉で指示したら的確な映像を制作してくれるAIと人間の関係性は、映像ディレクター職の指示と、その指示を具現化する映像クリエーターの関係性に近いのかもしれませんし、それ以上のものかもしれません。
Runway Researchは「クリエイティビティの未来が、すべての人にとってアクセスしやすく、制御可能で、力を与えるものであることに注力する」ことを目標として掲げています。その言葉どおり、ハリウッド映画の最新CG/VFX級の映像制作がスマートフォンで使えるようになる日も近そうです。
本連載の今後の予定：「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。何か取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。
Vol.46：AIを活用したCG論文紹介 #SIGGRAPHAsia2022 より
Vol.45：大規模言語モデルChatGPTは仲間？ライバル？
Vol.44：AdobeMAX2022開催。SneaksよりAI活用の方向性を知る
Vol.42：現代の呪文promptが生み出すAIとの新しい関係性
Vol.41：AIが促進させるCG研究。SIGGRAPH2022論文より
Vol.37：NVIDIA GTC 2022 レポート／アートとAIの視点で
Vol.36：創るためのAI〜AIと人間の創造性の未来：徳井直生氏講演レポート
Contributor：安藤幸央
RANKING
