モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
ディープラーニングCG機械学習CGへの扉安藤幸央GAN月刊エンタメAIニュースニューラルネットワーク強化学習三宅陽一郎音楽OpenAIモリカトロンAIラボインタビュー敵対的生成ネットワーク河合律子QAスクウェア・エニックスNVIDIAシナリオFacebookキャラクターAIルールベースDeepMindデバッグCEDEC2019プロシージャル人工知能学会映画ビヘイビア・ツリーGoogleCEDEC2021CEDEC2020ゲームAISIGGRAPH遺伝的アルゴリズム不完全情報ゲームメタAIナビゲーションAI森川幸人畳み込みニューラルネットワーク自然言語処理深層学習マイクロソフトAIと倫理グーグルStyleGAN自動生成GDC 2021GPT-3GDC 2019マルチエージェントVRボードゲームロボットアートCNNVFXモリカトロンゲームプレイAIファッションHTN階層型タスクネットワークディープフェイクJSAI2020大内孝子TensorFlowMicrosoftイベントレポートテストプレイAIアート水野勇太アニメーションガイスターNPCDALL-ECLIPStyleGAN2NFTtoio吉本幸記JSAI2021スポーツシムピープル汎用人工知能GDC SummerAdobeeスポーツ対話型エージェントeSportsBLUE PROTOCOLシーマン小説UbisoftAlphaZeroカメラ環世界中島秀之懐ゲーから辿るゲームAI技術史研究DARPAドローンシムシティAI美空ひばり手塚治虫Electronic Artsメタデータブロックチェーン通しプレイOpenAI Five本間翔太CM倫理ピクサーイーサリアム作曲中嶋謙互Amadeus CodeMicrosoft AzureデジタルツインアストロノーカキャリアナラティブAmazonサイバーエージェント音声認識ロボティクスPyTorchDQN眞鍋和子バンダイナムコスタジオUnity齊藤陽介マインクラフトお知らせアバターサルでもわかる人工知能VAEUbisoft La ForgeワークショップGenvid Technologies知識表現ウォッチドッグス レギオンIGDAどうぶつしょうぎジェイ・コウガミ音楽ストリーミングマシンラーニングクラウド斎藤由多加リトル・コンピュータ・ピープルコンピューティショナル・フォトグラフィーGPT-2完全情報ゲーム坂本洋典釜屋憲彦ウェイポイントパス検索藤澤仁生物学画像認識DeNA長谷洋平鴫原盛之masumi toyota宮路洋一TextWorldSIGGRAPH ASIAソニーGTC2021CycleGANフェイクニュースエージェントGPUALifeZork人工生命オルタナティヴ・マシンサウンドスケープMCS-AI動的連携モデルASBSマンガぱいどんTEZUKA2020ナビゲーションメッシュ松井俊浩スパーシャルAIマーケティングApex LegendsELIZANinjaコンピュータRPGアップルタウン物語KELDICメロディ言語ゲームTENTUPLAYLEFT 4 DEADMARVEL Future FightAstroタイムラプスEgo4Dバスキアバーチャルヒューマン日経イノベーション・ラボ敵対的強化学習階層型強化学習GOSU Data LabWANNGOSU Voice Assistant竹内将SenpAI.GGMobalytics馬淵浩希Cygames岡島学AWS Sagemaker映像セリア・ホデント形態素解析UXAWS Lambda誤字検出認知科学BERTゲームデザインSentencePieceLUMINOUS ENGINEプラチナエッグLuminous Productionsパターン・ランゲージ竹村也哉ちょまどボエダ・ゴティエビッグデータGOAPAdobe MAX 2021メタバース模倣学習NVIDIA OmniverseOmniverse AvatarFPSNVIDIA Rivaマルコフ決定過程NVIDIA MegatronNVIDIA Merlinスタンフォード大学NVIDIA Metropolisパラメータ設計テニスOmniverse Replicatorバランス調整レコメンドシステムNVIDIA DRIVE Sim協調フィルタリングNVIDIA Isaac Sim人狼知能テキサス大学軍事AlphaDogfight TrialsAI Messenger VoicebotエージェントシミュレーションOpenAI CodexStarCraft IIHyperStyleFuture of Life InstituteRendering with StyleIntelDisneyLAIKADisneyリサーチRotomationGauGANGauGAN2ドラゴンクエストライバルズ画像言語表現モデル不確定ゲームSIGGRAPH ASIA 2021Dota 2モンテカルロ木探索ディズニーリサーチMitsuba2ソーシャルゲームEmbeddingワイツマン科学研究所GTC2020CG衣装NVIDIA MAXINEVRファッション淡路滋ビデオ会議グリムノーツゴティエ・ボエダGautier Boeda階層的クラスタリングaiboJuliusSIETPRGバーチャル・ヒューマン・エージェントtoio SDK for Unityクーガー田中章愛石井敦銭起揚茂谷保伯MinecraftGDMC成沢理恵MITメディアラボ著作権マジック・リープMagic Leap OneMagendaノンファンジブルトークンDDSPサッカー里井大輝KaggleバスケットボールAssassin’s Creed OriginsSea of ThievesGEMS COMPANYmonoAI technology初音ミクOculus転移学習テストBaldur's Gate 3Candy Crush SagaSIGGRAPH ASIA 2020デバッギングBigGANMaterialGANリップシンキングRNNReBeL自動運転車VolvoRival Prakユービーアイソフト北尾まどかHALO将棋メタルギアソリッドVFSMナップサック問題汎用言語モデルSpotifyMITReplica StudioamuseChitrakar巡回セールスマン問題ジョルダン曲線5GMuZeroクラウドゲーミングRival Peak和田洋一リアリティ番組Stadiaジョンソン裕子MILEs対話エンジンインタラクティブ・ストリーミングインタラクティブ・メディアシーマン人工知能研究所Ludoゴブレット・ゴブラーズTransformerSIGGRAPH 2019ArtEmis絵画ARGROVERFAIRAIりんなチート検出オンラインカジノアップルRealFlowiPhoneシミュレーションDeep FluidsMeInGameAIGraphブレイン・コンピュータ・インタフェースBCILearning from Video予期知能ユクスキュルカント哲学ドラゴンクエストエージェントアーキテクチャPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者アルスエレクトロニカ2019StyleCLIPStyleRig逆転オセロニア奥村エルネスト純いただきストリート齋藤精一大森田不可止高橋智隆ロボユニザナック泉幸典仁井谷正充ロボコレ2019ぎゅわんぶらあ自己中心派Azure Machine Learning意思決定モデル脱出ゲームHybrid Reward ArchitectureウロチョロスSuper Phoenix理化学研究所Project Malmo教育Project PaidiaProject LookoutWatch ForBingLEFT ALIVE長谷川誠ジミ・ヘンドリックスBaby Xカート・コバーンロバート・ダウニー・Jr.エイミー・ワインハウスMagentaYouTubeダフト・パンクSFGlenn MarshallThe Age of A.I.Story2HallucinationレコメンデーションJukeboxテンセントSIFTDCGANMOBADANNCE人事ハーバード大学研修デューク大学mynet.aiローグライクゲームNetHack人工音声NeurIPS 2021はこだて未来大学プレイ動画ヒップホップサイレント映画NBA環境音現代アート粒子群最適化法進化差分法群知能下川大樹ウィル・ライト高津芳希大石真史BEiTレベルデザインDETRSporeAIボイスアクターデノイズ南カリフォルニア大学画像処理NVIDIA CanvasSentropyCPUDiscordCALMプログラミングソースコード生成GMAIシチズンデベロッパーTRPGGitHubウィザードリィMCN-AI連携モデルAI Dungeon西川善司並木幸介サムライスピリッツ森寅嘉ゼビウスSIGGRAPH 2021ストリートファイター半導体Topaz Video Enhance AI栗原聡DLSS山野辺一記NetEase大里飛鳥DynamixyzモーションキャプチャーU-Net13フェイズ構造アドベンチャーゲームADVXLandAGI手塚眞DEATH STRANDING不気味の谷Eric JohnsonOculus Questコジマプロダクション生体情報デシマエンジンインディーゲーム写真高橋ミレイ照明Maxim PeterJoshua Romoffハイパースケープ山崎陽斗深層強化学習立木創太バンダイナムコ研究所ミライ小町テスラGameGANELYZAパックマンTesla BotTesla AI Dayソサエティ5.0ELYZA DIGESTSIGGRAPH 2020バズグラフニュースタンテキ東芝DIB-R倉田宜典3D音声合成韻律射影広告韻律転移

瞬時の顔変形や言葉で描くペイントツールまで。進化を続ける新世代GAN

2021.12.17先端技術

瞬時の顔変形や言葉で描くペイントツールまで。進化を続ける新世代GAN

実在しない人物のフォトリアルな顔画像を生成するGAN(Generative Adversarial Network:敵対的生成ネットワーク)の登場は、「写真は現実にあるものを撮影する」という一般常識を大きく揺さぶりました。GANが登場して数年が経過した現在、同技術はCGアーティストが求めるような複雑な画像処理にも対応できるように進化しています。この記事では、こうした新世代GANを3つほど紹介します。

カートゥーン調にも瞬時に変化

イスラエルのテルアビブ大学は11月30日、フォトリアルな顔画像を生成するStyleGANを発展させたHyperStyleを発表しました。GANの代表的モデルであるStyleGANは、フォトリアルな顔画像を生成するのに時間を要していました。HyperStyleは生成時間の大幅な短縮に成功し、StyleGANが生成するような高画質な画像をおおむね1~2秒以内に生成します。さらに入力された顔画像の髪形を変えたり、老化させたりすることもほぼ瞬時にできます。

従来のGANではフォトリアルな画像を生成するのに、30億を超えるパラメーターが必要でした。HyperStyleはネットワーク設計を見直したことにより、パラメーターを劇的に減らすことに成功しました。パラメーターが削減された結果、演算処理が軽減されて生成時間が短縮されたのです。

HyperStyleはフォトリアルな変形だけではなく、入力された顔画像をPixerアニメ調、Disneyアニメ調、さらにはカートゥーン調にも変換できます。下の画像は、こうしたアニメ調への変形を従来のGANモデルと比較した表です。いちばん左の列が入力画像、いちばん右の列がHyperStyleの生成画像、中央の3列が従来のGANの生成画像です。比較するとHyperStyleの生成画像が従来のGANモデルのそれと遜色ないことがわかります。

テルアビブ大学研究チームは、HyperStyleのさらなる改良としてさまざまな変形に対応することを掲げています。つまり、従来であれば(髪型の変形や老化といった)特定の変形に特化したGANで実行していた変形を、単一のGANで実行できるようにするのが目標なのです。この目標のためには、学習画像データのさらなる充実が求められます。

参考論文:「HyperStyle:実在画像の編集のためのHyperNetworksを使ったStyleGANの反転

3DキャプチャとGANを組み合わせる

Disneyリサーチの研究チームは11月30日、3Dキャラクターの顔を造形する新手法を発表しました。「Rendering with Style」と名付けられたその新手法は、従来のレンダリング技術とGANを組み合わせたものです。

ハイエンドなゲームやSF映画で見られる3Dキャラクターの顔は、実在する人間の顔をキャプチャしたデジタルデータを活用して制作されます。こうした従来の方法では顔の形状や皮膚の質感の再現が重視される一方で、髪の毛や目元、口元のような顔のパーツにはあまり関心が向けられていませんでした。それゆえ、顔のパーツに関してはCGアーティストが手作業で仕上げていました。

Disneyリサーチの研究チームが提案する新手法は、CGアーティストが手作業で行っていた仕事をGANによって完成させる、というものです。具体的には、従来通りにキャプチャした顔のデジタルデータをGANの入力データとして与えます。そして、GANを使って髪の毛のような顔のパーツをフォトリアルに生成して顔に付加するのです。

この動画で解説されているようにRendering with Styleを使えば、デジタルな顔の造形におけるCGアーティストが費やす労力を大きく節約できる可能性があります。しかしながら、同手法によって熟練したCGアーティストの仕事に匹敵する結果を得るには、GAN自体のさらなる性能向上が不可欠となります。

また、Rendering with Styleを進化させる方向性として、ひげや眼鏡といった顔に対して周辺的なパーツに関してもGANによってフォトリアルに生成することを目指す、とDisneyリサーチのチームは述べています。

参考論文:「Rendering with Style:高品質な顔のレンダリングのための伝統とニューラルなアプローチの合成」

アウトラインは言葉でOK

大手GPUメーカーであり近年ではAI研究でも有名なNVIDIAは2019年中ごろ、GANの一種「GauGAN」を利用したペイントツールを発表しました。同ツールは描線でアウトラインを引いた後、「山」や「川」といった描画オブジェクトを指定すると、アウトラインに沿ってフォトリアルなオブジェクトを生成するというものでした。2021年11月、同ツールにテキストの内容に沿ってフォトリアルな画像を生成する新機能が追加されました(以下の動画参照)。この新機能には、テキストを画像に変換するGANである「GauGAN2」が活用されています。

以上のようなペイントツールを使えば、「湖に隣接した山々」のように言葉でおおまかなアウトラインを指定してからAIを使ってフォトリアルな山や湖を生成後、最終調整を手作業で行う、というような作業フローが可能となります。さらにはいわゆる「絵心」がないユーザーがCGアーティストと共同作業する場合にも、同ツールはその威力を発揮するでしょう。

同ツールに実装されたGauGAN2は、「冬」「霧」などの単語に対応する1,000万枚の画像学習データを使って訓練されました。こうした入力テキストからその内容に合致する画像を生成するAIモデルは、今年1月にOpenAIがDALL-Eを発表したことで注目を集めるようになりました。こうしたAIモデルは最近では「画像言語表現モデル(Image Language Representation model)」と総称されるようになり、このジャンルのAIモデルとして今年5月にはGoogleが開発した「ALIGN」、11月にはMicrosoftの「Turing Bletchley」が発表されています。

参考記事:CGへの扉 Vol.22:言葉から画像を生成、DALL-Eはクリエイティブなのか?

以上のように新世代のGANは、CGアーティストが利用するグラフィックツールに実装されると便利そうな実践的な機能を実現しています。こうした新しいGANはCGアーティストの労力を削減すると同時に、CG制作の訓練を受けていない一般ユーザーがCG制作にチャレンジするのを後押ししてくれるのではないでしょうか。

Writer:吉本幸記、Image by NVIDIA

RELATED ARTICLE関連記事

アップル新型iPhoneを発表、機械学習を活用したカメラ機能にも期待

2019.9.11先端技術

アップル新型iPhoneを発表、機械学習を活用したカメラ機能にも期待

サッカーの戦術分析にも活躍。AI活用の新たなフロンティアとしての(e)スポーツ分析

2021.5.25先端技術

サッカーの戦術分析にも活躍。AI活用の新たなフロンティアとしての(e)スポーツ分...

AIがホワイトカラーから仕事を奪う時代:月刊エンタメAIニュース vol.21

2021.9.24先端技術

AIがホワイトカラーから仕事を奪う時代:月刊エンタメAIニュース vol.21

RANKING注目の記事はこちら