モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
CG機械学習ディープラーニングCGへの扉安藤幸央GAN月刊エンタメAIニュースニューラルネットワーク河合律子NVIDIA強化学習三宅陽一郎OpenAI音楽FacebookQAスクウェア・エニックスモリカトロンAIラボインタビュー敵対的生成ネットワーク森川幸人ルールベースDeepMindキャラクターAIシナリオNFTGPT-3デバッグCEDEC2019プロシージャル自動生成人工知能学会映画遺伝的アルゴリズムメタAI自然言語処理深層学習マイクロソフトビヘイビア・ツリー吉本幸記GoogleStyleGANCEDEC2021CEDEC2020ゲームAISIGGRAPH不完全情報ゲームナビゲーションAI畳み込みニューラルネットワークAIと倫理アートグーグルディープフェイクGDC 2021大内孝子VFXメタバースGDC 2019マルチエージェントゲームプレイAIVRボードゲームNPCDALL-EロボットCNNモリカトロンCLIPファッションHTN階層型タスクネットワークJSAI2020TensorFlowMicrosoftイベントレポートデジタルツインテストプレイUnityAIアート水野勇太小説アニメーションガイスターStyleGAN2懐ゲーから辿るゲームAI技術史toioJSAI2021スポーツ研究シムピープル汎用人工知能GDC Summerバーチャルヒューマンブロックチェーン倫理Adobeアストロノーカeスポーツ対話型エージェントAmazoneSportsBLUE PROTOCOLシーマンUbisoftAlphaZeroTransformerGPT-2カメラ環世界中島秀之鴫原盛之ソニーDARPAドローンシムシティAI美空ひばり手塚治虫Electronic ArtsメタデータLEFT 4 DEAD通しプレイOpenAI Five本間翔太CMピクサーBERTプラチナエッグイーサリアム作曲ビッグデータ中嶋謙互Amadeus CodeMicrosoft AzureキャリアNVIDIA OmniverseナラティブレコメンドシステムNVIDIA DRIVE SimNVIDIA Isaac Simサイバーエージェント音声認識ロボティクスPyTorchDQN眞鍋和子バンダイナムコスタジオMinecraft齊藤陽介マインクラフトお知らせチャットボットアバターサルでもわかる人工知能VAEUbisoft La Forge自動運転車ワークショップGenvid Technologiesメタ知識表現ウォッチドッグス レギオンIGDAどうぶつしょうぎジェイ・コウガミ音楽ストリーミングマシンラーニング画像生成テキスト画像生成クラウド対話エンジン斎藤由多加リトル・コンピュータ・ピープルコンピューティショナル・フォトグラフィーゴブレット・ゴブラーズ絵画AIりんなシミュレーション完全情報ゲーム坂本洋典釜屋憲彦ウェイポイントパス検索藤澤仁生物学GTC 2022画像認識GTC2022DeNA長谷洋平masumi toyota宮路洋一OpenSeaGDC 2022教育TextWorldSIGGRAPH ASIADALL-E2GTC2021CycleGANNetHackフェイクニュースエージェントAIボイスアクターNVIDIA CanvasGPUALifeZork人工生命オルタナティヴ・マシンサウンドスケープMCS-AI動的連携モデルASBSマンガモーションキャプチャーぱいどんTEZUKA2020ナビゲーションメッシュ松井俊浩バンダイナムコ研究所スパーシャルAIELYZAELYZA DIGEST3D音声合成マーケティングApex LegendsELIZANinjaコンピュータRPGアップルタウン物語KELDICメロディ言語ゲームTENTUPLAYMARVEL Future FightAstroタイムラプスEgo4Dインタビューバスキア日経イノベーション・ラボ敵対的強化学習階層型強化学習GOSU Data LabWANNGOSU Voice Assistant竹内将SenpAI.GGMobalytics馬淵浩希Cygames岡島学AWS Sagemaker映像セリア・ホデント形態素解析UXAWS Lambda誤字検出認知科学ゲームデザインSentencePieceLUMINOUS ENGINELuminous Productionsパターン・ランゲージ竹村也哉ちょまどボエダ・ゴティエGOAPAdobe MAX 2021模倣学習Omniverse AvatarFPSNVIDIA Rivaマルコフ決定過程NVIDIA MegatronNVIDIA Merlinスタンフォード大学NVIDIA Metropolisパラメータ設計テニスOmniverse Replicatorバランス調整協調フィルタリング人狼知能テキサス大学軍事AlphaDogfight TrialsAI Messenger VoicebotエージェントシミュレーションOpenAI CodexStarCraft IIHyperStyleFuture of Life InstituteRendering with StyleIntelDisneyLAIKADisneyリサーチRotomationGauGANGauGAN2ドラゴンクエストライバルズ画像言語表現モデル不確定ゲームSIGGRAPH ASIA 2021Dota 2モンテカルロ木探索ディズニーリサーチMitsuba2ソーシャルゲームEmbeddingワイツマン科学研究所GTC2020CG衣装NVIDIA MAXINEVRファッション淡路滋ビデオ会議ArtflowグリムノーツEponymゴティエ・ボエダ音声クローニングGautier Boeda階層的クラスタリングGopheraibo合成音声JuliusSIE鑑定TPRGOxia Palusバーチャル・ヒューマン・エージェントtoio SDK for UnityArt Recognitionクーガー田中章愛Meta石井敦銭起揚NHC 2021茂谷保伯池田利夫GDMC新刊案内マーベル・シネマティック・ユニバース成沢理恵MITメディアラボMCU著作権アベンジャーズマジック・リープDigital DomainMagic Leap OneMagendaMasquerade2.0ノンファンジブルトークンDDSPフェイシャルキャプチャーサッカーモリカトロン開発者インタビュー里井大輝Kaggle宮本茂則バスケットボール山田暉Assassin’s Creed OriginsAI会話ジェネレーターSea of ThievesGEMS COMPANYmonoAI technologyLSTMモリカトロンAIソリューション初音ミクOculusコード生成AI転移学習テストAlphaCodeBaldur's Gate 3CodeforcesCandy Crush Saga自己増強型AISIGGRAPH ASIA 2020COLMAPADOPデバッギングBigGANGANverse3DMaterialGANOmniverseリップシンキングRNNグランツーリスモSPORTReBeLグランツーリスモ・ソフィーGTソフィーVolvoFIAグランツーリスモチャンピオンシップRival PrakDGX A100VTuberユービーアイソフトWebcam VTuber星新一賞北尾まどかHALO市場分析将棋メタルギアソリッドVフォートナイトFSMEpic GamesRobloxナップサック問題Live Nation汎用言語モデルWeb3.0AIOpsSpotifyMITスマートコントラクトReplica StudioAWSamuseChitrakarQosmo巡回セールスマン問題徳井直生ジョルダン曲線メディア5GMuZero政治クラウドゲーミングRival Peakがんばれ森川君2号和田洋一リアリティ番組Stadiaジョンソン裕子MILEsNightCafeインタラクティブ・ストリーミングLuis Ruizインタラクティブ・メディアポケモンCodexシーマン人工知能研究所東京工業大学Ludo博報堂ラップSIGGRAPH 2019ArtEmisZ世代AIラッパーシステムARrinnaGROVERプラスリンクス ~キミと繋がる想い~FAIRSTCチート検出Style Transfer ConversationオンラインカジノRCPアップルRealFlowRinna Character PlatformiPhoneデジタルヒューマンDeep FluidsSoul MachinesMeInGameAmeliaAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクターBCIGateboxLearning from VideoANIMAK予期知能逢妻ヒカリセコムユクスキュルバーチャル警備システムカント損保ジャパン哲学対談上原利之ドラゴンクエストエージェントアーキテクチャアッパーグラウンドPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者Siemensアルスエレクトロニカ2019StyleCLIP品質保証StyleRigAutodesk逆転オセロニアBentley Systemsワールドシミュレーター奥村エルネスト純いただきストリートH100齋藤精一大森田不可止COBOL高橋智隆DGX H100ロボユニザナックDGX SuperPOD泉幸典仁井谷正充クラウドコンピューティングロボコレ2019Instant NeRFartonomousbitGANsぎゅわんぶらあ自己中心派Azure Machine Learning意思決定モデル脱出ゲームHybrid Reward Architectureコミュニティ管理ウロチョロスSuper PhoenixSNS理化学研究所Project Malmoオンラインゲーム気候変動Project PaidiaEarth-2Project Lookoutマックス・プランク気象研究所Watch Forビョルン・スティーブンスBing気象モデルLEFT ALIVE気象シミュレーション長谷川誠ジミ・ヘンドリックス環境問題Baby Xカート・コバーンエコロジーロバート・ダウニー・Jr.エイミー・ワインハウスSDGsMagentaYouTubeダフト・パンクメモリスタSFGlenn MarshallELYZA PencilThe Age of A.I.Story2Hallucination音声変換レコメンデーションJukebox松尾豊Veap JapanEAPテンセントSIFT福井千春DCGAN医療MOBADANNCEメンタルケア人事ハーバード大学Edgar Handy研修デューク大学Netflixデータマイニングmynet.aiローグライクゲーム東京大学東京理科大学人工音声NeurIPS 2021産業技術総合研究所はこだて未来大学リザバーコンピューティングプレイ動画ヒップホップキャラクターモーションソニーマーケティングサイレント映画もじぱNBA環境音暗号通貨現代アートFUZZLEAlteration粒子群最適化法RPG進化差分法オープンワールド群知能下川大樹AIFAウィル・ライト高津芳希P2E大石真史BEiTレベルデザインDETRSporeデノイズ南カリフォルニア大学画像処理SentropyCPUDiscordCALMプログラミングソースコード生成GMAIシチズンデベロッパーTRPGGitHubウィザードリィMCN-AI連携モデルAI Dungeon西川善司並木幸介サムライスピリッツ森寅嘉ゼビウスSIGGRAPH 2021ストリートファイター半導体Topaz Video Enhance AI栗原聡DLSS山野辺一記NetEase大里飛鳥DynamixyzU-Net13フェイズ構造アドベンチャーゲームADVXLandAGI手塚眞DEATH STRANDING不気味の谷Eric JohnsonOculus Questコジマプロダクション生体情報デシマエンジンインディーゲーム写真高橋ミレイ照明Maxim PeterJoshua Romoffハイパースケープ山崎陽斗深層強化学習立木創太ミライ小町テスラGameGANパックマンTesla BotTesla AI Dayソサエティ5.0SIGGRAPH 2020バズグラフニュースタンテキ東芝DIB-R倉田宜典韻律射影広告韻律転移

CGへの扉 Vol.5:SIGGRAPH 2019に見るCG研究と機械学習

2019.8.20アート

CGへの扉 Vol.5:SIGGRAPH 2019に見るCG研究と機械学習

コンピュータグラフィックスとインタラクティブ技術に関する世界最大の学会・展示会である第46回 SIGGRAPH 2019が、7月28日から8月1日の5日間、米国ロサンゼルスコンベンションセンターで開催されました。今年は、世界79カ国から 18,700人が参加し、180社の企業からの展示が行われました。論文発表やセッションの数は約700、その一部は YouTube Live, Facebook Live で配信され、約2万人が視聴しました。

SIGGRAPH 2019 における人工知能が活用された数々のCG研究

SIGGRAPHは多くのイベントやセッションで構成され、一般的な学会とは異なるコンピュータグラフィックスの祭典のようなカンファレンスです。しかし本分はやはり学会であり、トップカンファレンスと呼ばれる世界最高峰の学会の一つです。論文採択率が3割以下という狭き門で最近はアカデミックな研究者に加えてAdobe、Amazon、Google、Facebookといった企業からの論文が多くなっています。

今年の論文は世界30カ国から385本の投稿があり、そのうち111本が採択され、それに加えて年次の論文集から31本、合計142本の論文が発表されました。論文の内容も、王道のCG描画技術のみならず、3Dプリンタの応用技術、画像処理や動画処理、VRやARの研究、人の動きや顔の動きを取得するキャプチャ技術など、CG/VFXを取り巻くさまざまな分野に広がっています。

論文発表は全部で32の分野に分かれています。その中でも特に”Machine Learning for Rendering”、”Neural Rendering” の2つの分野では、CG描画のアプローチの一つとして機械学習やニューラルネットワークを活用した研究がなされています。SIGGRAPH 2019 の数ある論文の中から人工知能が活用された研究発表をいくつか紹介しましょう。

TileGAN: Synthesis of Large-Scale Non-Homogeneous Textures

TileGAN: Synthesis of Large-Scale Non-Homogeneous Textures

Paper Abstract Author Preprint Paper Video:https://github.com/afruehstueck/tileGAN
動画:https://www.youtube.com/watch?v=ye_HZOdW7kg

TileGANはGAN(敵対的生成ネットワーク)を用いたテクスチャ画像合成システムです。TileGANは、3DCG生成に欠かせない、大きく複雑なテクスチャ画像を合成し、かつインタラクティブに修正することが可能なツールとして実現しています。テクスチャ画像作成の際、描き手の好みや演出を加えた上で、違和感のない自然なつなぎ目、自然な変化をもつテクスチャ画像が生成でき、制作の現場でおおいに歓迎されることが予想されます。現在は研究段階ですが、近い将来、市販のツールに組み込まれることが期待されます。

Semantic Photo Manipulation With a Generative Image Prior

Semantic Photo Manipulation With a Generative Image Prior

動画:https://www.youtube.com/watch?v=q1K4QWrbCRM

GAN(敵対的生成ネットワーク)を活用し、インタラクティブでアーティスティックな画像処理を行うペイントツールです。実写の風景写真をもとに、邪魔なものを消したり、空や窓が足りない場合には平易な操作で書き足しができるとともに、自動的に自然な風景画像として調整してくれるツールです。変更したい部分をカーソルでなぞるだけで自然な素材に差し変わってくれます。MITとIBM Watson Labによる共同研究です。GANpaint Studio としてウェブブラウザで動作するオンラインデモも公開されています。

Single Image Portrait Relighting

Single Image Portrait Relighting

動画:https://www.youtube.com/watch?v=yxhGWds_g4I

カリフォルニア大学とGoogleとの共同研究で、1枚のポートレート写真の照明や光の様子を、撮影後に修正する技術です。人の顔を明るくしたり、背景のボケの様子を変えたり、日光が当たっている方向を変えるなど、普通の写真撮影では無理なことができます。素材としてRGB画像があれば十分で、最新のスマートフォンカメラに搭載されている深度情報などは必要としません。元となるデータは18人分のさまざまな方向から照明が当てられた画像情報を人の周りを360度全面LED照明に囲んだ特別なスキャン装置Light Stageを用いて取得。それらを学習データとして用いています。データセットの用意こそ難しいですが、仕組みとしては力技的な部分もあります。その仕組み上、現在は一人の顔、つまりはポートレート写真に限定されています。最新機種ではない、安価なスマートフォン上で動作する機能・アプリとして期待されます。

The Face of Art: Landmark Detection and Geometric Style in Portraits

The Face of Art: Landmark Detection and Geometric Style in Portraits

動画:https://vimeo.com/352720464

絵画のディテールを真似たポートレートを自動生成する技術です。さまざまなアーティスト、手法、スタイルの 160種類のアートワークを集め、それらを元データとしています。特定の画家のスタイルのタッチに写真画像を変換する技術は従来から研究されていますが、本研究では、画家のタッチだけでなく、絵画における独特の変形、顔の解釈なども反映されています。

例えばいつも面長なスタイルで描く画家、いつも極端に目の大きい顔を描く画家など、それらのスタイルを模倣したポートレート画像を、ポートレート写真から変換することができるのです。顔の構成要素を分解し、元となる絵画がどう変形しているのかを捉えつつ違和感のない変形を行なっています。ピカソ風、浮世絵風、ダヴィンチ風など、今は亡き有名画家に自画像を描いてもらったかのような出来栄えです。

MeshCNN: A Network With an Edge

MeshCNN: A Network With an Edge

動画:https://www.youtube.com/watch?v=3cKGSV-VUVI

MeshCNNは、三次元データをディープラーニングで扱うための工夫です。従来であれば、一般的なディープラーニングのライブラリで三次元データを扱うためには、ライブラリが取り扱いやすいデータ形式。例えばいったん二次元画像に変換して機械学習し、それらをまた三次元データに戻すといった無駄で効率の悪い作業が必要でした。MeshCNNは三次元データを取り扱うための配慮と効率を考慮した三次元モデル専用のCNN(Convolutional Neural Network:畳み込みニューラルネットワーク)です。テルアビブ大学と、Amazonの共同研究です。

クリエイティブなAIとは? コースノートから読み解くSIGGRAPHとAI

SIGGRAPHでは、会期中の初日、2日目にかけて「コース」というセッションが数多く開催されます。これはいわゆるチュートリアル、レクチャー形式の講義で、半日からまる1日かけて、現在のCG業界でのトレンドや知っておくべき基礎的知識などを専門家から教えてもらう学校の授業のようなものです。

今年のコースのひとつとしてイギリスのロンドン大学Smart Geometry Processing Groupのメンバーより「コンピュータグラフィックスのためのディープラーニング:CreativeAI」というコースが行われました。Smart Geometry Processing Groupは、ラフなスケッチから、衣服のモデルを形成する仕組みや、簡単な立方体の組み合わせから、大規模な都市のモデリングを生成するなど、ディープラーニングを最大限に活用したCG研究で知られる研究グループです。

CreativeAIコースの内容は下記のとおり

  • ニューラルネットワークの基礎
  • CGにおける教師あり学習
  • CGにおける教師なし学習
  • 非構造化データの学習
  • シミュレーション、アニメーションの学習

一般的な機械学習、ディープラーニング系の入門書や解説は多いですが、CG分野に特化した用途、実例や考え方を交えて紹介してある資料はとても貴重です。機械学習ライブラリPyTorchをもとにした解説中のソースコードも解説資料とともに公開されています。

解説資料+ソースコード:CreativeAI: Deep Learning for Computer Graphics

人間の画力を超越。NVIDIAによる GauGANドローイング

GauGAN は実在しないリアルな風景画像を平易に生成することができる敵対的生成ネットワークを活用したツールです。元となったデータは写真共有サイトFlickrにある海、湖、空、雲、木、森、花、丘、山など、180種類の風景にまつわるオブジェクトを100万枚以上学習させ実現したものです。名前の由来は印象派の画家ゴーギャン(Paul Gauguin)の名前と、敵対的生成ネットワーク(GAN)です。GauGANのベースとなっているのは2018年に発表されたPix2PixHDというシステムです。

GauGANで、一般的なペイントツールのように、ごくごく簡単に画面にオブジェクトや色領域を描いていくと、それに基づいたバランスとレイアウトを伴った、リアルで高精細な風景画が瞬時に描けてしまいます。もちろん描かれた風景画は、さまざまな学習データから合成したもので、実在の風景画ではありませんが、ペイントツールで描いた人が想像したそのままの雲、そのままの山の配置、演出したいとおりの空間の配置で自動的に描かれるのです。

NVIDIAとしてはGauGANによって人々の創造性を刺激し、AIなしではできないような芸術作品、想像力をより
広げ、手軽に具現化できる手助けをしていきたいそうで、実際に数々のハリウッド映画のコンセプトアートを手がける Colie Wertz 氏も、GauGANをコンセプトアート作りに生かしているそうです。

GauGANで生成した風景画をもとに、宇宙船を書き足している。(c) Colie Wertz

GauGANは、展示会場 NVIDIAのブースで常時展示されていたとともに、リアルタイムCGのデモを披露するイベント Real Time Live! でもお披露目され、観客の拍手喝采を浴びていました。

Real Time Live! での GauGANの発表の様子。何も無い青空が……
…. 情感豊かな風景に
Real Time Live ! で観客投票1位になった GauGAN開発チーム一同
展示会場ブースでの GauGAN のデモ展示

GauGAN

GauGAN のインタラクティブデモ。実際に操作して試すことができる。
http://nvidia-research-mingyuliu.com/gaugan
ソースコード:https://github.com/NVlabs/SPADE

アート文脈で人工知能がこれからどう関わっていくのか?

RuShi

SIGGRAPHの会場には、デジタル技術や3Dプリンターなどのテクノロジーを駆使したデジタルアート作品、メディアアート作品も展示されます。今年のアートギャラリーのテーマは“Proliferating Possibilities: Speculative Futures in Art and Design.”(増殖の可能性:アートとデザインのスペキュラティブな未来)と題され、speculate(思索)的なことをもたらす作品、問いや思考するきっかけをもたらし、さまざまな可能性を考えるきっかけとなる数々の作品が展示されました。

会場でとくに注目を浴びていたのは香港のアーティスト John Wong 氏の「RuShi」という作品。予測、運命、迷信を表した没入型のインスタレーションで、AI時代に本当に必要なものは何なのか? という問いを美しいビジュアリゼーションで表現したものです。タイトルの RuShi は、仏教用語で「如是(にょぜ)」のことを示し「かくのごとく、このように」といった意味を持ちます。ビッグデータと四柱推命を切り口に表現しており、予測とは何なのか占いとは何なのかを問いかけている作品です。

本連載の今後の予定:CGへの扉」は、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。なにか取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉:

Vol.1:CG/VFXにおける人工知能の可能性と、その限界

Vol.2:なめらかなキャラクタアニメーションと、ディープラーニングの役目

Vol.3:CGとAIの蜜月が今まで不可能だった映像を生みだす

Vol.4:CG/VFX制作に欠かせなくなったマシーンラーニングの勘所

Contributor:安藤幸央

RELATED ARTICLE関連記事

CGへの扉 Vol.6:Facebookが取り組むVRとAIのアプローチ

2019.9.13アート

CGへの扉 Vol.6:Facebookが取り組むVRとAIのアプローチ

CGへの扉 Vol.27:眼に追いつけ追い越せ? カメラは機械学習により進化

2021.6.15アート

CGへの扉 Vol.27:眼に追いつけ追い越せ? カメラは機械学習により進化

CGへの扉 Vol.2:なめらかなキャラクタアニメーションと、ディープラーニングの役目

2019.5.15アート

CGへの扉 Vol.2:なめらかなキャラクタアニメーションと、ディープラーニング...

RANKING注目の記事はこちら