モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
ディープラーニングモリカトロンAIラボインタビューゲームAI機械学習CGCGへの扉遺伝的アルゴリズムGDC 2019さかき漣小説薄明のバルドは知っているVFX映画不完全情報ゲーム三宅陽一郎GANガイスターボードゲームCEDEC2019SIGGRAPHニューラルネットワークデバッグVRスクウェア・エニックスAlphaZeroCMAmadeus CodeイベントレポートQAメタAIキャラクターAIシーマン齊藤陽介サルでもわかる人工知能どうぶつしょうぎ音楽ファッションゲームブロックチェーンOpenAI Five強化学習映像ピクサーAdobe作曲ビッグデータアストロノーカナラティブモリカトロンパラメータ設計バランス調整対話型エージェント人狼知能マルチエージェントエージェントシミュレーション音声認識ロボティクスナビゲーションAIeSportsDota 2OpenAIソーシャルゲーム眞鍋和子淡路滋グリムノーツゴティエ・ボエダGautier BoedaJuliusTPRGバーチャル・ヒューマン・エージェントクーガー石井敦茂谷保伯森川幸人成沢理恵お知らせマジック・リープMagic Leap Oneノンファンジブルトークン水野勇太里井大輝GEMS COMPANY初音ミク転移学習敵対的生成ネットワークデバッギングアニメーションリップシンキングUbisoftUbisoft La Forgeワークショップ知識表現IGDA北尾まどか将棋畳み込みニューラルネットワークナップサック問題ジェイ・コウガミ音楽ストリーミングSpotifyReplica Studioamuseマシンラーニング5Gクラウドゲーミング和田洋一Stadiaクラウド対話エンジン斎藤由多加ロボットシーマン人工知能研究所ゴブレット・ゴブラーズSIGGRAPH 2019深層学習ARマイクロソフトAIりんなアップルiPhoneカメラ完全情報ゲームAIGraph環世界中島秀之予期知能

CGへの扉 Vol.5:SIGGRAPH 2019に見るCG研究と機械学習

2019.8.20アート

CGへの扉 Vol.5:SIGGRAPH 2019に見るCG研究と機械学習

コンピュータグラフィックスとインタラクティブ技術に関する世界最大の学会・展示会である第46回 SIGGRAPH 2019が、7月28日から8月1日の5日間、米国ロサンゼルスコンベンションセンターで開催されました。今年は、世界79カ国から 18,700人が参加し、180社の企業からの展示が行われました。論文発表やセッションの数は約700、その一部は YouTube Live, Facebook Live で配信され、約2万人が視聴しました。

SIGGRAPH 2019 における人工知能が活用された数々のCG研究

SIGGRAPHは多くのイベントやセッションで構成され、一般的な学会とは異なるコンピュータグラフィックスの祭典のようなカンファレンスです。しかし本分はやはり学会であり、トップカンファレンスと呼ばれる世界最高峰の学会の一つです。論文採択率が3割以下という狭き門で最近はアカデミックな研究者に加えてAdobe、Amazon、Google、Facebookといった企業からの論文が多くなっています。

今年の論文は世界30カ国から385本の投稿があり、そのうち111本が採択され、それに加えて年次の論文集から31本、合計142本の論文が発表されました。論文の内容も、王道のCG描画技術のみならず、3Dプリンタの応用技術、画像処理や動画処理、VRやARの研究、人の動きや顔の動きを取得するキャプチャ技術など、CG/VFXを取り巻くさまざまな分野に広がっています。

論文発表は全部で32の分野に分かれています。その中でも特に”Machine Learning for Rendering”、”Neural Rendering” の2つの分野では、CG描画のアプローチの一つとして機械学習やニューラルネットワークを活用した研究がなされています。SIGGRAPH 2019 の数ある論文の中から人工知能が活用された研究発表をいくつか紹介しましょう。

TileGAN: Synthesis of Large-Scale Non-Homogeneous Textures

TileGAN: Synthesis of Large-Scale Non-Homogeneous Textures

Paper Abstract Author Preprint Paper Video:https://github.com/afruehstueck/tileGAN
動画:https://www.youtube.com/watch?v=ye_HZOdW7kg

TileGANはGAN(敵対的生成ネットワーク)を用いたテクスチャ画像合成システムです。TileGANは、3DCG生成に欠かせない、大きく複雑なテクスチャ画像を合成し、かつインタラクティブに修正することが可能なツールとして実現しています。テクスチャ画像作成の際、描き手の好みや演出を加えた上で、違和感のない自然なつなぎ目、自然な変化をもつテクスチャ画像が生成でき、制作の現場でおおいに歓迎されることが予想されます。現在は研究段階ですが、近い将来、市販のツールに組み込まれることが期待されます。

Semantic Photo Manipulation With a Generative Image Prior

Semantic Photo Manipulation With a Generative Image Prior

動画:https://www.youtube.com/watch?v=q1K4QWrbCRM

GAN(敵対的生成ネットワーク)を活用し、インタラクティブでアーティスティックな画像処理を行うペイントツールです。実写の風景写真をもとに、邪魔なものを消したり、空や窓が足りない場合には平易な操作で書き足しができるとともに、自動的に自然な風景画像として調整してくれるツールです。変更したい部分をカーソルでなぞるだけで自然な素材に差し変わってくれます。MITとIBM Watson Labによる共同研究です。GANpaint Studio としてウェブブラウザで動作するオンラインデモも公開されています。

Single Image Portrait Relighting

Single Image Portrait Relighting

動画:https://www.youtube.com/watch?v=yxhGWds_g4I

カリフォルニア大学とGoogleとの共同研究で、1枚のポートレート写真の照明や光の様子を、撮影後に修正する技術です。人の顔を明るくしたり、背景のボケの様子を変えたり、日光が当たっている方向を変えるなど、普通の写真撮影では無理なことができます。素材としてRGB画像があれば十分で、最新のスマートフォンカメラに搭載されている深度情報などは必要としません。元となるデータは18人分のさまざまな方向から照明が当てられた画像情報を人の周りを360度全面LED照明に囲んだ特別なスキャン装置Light Stageを用いて取得。それらを学習データとして用いています。データセットの用意こそ難しいですが、仕組みとしては力技的な部分もあります。その仕組み上、現在は一人の顔、つまりはポートレート写真に限定されています。最新機種ではない、安価なスマートフォン上で動作する機能・アプリとして期待されます。

The Face of Art: Landmark Detection and Geometric Style in Portraits

The Face of Art: Landmark Detection and Geometric Style in Portraits

動画:https://vimeo.com/352720464

絵画のディテールを真似たポートレートを自動生成する技術です。さまざまなアーティスト、手法、スタイルの 160種類のアートワークを集め、それらを元データとしています。特定の画家のスタイルのタッチに写真画像を変換する技術は従来から研究されていますが、本研究では、画家のタッチだけでなく、絵画における独特の変形、顔の解釈なども反映されています。

例えばいつも面長なスタイルで描く画家、いつも極端に目の大きい顔を描く画家など、それらのスタイルを模倣したポートレート画像を、ポートレート写真から変換することができるのです。顔の構成要素を分解し、元となる絵画がどう変形しているのかを捉えつつ違和感のない変形を行なっています。ピカソ風、浮世絵風、ダヴィンチ風など、今は亡き有名画家に自画像を描いてもらったかのような出来栄えです。

MeshCNN: A Network With an Edge

MeshCNN: A Network With an Edge

動画:https://www.youtube.com/watch?v=3cKGSV-VUVI

MeshCNNは、三次元データをディープラーニングで扱うための工夫です。従来であれば、一般的なディープラーニングのライブラリで三次元データを扱うためには、ライブラリが取り扱いやすいデータ形式。例えばいったん二次元画像に変換して機械学習し、それらをまた三次元データに戻すといった無駄で効率の悪い作業が必要でした。MeshCNNは三次元データを取り扱うための配慮と効率を考慮した三次元モデル専用のCNN(Convolutional Neural Network:畳み込みニューラルネットワーク)です。テルアビブ大学と、Amazonの共同研究です。

クリエイティブなAIとは? コースノートから読み解くSIGGRAPHとAI

SIGGRAPHでは、会期中の初日、2日目にかけて「コース」というセッションが数多く開催されます。これはいわゆるチュートリアル、レクチャー形式の講義で、半日からまる1日かけて、現在のCG業界でのトレンドや知っておくべき基礎的知識などを専門家から教えてもらう学校の授業のようなものです。

今年のコースのひとつとしてイギリスのロンドン大学Smart Geometry Processing Groupのメンバーより「コンピュータグラフィックスのためのディープラーニング:CreativeAI」というコースが行われました。Smart Geometry Processing Groupは、ラフなスケッチから、衣服のモデルを形成する仕組みや、簡単な立方体の組み合わせから、大規模な都市のモデリングを生成するなど、ディープラーニングを最大限に活用したCG研究で知られる研究グループです。

CreativeAIコースの内容は下記のとおり

  • ニューラルネットワークの基礎
  • CGにおける教師あり学習
  • CGにおける教師なし学習
  • 非構造化データの学習
  • シミュレーション、アニメーションの学習

一般的な機械学習、ディープラーニング系の入門書や解説は多いですが、CG分野に特化した用途、実例や考え方を交えて紹介してある資料はとても貴重です。機械学習ライブラリPyTorchをもとにした解説中のソースコードも解説資料とともに公開されています。

解説資料+ソースコード:CreativeAI: Deep Learning for Computer Graphics

人間の画力を超越。NVIDIAによる GauGANドローイング

GauGAN は実在しないリアルな風景画像を平易に生成することができる敵対的生成ネットワークを活用したツールです。元となったデータは写真共有サイトFlickrにある海、湖、空、雲、木、森、花、丘、山など、180種類の風景にまつわるオブジェクトを100万枚以上学習させ実現したものです。名前の由来は印象派の画家ゴーギャン(Paul Gauguin)の名前と、敵対的生成ネットワーク(GAN)です。GauGANのベースとなっているのは2018年に発表されたPix2PixHDというシステムです。

GauGANで、一般的なペイントツールのように、ごくごく簡単に画面にオブジェクトや色領域を描いていくと、それに基づいたバランスとレイアウトを伴った、リアルで高精細な風景画が瞬時に描けてしまいます。もちろん描かれた風景画は、さまざまな学習データから合成したもので、実在の風景画ではありませんが、ペイントツールで描いた人が想像したそのままの雲、そのままの山の配置、演出したいとおりの空間の配置で自動的に描かれるのです。

NVIDIAとしてはGauGANによって人々の創造性を刺激し、AIなしではできないような芸術作品、想像力をより
広げ、手軽に具現化できる手助けをしていきたいそうで、実際に数々のハリウッド映画のコンセプトアートを手がける Colie Wertz 氏も、GauGANをコンセプトアート作りに生かしているそうです。

GauGANで生成した風景画をもとに、宇宙船を書き足している。(c) Colie Wertz

GauGANは、展示会場 NVIDIAのブースで常時展示されていたとともに、リアルタイムCGのデモを披露するイベント Real Time Live! でもお披露目され、観客の拍手喝采を浴びていました。

Real Time Live! での GauGANの発表の様子。何も無い青空が……
…. 情感豊かな風景に
Real Time Live ! で観客投票1位になった GauGAN開発チーム一同
展示会場ブースでの GauGAN のデモ展示

GauGAN

GauGAN のインタラクティブデモ。実際に操作して試すことができる。
http://nvidia-research-mingyuliu.com/gaugan
ソースコード:https://github.com/NVlabs/SPADE

アート文脈で人工知能がこれからどう関わっていくのか?

RuShi

SIGGRAPHの会場には、デジタル技術や3Dプリンターなどのテクノロジーを駆使したデジタルアート作品、メディアアート作品も展示されます。今年のアートギャラリーのテーマは“Proliferating Possibilities: Speculative Futures in Art and Design.”(増殖の可能性:アートとデザインのスペキュラティブな未来)と題され、speculate(思索)的なことをもたらす作品、問いや思考するきっかけをもたらし、さまざまな可能性を考えるきっかけとなる数々の作品が展示されました。

会場でとくに注目を浴びていたのは香港のアーティスト John Wong 氏の「RuShi」という作品。予測、運命、迷信を表した没入型のインスタレーションで、AI時代に本当に必要なものは何なのか? という問いを美しいビジュアリゼーションで表現したものです。タイトルの RuShi は、仏教用語で「如是(にょぜ)」のことを示し「かくのごとく、このように」といった意味を持ちます。ビッグデータと四柱推命を切り口に表現しており、予測とは何なのか占いとは何なのかを問いかけている作品です。

本連載の今後の予定:CGへの扉」は、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。なにか取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉:

Vol.1:CG/VFXにおける人工知能の可能性と、その限界

Vol.2:なめらかなキャラクタアニメーションと、ディープラーニングの役目

Vol.3:CGとAIの蜜月が今まで不可能だった映像を生みだす

Vol.4:CG/VFX制作に欠かせなくなったマシーンラーニングの勘所

Contributor:安藤幸央

CGへの扉 Vol.5:SIGGRAPH 2019に見るCG研究と機械学習

この記事が気に入ったら
いいね!しよう

の最新情報をお届けします

RELATED ARTICLE関連記事

連載小説「薄明のバルドは知っている」第一回 “Tender”  #さかき漣

2019.5.22アート

連載小説「薄明のバルドは知っている」第一回 “Tender” #さかき漣

CGへの扉 Vol.3:CGとAIの蜜月が今まで不可能だった映像を生みだす

2019.6.14アート

CGへの扉 Vol.3:CGとAIの蜜月が今まで不可能だった映像を生みだす

連載小説「薄明のバルドは知っている」第三回 “Clover Over Dover” #さかき漣

2019.6.28アート

連載小説「薄明のバルドは知っている」第三回 “Clover Over Dover...

RANKING注目の記事はこちら