モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
ディープラーニング機械学習モリカトロンAIラボインタビューCGCGへの扉CEDEC2019三宅陽一郎ゲームAI小説スクウェア・エニックスGAN映画遺伝的アルゴリズムGDC 2019デバッグさかき漣薄明のバルドは知っているファッションVFXSIGGRAPHニューラルネットワークイベントレポートQA不完全情報ゲームガイスターボードゲームロボットVR音楽AlphaZero深層学習ルールベースシナリオtoio強化学習CMAmadeus CodeメタAIキャラクターAIナビゲーションAIシーマン齊藤陽介サルでもわかる人工知能ワークショップIGDAどうぶつしょうぎマシンラーニング藤澤仁宮路洋一ゲームブロックチェーンOpenAI Five映像ピクサーAdobe作曲ビッグデータアストロノーカナラティブモリカトロンパラメータ設計バランス調整対話型エージェント人狼知能マルチエージェントエージェントシミュレーション音声認識ロボティクスeSportsDota 2OpenAIソーシャルゲーム眞鍋和子淡路滋グリムノーツゴティエ・ボエダGautier BoedaJuliusTPRGバーチャル・ヒューマン・エージェントクーガー石井敦茂谷保伯森川幸人成沢理恵お知らせマジック・リープMagic Leap Oneノンファンジブルトークン水野勇太里井大輝GEMS COMPANY初音ミク転移学習敵対的生成ネットワークデバッギングアニメーションリップシンキングUbisoftUbisoft La Forge知識表現北尾まどか将棋畳み込みニューラルネットワークナップサック問題ジェイ・コウガミ音楽ストリーミングSpotifyReplica Studioamuse5Gクラウドゲーミング和田洋一Stadiaクラウド対話エンジン斎藤由多加シーマン人工知能研究所ゴブレット・ゴブラーズSIGGRAPH 2019ARマイクロソフトAIりんなアップルiPhoneカメラ完全情報ゲームAIGraph環世界中島秀之予期知能ウェイポイントパス検索ドラゴンクエストPAIR画像認識AIと倫理アルスエレクトロニカ2019DeNA逆転オセロニア長谷洋平奥村エルネスト純齋藤精一高橋智隆ロボユニ泉幸典ロボコレ2019アートぎゅわんぶらあ自己中心派意思決定モデルウロチョロス理化学研究所教育SIGGRAPH ASIAHTN階層型タスクネットワークビヘイビア・ツリーLEFT ALIVE長谷川誠Baby Xロバート・ダウニー・Jr.GoogleYouTubeSFThe Age of A.I.レコメンデーションソニー

CGへの扉 Vol.9:現実の課題を解決するCGとAIの相互作用 #SIGGRAPHAsia2019

2019.12.17アート

CGへの扉 Vol.9:現実の課題を解決するCGとAIの相互作用 #SIGGRAPHAsia2019

 SIGGRAPH ASIA 2019 開催

コンピュータグラフィックスとインタラクティブ技術に関する世界最大の学会・展示会であるSIGGRAPHのアジア版 SIGGRAPH ASIA 2019 がオーストラリアのブリスベンにて開催されました。

11月17日から20日の4日間、ブリスベン コンベンション & エキシビション センターにて開催されたSIGGRAPH ASIA 2019 は毎年7月8月にかけて北米で開催されるSIGGRAPHのアジア版です。規模や参加人数こそ半分ほどですが、内容は北米と変わらず充実したイベントです。昨年12月に東京にて開催されたSIGGRAPH ASIA 2018は大変盛況で、2021年には再びSIGGRAPH ASIAが東京で開催される予定です。

SIGGRAPH ASIA 2019 公式サイト
https://sa2019.siggraph.org/

SIGGRAPH ASIA 2019 における人工知能が活用された数々のCG研究

SIGGRAPH ASIA 2019 の論文発表では、新技術や最先端のCG研究、実用化に向けたアプローチなど、さまざまな段階の研究が発表されます。基礎研究のみならず、調査や検証した内容や、すでに実用化されているツールの論文化などもあり、一般的な学会とは少し異なった雰囲気を持ちます。

SIGGRAPH ASIA 2019 の論文発表は全部で21の分野に分かれています。その中でも特に”Learning to Move”、”Data – Driven Dynamics” の2つの分野では、CG/VFXを進化させるひとつの方法として機械学習やニューラルネットワークを活用した研究がなされています。今年の SIGGRAPH ASIA 2019 では Google、Adobe、Microsoft、Facebook が推し進める研究発表が目立ちました。SIGGRAPH ASIA 2019 の数ある論文の中から人工知能が活用された研究発表をいくつか紹介しましょう。

SIGGRAPH ASIA で存在感を示す Google の AI

The Relightables: Volumetric Performance Capture of Humans with Realistic Relighting

The Relightables」は360度囲まれたLED照明環境でデジタルキャプチャーされたデータをもとに自由な再照明が可能になるシステム。Google AIチームが進めている研究で、ハリウッドの映画製作に使われるLight StageのGoogle版とも言える仕組みです。

論文:https://augmentedperception.github.io/therelightables/relightables_paper.pdf

南カリフォルニア大学のPaul Devebec氏らの Light Stage はハリウッド映画のCG/VFXにも広く活用されています。さまざまな照明のもとで超高精細のメッシュデータとテクスチャデータをデジタルスキャンすることのできるシステムです。『ブレードランナー2049』(2017年)、『ヴァレリアン 千の惑星の救世主』(2017年)『ジャングル・ブック』(2016年)『エンダーのゲーム』(2013年)などで主要な CG/VFX技術としてLight Stage で俳優のパフォーマンスをキャプチャーしたデータが活用されています。

商業的に使われている Light Stage X などの他にも、研究開発に使われている最新の Light Stage が世界中に存在します。Light Stage Xはその功績が讃えられ権威ある映画賞である2019年のオスカー科学技術賞を受賞しています。Light Stage は一般にはオバマ大統領の3Dスキャンで知られるようになり、日本でも映画『いぬやしき』(2018年)で使われました。

June 9, 2014 “The President sits for a 3D portrait being produced by the Smithsonian Institution. There were so many cameras and strobe lights flashing but the end result was kind of cool. See the video at this link: http://1.usa.gov/1zhPtAf.”(Official White House Photo by Pete Souza)

Scanning and Printing a 3D Portrait of President Barack Obama」では、当時大統領だったオバマ元大統領の3Dスキャンデータをホワイトハウス内で撮影しました。このときは持ち運び可能な簡易 Light Stage が使われています。

Google の研究「The Relightables」は直訳すると「再照明可能」という意味で、古くからある Light Stage の仕組みにディープラーニングを組み合わせたことで、さらに進化を遂げたシステムです。従来の Light Stage では、人物のキャプチャーを正確に高精細に取得することに着目していましたが、このThe Relightablesは、照明に着目したシステムです。研究開発には Light Stage のPaul Devebec氏も協力しています。

The Relightablesは、直径3.5メートルの球体状のシステムで、331個のカラーLED, 照明パターンを投射するための16台のプロジェクター、58台のRGB高解像度カメラ、32台の赤外線カメラなどが張り巡らされていいます。これらの機材とディープラーニングを活用し、60Hzのタイミングで切り替わる照明条件からさまざまな反射の状況を導き出します。それによって取得された人物データをどのような照明環境においても、あたかもその場所にいるかのような見栄えで、再度違った照明で、合成することが可能になるのです。

このテクノロジーを活用し、スマートフォンを使って目の前でオペラが演じられる「バーチャルオペラ」が作られました。

An opera in your own home(体験シーン)

An opera in your own home – Behind the scenes(メイキング)


Language-based Colorization of Scene Sketches

資料:https://sketchyscene.github.io/SketchySceneColorization/
論文:http://sweb.cityu.edu.hk/hongbofu/doc/language-based_sketch_colorization_SA19.pdf
コード:https://github.com/SketchyScene/SketchySceneColorization

Language-based Colorization of Scene Sketches」は、Google AIチームと香港城市大学、中国の中山大学のメンバーらによる共同研究。線画に対して言葉で指示することによって、適切な色ぬりをする仕組みです。昨年の SIGGRAPH ASIA 2018で発表された技術の改良版でもあります。一方的にではなく対話的に色塗りを進めるのが特徴で、子どもが塗り絵をするような感覚で、英語で指示すると色塗りが進められます。数万種類規模の膨大な量のオブジェクトや前景、背景と言葉による指示の組み合わせを機械学習し、実現しています。

この研究をそのままツールやサービスにするということだけではなく、対話や言葉による指示、的確な選択、人工知能がスケッチ画に描かれているものを理解するといった用途に使えると考えているそうです。さらに曖昧な指示、複数の解釈など、現実の対話で起こるすれ違いなどを明確にしていくことも考えられます。将来的にはプロのアニメーターが口頭で指示しただけで、一瞬で塗り終わってしまうようなツールが登場するかもしれません。

Neural State Machine for Character-Scene Interactions

論文:https://github.com/sebastianstarke/AI4Animation//blob/master/Media/SIGGRAPH_Asia_2019/Paper.pdf

Neural State Machine for Character-Scene Interactions」はスコットランドのエジンバラ大学、Adobe Researchによる共同研究で、以前「CGへの扉 Vol.2:なめらかなキャラクタアニメーションと、ディープラーニングの役目」で紹介した「AI4Animation」 の継続研究です。

CGキャラクターと環境に存在するさまざまな物体との相互作用、関係性は難しい課題です。人間であれば、なんなくこなせる「椅子に座る」「箱を運ぶ」「ドアを開ける」「障害物を回避する」といった行動もコンピュータにとっては難しく、椅子を突き抜けてしまう、箱に触っていないのに持っている、ドアを突き破る、障害物を突き抜けるといった安物のゲームのような困った状況になりがちです。本研究ではキャラクターと環境との相互作用のためにデータ駆動型の深層学習フレームワーク NSM(Neural State Machine)を活用し、適切で自然な関係性をもったリアルタイムアニメーションを導き出します。UnityとTensorFlowで実装されており、ソースコードの公開も予定されているようです。

研究が先か、課題が先か、実用化への目的が先か?

今年の SIGGRAPH ASIA 2019 で、Google のメンバーから「Handheld Mobile Photography in Very Low Light」(GitHub)という論文が発表されました。この論文の中身は Googleの最新スマートフォン Google Pixel 3、4で使われている暗いところでも撮影可能なカメラNight Sightの仕組みや手法についての解説です。

論文発表の時期と、Google Pixel の発売時期を考えると、先に社会にテクノロジーが広がってから、その仕組みが詳細に研究者のコミュニティーに対して発表されるという一般的な論文発表とは逆の流れをとっています。SIGGRAPH ではこのような事例はそれほど珍しくなく、ハリウッド映画で使われた最新技術が翌年のSIGGRAPHで論文発表されるというようなことも起こります。

CG/VFX関連の研究でも地道な基礎研究はありますが、最近のCG/VFXの研究の流れのひとつとして、研究におけるテーマと映像製作の現場での課題がとても近いところにあるのが大きな特徴です。映画業界での映像製作や、インターネット業界、VR/AR業界でのニーズや課題にあわせた研究開発がなされ、それらがすぐにまた素早いスピードで実用化されるのが良いところです。研究だけが先に進んで、何に使ったらよいかわからないテクノロジーではなく、映像製作の現場に散在する誰か困っているテーマがCG/VFX研究の主流となっているのです。

本連載の今後の予定:「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。今回 SIGGRAPH ASIA 2019 から興味深い論文をピックアップして紹介しましたが、まだまだ紹介しきれていない人工知能・機械学習を活用した研究があり、機会があればまた紹介します。CG研究におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。なにか取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉:

Vol.1:CG/VFXにおける人工知能の可能性と、その限界

Vol.2:なめらかなキャラクタアニメーションと、ディープラーニングの役目

Vol.3:CGとAIの蜜月が今まで不可能だった映像を生みだす

Vol.4:CG/VFX制作に欠かせなくなったマシーンラーニングの勘所

Vol.5:SIGGRAPH 2019に見るCG研究と機械学習

Vol.6:Facebookが取り組むVRとAIのアプローチ

Vol.7:AIによる差別やバイアスを避ける取り組み“PAIR”

Vol.8:一流オークションハウスも注目するアートとAIの関係性

Contributor:安藤幸央

CGへの扉 Vol.9:現実の課題を解決するCGとAIの相互作用 #SIGGRAPHAsia2019

この記事が気に入ったら
いいね!しよう

の最新情報をお届けします

RELATED ARTICLE関連記事

連載小説「薄明のバルドは知っている」第一回 “Tender”  #さかき漣

2019.5.22アート

連載小説「薄明のバルドは知っている」第一回 “Tender” #さかき漣

CGへの扉 Vol.2:なめらかなキャラクタアニメーションと、ディープラーニングの役目

2019.5.15アート

CGへの扉 Vol.2:なめらかなキャラクタアニメーションと、ディープラーニング...

連載小説「薄明のバルドは知っている」第二回 “Anodyne” #さかき漣

2019.6.12アート

連載小説「薄明のバルドは知っている」第二回 “Anodyne” #さかき漣

RANKING注目の記事はこちら