モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
機械学習ディープラーニングCGCGへの扉安藤幸央GANニューラルネットワーク月刊エンタメAIニュース強化学習三宅陽一郎モリカトロンAIラボインタビュー音楽OpenAI敵対的生成ネットワークQAシナリオCEDEC2019NVIDIA人工知能学会Facebookデバッグスクウェア・エニックスDeepMindCEDEC2020ゲームAI映画遺伝的アルゴリズム不完全情報ゲームキャラクターAI深層学習マイクロソフトルールベースAIと倫理ビヘイビア・ツリーGoogleSIGGRAPHGDC 2019VRメタAIボードゲーム畳み込みニューラルネットワークロボットグーグルプロシージャルVFXマルチエージェントナビゲーションAIファッション河合律子StyleGAN自動生成JSAI2020CNNMicrosoftイベントレポートモリカトロンゲームプレイAI森川幸人水野勇太ガイスターCLIP自然言語処理アートtoioHTN階層型タスクネットワークJSAI2021スポーツGPT-3TensorFlowGDC SummereSportsBLUE PROTOCOL小説DALL-EAlphaZeroカメラ環世界中島秀之懐ゲーから辿るゲームAI技術史研究ディープフェイクDARPAドローンAI美空ひばり手塚治虫汎用人工知能メタデータ通しプレイOpenAI Five本間翔太CM倫理ピクサーAdobe作曲中嶋謙互Amadeus CodeMicrosoft Azureキャリアテストプレイeスポーツ音声認識PyTorchDQN眞鍋和子バンダイナムコスタジオシーマンUnity齊藤陽介マインクラフトお知らせAIアートサルでもわかる人工知能VAEアニメーションワークショップGenvid Technologies知識表現IGDANPCどうぶつしょうぎジェイ・コウガミ音楽ストリーミングStyleGAN2マシンラーニングクラウドコンピューティショナル・フォトグラフィーGPT-2完全情報ゲーム坂本洋典釜屋憲彦藤澤仁生物学画像認識NFT長谷洋平鴫原盛之masumi toyota宮路洋一SIGGRAPH ASIA吉本幸記ソニーフェイクニュースシムピープルGPUALife人工生命オルタナティヴ・マシンサウンドスケープASBSマンガぱいどんTEZUKA2020松井俊浩スパーシャルAIElectronic ArtsマーケティングApex LegendsNinjaゲームTENTUPLAYMARVEL Future Fightタイムラプスバスキアブロックチェーン階層型強化学習WANN竹内将馬淵浩希岡島学映像セリア・ホデントUX認知科学ゲームデザインLUMINOUS ENGINELuminous Productionsパターン・ランゲージちょまどビッグデータアストロノーカ模倣学習ナラティブFPSマルコフ決定過程スタンフォード大学パラメータ設計テニスバランス調整レコメンドシステム対話型エージェント協調フィルタリング人狼知能Amazon軍事AlphaDogfight TrialsエージェントシミュレーションStarCraft IIFuture of Life InstituteIntelロボティクスLAIKARotomationドラゴンクエストライバルズ不確定ゲームDota 2モンテカルロ木探索ソーシャルゲームEmbeddingGTC2020NVIDIA MAXINE淡路滋ビデオ会議グリムノーツゴティエ・ボエダGautier Boeda階層的クラスタリングaiboJuliusSIETPRGバーチャル・ヒューマン・エージェントtoio SDK for Unityクーガー田中章愛石井敦銭起揚茂谷保伯MinecraftGDMC成沢理恵MITメディアラボ著作権マジック・リープMagic Leap OneMagendaノンファンジブルトークンDDSPサッカー里井大輝KaggleバスケットボールAssassin’s Creed OriginsSea of ThievesGEMS COMPANYmonoAI technologyアバター初音ミクOculus転移学習テストBaldur's Gate 3Candy Crush SagaSIGGRAPH ASIA 2020デバッギングBigGANMaterialGANリップシンキングRNNUbisoftReBeLUbisoft La Forge自動運転車VolvoRival Prakウォッチドッグス レギオンユービーアイソフト北尾まどかHALO将棋メタルギアソリッドVFSMナップサック問題汎用言語モデルSpotifyMITReplica StudioamuseChitrakar巡回セールスマン問題ジョルダン曲線5GMuZeroクラウドゲーミングRival Peak和田洋一リアリティ番組Stadiaジョンソン裕子MILEs対話エンジンインタラクティブ・ストリーミング斎藤由多加インタラクティブ・メディアリトル・コンピュータ・ピープルシーマン人工知能研究所Ludoゴブレット・ゴブラーズTransformerSIGGRAPH 2019ArtEmis絵画ARGROVERFAIRAIりんなチート検出オンラインカジノアップルRealFlowiPhoneシミュレーションDeep FluidsMeInGameAIGraphブレイン・コンピュータ・インタフェースBCILearning from Video予期知能ウェイポイントユクスキュルパス検索カント哲学ドラゴンクエストエージェントアーキテクチャPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者アルスエレクトロニカ2019StyleCLIPDeNAStyleRig逆転オセロニア奥村エルネスト純いただきストリート齋藤精一大森田不可止高橋智隆ロボユニザナック泉幸典仁井谷正充ロボコレ2019ぎゅわんぶらあ自己中心派Azure Machine Learning意思決定モデル脱出ゲームHybrid Reward ArchitectureウロチョロスSuper Phoenix理化学研究所Project Malmo教育TextWorldProject PaidiaProject LookoutWatch ForBingLEFT ALIVE長谷川誠ジミ・ヘンドリックスBaby Xカート・コバーンロバート・ダウニー・Jr.エイミー・ワインハウスMagentaYouTubeダフト・パンクSFGlenn MarshallThe Age of A.I.Story2HallucinationレコメンデーションJukeboxGTC2021CycleGANテンセントSIFTDCGANMOBADANNCE人事ハーバード大学研修デューク大学mynet.aiローグライクゲームNetHack人工音声NeurIPS 2021はこだて未来大学プレイ動画ヒップホップサイレント映画NBA環境音現代アートエージェント粒子群最適化法進化差分法群知能下川大樹ウィル・ライト高津芳希シムシティ大石真史BEiTレベルデザインDETRSporeAIボイスアクターデノイズ南カリフォルニア大学画像処理NVIDIA CanvasSentropyCPUDiscordZorkCALMプログラミングソースコード生成GMAIシチズンデベロッパーTRPGGitHubウィザードリィMCN-AI連携モデルAI DungeonMCS-AI動的連携モデル西川善司サムライスピリッツゼビウスストリートファイター栗原聡山野辺一記大里飛鳥13フェイズ構造手塚眞不気味の谷Oculus Quest生体情報写真照明山崎陽斗立木創太GameGANパックマンソサエティ5.0SIGGRAPH 2020DIB-R3D広告

CGへの扉 Vol.9:現実の課題を解決するCGとAIの相互作用 #SIGGRAPHAsia2019

2019.12.17アート

CGへの扉 Vol.9:現実の課題を解決するCGとAIの相互作用 #SIGGRAPHAsia2019

 SIGGRAPH ASIA 2019 開催

コンピュータグラフィックスとインタラクティブ技術に関する世界最大の学会・展示会であるSIGGRAPHのアジア版 SIGGRAPH ASIA 2019 がオーストラリアのブリスベンにて開催されました。

11月17日から20日の4日間、ブリスベン コンベンション & エキシビション センターにて開催されたSIGGRAPH ASIA 2019 は毎年7月8月にかけて北米で開催されるSIGGRAPHのアジア版です。規模や参加人数こそ半分ほどですが、内容は北米と変わらず充実したイベントです。昨年12月に東京にて開催されたSIGGRAPH ASIA 2018は大変盛況で、2021年には再びSIGGRAPH ASIAが東京で開催される予定です。

SIGGRAPH ASIA 2019 公式サイト
https://sa2019.siggraph.org/

SIGGRAPH ASIA 2019 における人工知能が活用された数々のCG研究

SIGGRAPH ASIA 2019 の論文発表では、新技術や最先端のCG研究、実用化に向けたアプローチなど、さまざまな段階の研究が発表されます。基礎研究のみならず、調査や検証した内容や、すでに実用化されているツールの論文化などもあり、一般的な学会とは少し異なった雰囲気を持ちます。

SIGGRAPH ASIA 2019 の論文発表は全部で21の分野に分かれています。その中でも特に”Learning to Move”、”Data – Driven Dynamics” の2つの分野では、CG/VFXを進化させるひとつの方法として機械学習やニューラルネットワークを活用した研究がなされています。今年の SIGGRAPH ASIA 2019 では Google、Adobe、Microsoft、Facebook が推し進める研究発表が目立ちました。SIGGRAPH ASIA 2019 の数ある論文の中から人工知能が活用された研究発表をいくつか紹介しましょう。

SIGGRAPH ASIA で存在感を示す Google の AI

The Relightables: Volumetric Performance Capture of Humans with Realistic Relighting

The Relightables」は360度囲まれたLED照明環境でデジタルキャプチャーされたデータをもとに自由な再照明が可能になるシステム。Google AIチームが進めている研究で、ハリウッドの映画製作に使われるLight StageのGoogle版とも言える仕組みです。

論文:https://augmentedperception.github.io/therelightables/relightables_paper.pdf

南カリフォルニア大学のPaul Devebec氏らの Light Stage はハリウッド映画のCG/VFXにも広く活用されています。さまざまな照明のもとで超高精細のメッシュデータとテクスチャデータをデジタルスキャンすることのできるシステムです。『ブレードランナー2049』(2017年)、『ヴァレリアン 千の惑星の救世主』(2017年)『ジャングル・ブック』(2016年)『エンダーのゲーム』(2013年)などで主要な CG/VFX技術としてLight Stage で俳優のパフォーマンスをキャプチャーしたデータが活用されています。

商業的に使われている Light Stage X などの他にも、研究開発に使われている最新の Light Stage が世界中に存在します。Light Stage Xはその功績が讃えられ権威ある映画賞である2019年のオスカー科学技術賞を受賞しています。Light Stage は一般にはオバマ大統領の3Dスキャンで知られるようになり、日本でも映画『いぬやしき』(2018年)で使われました。

June 9, 2014 “The President sits for a 3D portrait being produced by the Smithsonian Institution. There were so many cameras and strobe lights flashing but the end result was kind of cool. See the video at this link: http://1.usa.gov/1zhPtAf.”(Official White House Photo by Pete Souza)

Scanning and Printing a 3D Portrait of President Barack Obama」では、当時大統領だったオバマ元大統領の3Dスキャンデータをホワイトハウス内で撮影しました。このときは持ち運び可能な簡易 Light Stage が使われています。

Google の研究「The Relightables」は直訳すると「再照明可能」という意味で、古くからある Light Stage の仕組みにディープラーニングを組み合わせたことで、さらに進化を遂げたシステムです。従来の Light Stage では、人物のキャプチャーを正確に高精細に取得することに着目していましたが、このThe Relightablesは、照明に着目したシステムです。研究開発には Light Stage のPaul Devebec氏も協力しています。

The Relightablesは、直径3.5メートルの球体状のシステムで、331個のカラーLED, 照明パターンを投射するための16台のプロジェクター、58台のRGB高解像度カメラ、32台の赤外線カメラなどが張り巡らされていいます。これらの機材とディープラーニングを活用し、60Hzのタイミングで切り替わる照明条件からさまざまな反射の状況を導き出します。それによって取得された人物データをどのような照明環境においても、あたかもその場所にいるかのような見栄えで、再度違った照明で、合成することが可能になるのです。

このテクノロジーを活用し、スマートフォンを使って目の前でオペラが演じられる「バーチャルオペラ」が作られました。

An opera in your own home(体験シーン)

An opera in your own home – Behind the scenes(メイキング)


Language-based Colorization of Scene Sketches

資料:https://sketchyscene.github.io/SketchySceneColorization/
論文:http://sweb.cityu.edu.hk/hongbofu/doc/language-based_sketch_colorization_SA19.pdf
コード:https://github.com/SketchyScene/SketchySceneColorization

Language-based Colorization of Scene Sketches」は、Google AIチームと香港城市大学、中国の中山大学のメンバーらによる共同研究。線画に対して言葉で指示することによって、適切な色ぬりをする仕組みです。昨年の SIGGRAPH ASIA 2018で発表された技術の改良版でもあります。一方的にではなく対話的に色塗りを進めるのが特徴で、子どもが塗り絵をするような感覚で、英語で指示すると色塗りが進められます。数万種類規模の膨大な量のオブジェクトや前景、背景と言葉による指示の組み合わせを機械学習し、実現しています。

この研究をそのままツールやサービスにするということだけではなく、対話や言葉による指示、的確な選択、人工知能がスケッチ画に描かれているものを理解するといった用途に使えると考えているそうです。さらに曖昧な指示、複数の解釈など、現実の対話で起こるすれ違いなどを明確にしていくことも考えられます。将来的にはプロのアニメーターが口頭で指示しただけで、一瞬で塗り終わってしまうようなツールが登場するかもしれません。

Neural State Machine for Character-Scene Interactions

論文:https://github.com/sebastianstarke/AI4Animation//blob/master/Media/SIGGRAPH_Asia_2019/Paper.pdf

Neural State Machine for Character-Scene Interactions」はスコットランドのエジンバラ大学、Adobe Researchによる共同研究で、以前「CGへの扉 Vol.2:なめらかなキャラクタアニメーションと、ディープラーニングの役目」で紹介した「AI4Animation」 の継続研究です。

CGキャラクターと環境に存在するさまざまな物体との相互作用、関係性は難しい課題です。人間であれば、なんなくこなせる「椅子に座る」「箱を運ぶ」「ドアを開ける」「障害物を回避する」といった行動もコンピュータにとっては難しく、椅子を突き抜けてしまう、箱に触っていないのに持っている、ドアを突き破る、障害物を突き抜けるといった安物のゲームのような困った状況になりがちです。本研究ではキャラクターと環境との相互作用のためにデータ駆動型の深層学習フレームワーク NSM(Neural State Machine)を活用し、適切で自然な関係性をもったリアルタイムアニメーションを導き出します。UnityとTensorFlowで実装されており、ソースコードの公開も予定されているようです。

研究が先か、課題が先か、実用化への目的が先か?

今年の SIGGRAPH ASIA 2019 で、Google のメンバーから「Handheld Mobile Photography in Very Low Light」(GitHub)という論文が発表されました。この論文の中身は Googleの最新スマートフォン Google Pixel 3、4で使われている暗いところでも撮影可能なカメラNight Sightの仕組みや手法についての解説です。

論文発表の時期と、Google Pixel の発売時期を考えると、先に社会にテクノロジーが広がってから、その仕組みが詳細に研究者のコミュニティーに対して発表されるという一般的な論文発表とは逆の流れをとっています。SIGGRAPH ではこのような事例はそれほど珍しくなく、ハリウッド映画で使われた最新技術が翌年のSIGGRAPHで論文発表されるというようなことも起こります。

CG/VFX関連の研究でも地道な基礎研究はありますが、最近のCG/VFXの研究の流れのひとつとして、研究におけるテーマと映像製作の現場での課題がとても近いところにあるのが大きな特徴です。映画業界での映像製作や、インターネット業界、VR/AR業界でのニーズや課題にあわせた研究開発がなされ、それらがすぐにまた素早いスピードで実用化されるのが良いところです。研究だけが先に進んで、何に使ったらよいかわからないテクノロジーではなく、映像製作の現場に散在する誰か困っているテーマがCG/VFX研究の主流となっているのです。

本連載の今後の予定:「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。今回 SIGGRAPH ASIA 2019 から興味深い論文をピックアップして紹介しましたが、まだまだ紹介しきれていない人工知能・機械学習を活用した研究があり、機会があればまた紹介します。CG研究におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。なにか取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉:

Vol.1:CG/VFXにおける人工知能の可能性と、その限界

Vol.2:なめらかなキャラクタアニメーションと、ディープラーニングの役目

Vol.3:CGとAIの蜜月が今まで不可能だった映像を生みだす

Vol.4:CG/VFX制作に欠かせなくなったマシーンラーニングの勘所

Vol.5:SIGGRAPH 2019に見るCG研究と機械学習

Vol.6:Facebookが取り組むVRとAIのアプローチ

Vol.7:AIによる差別やバイアスを避ける取り組み“PAIR”

Vol.8:一流オークションハウスも注目するアートとAIの関係性

Contributor:安藤幸央

RELATED ARTICLE関連記事

CGへの扉 Vol.21:人工知能+3DCGの最新論文をまとめて紹介 #SIGGRAPHAsia2020

2020.12.14アート

CGへの扉 Vol.21:人工知能+3DCGの最新論文をまとめて紹介 #SIGG...

CGへの扉 Vol.7:AIによる差別やバイアスを避ける取り組み“PAIR”

2019.10.16アート

CGへの扉 Vol.7:AIによる差別やバイアスを避ける取り組み“PAIR”

人工知能に作家性を宿らせる方法:栗原聡氏×山野辺一記氏インタビュー(前編)

2020.4.17アート

人工知能に作家性を宿らせる方法:栗原聡氏×山野辺一記氏インタビュー(前編)

RANKING注目の記事はこちら