モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
ディープラーニング機械学習CGCGへの扉安藤幸央GANニューラルネットワーク月刊エンタメAIニュース三宅陽一郎強化学習音楽モリカトロンAIラボインタビュー敵対的生成ネットワークQAOpenAI河合律子スクウェア・エニックスシナリオキャラクターAINVIDIAFacebookデバッグCEDEC2019ルールベースプロシージャルDeepMind人工知能学会ビヘイビア・ツリーGoogleCEDEC2020ゲームAI映画SIGGRAPH遺伝的アルゴリズム不完全情報ゲームメタAIナビゲーションAI森川幸人畳み込みニューラルネットワーク自然言語処理深層学習マイクロソフトAIと倫理グーグルGDC 2021CEDEC2021GDC 2019マルチエージェントVRボードゲームロボットStyleGAN自動生成GPT-3CNNVFXモリカトロンゲームプレイAIファッションHTN階層型タスクネットワークJSAI2020TensorFlowMicrosoftイベントレポートテストプレイ水野勇太アニメーションガイスターNPCCLIPアートtoio吉本幸記JSAI2021スポーツディープフェイクシムピープル汎用人工知能大内孝子GDC Summereスポーツ対話型エージェントeSportsBLUE PROTOCOLシーマン小説DALL-EStyleGAN2AlphaZeroカメラ環世界中島秀之NFT懐ゲーから辿るゲームAI技術史研究DARPAドローンシムシティAI美空ひばり手塚治虫Electronic Artsメタデータブロックチェーン通しプレイOpenAI Five本間翔太CM倫理ピクサーAdobe作曲中嶋謙互Amadeus CodeMicrosoft AzureアストロノーカキャリアナラティブAmazon音声認識ロボティクスPyTorchDQN眞鍋和子バンダイナムコスタジオUnity齊藤陽介マインクラフトお知らせAIアートサルでもわかる人工知能VAEUbisoftUbisoft La ForgeワークショップGenvid Technologies知識表現ウォッチドッグス レギオンIGDAどうぶつしょうぎジェイ・コウガミ音楽ストリーミングマシンラーニングクラウド斎藤由多加リトル・コンピュータ・ピープルコンピューティショナル・フォトグラフィーGPT-2完全情報ゲーム坂本洋典釜屋憲彦ウェイポイントパス検索藤澤仁生物学画像認識DeNA長谷洋平鴫原盛之masumi toyota宮路洋一TextWorldSIGGRAPH ASIAソニーCycleGANフェイクニュースGPUALifeZork人工生命オルタナティヴ・マシンサウンドスケープMCS-AI動的連携モデルASBSマンガぱいどんTEZUKA2020ナビゲーションメッシュ松井俊浩スパーシャルAIマーケティングApex LegendsELIZANinjaコンピュータRPGアップルタウン物語KELDICメロディ言語ゲームTENTUPLAYLEFT 4 DEADMARVEL Future FightAstroタイムラプスEgo4Dバスキアバーチャルヒューマン日経イノベーション・ラボ敵対的強化学習階層型強化学習GOSU Data LabWANNGOSU Voice Assistant竹内将SenpAI.GGMobalytics馬淵浩希Cygames岡島学AWS Sagemaker映像セリア・ホデント形態素解析UXAWS Lambda誤字検出認知科学BERTゲームデザインSentencePieceLUMINOUS ENGINEプラチナエッグLuminous Productionsイーサリアムパターン・ランゲージ竹村也哉ちょまどビッグデータ模倣学習FPSマルコフ決定過程スタンフォード大学パラメータ設計テニスバランス調整レコメンドシステム協調フィルタリング人狼知能軍事AlphaDogfight TrialsエージェントシミュレーションStarCraft IIFuture of Life InstituteIntelLAIKARotomationドラゴンクエストライバルズ不確定ゲームDota 2モンテカルロ木探索ソーシャルゲームEmbeddingGTC2020NVIDIA MAXINE淡路滋ビデオ会議グリムノーツゴティエ・ボエダGautier Boeda階層的クラスタリングaiboJuliusSIETPRGバーチャル・ヒューマン・エージェントtoio SDK for Unityクーガー田中章愛石井敦銭起揚茂谷保伯MinecraftGDMC成沢理恵MITメディアラボ著作権マジック・リープMagic Leap OneMagendaノンファンジブルトークンDDSPサッカー里井大輝KaggleバスケットボールAssassin’s Creed OriginsSea of ThievesGEMS COMPANYmonoAI technologyアバター初音ミクOculus転移学習テストBaldur's Gate 3Candy Crush SagaSIGGRAPH ASIA 2020デバッギングBigGANMaterialGANリップシンキングRNNReBeL自動運転車VolvoRival Prakユービーアイソフト北尾まどかHALO将棋メタルギアソリッドVFSMナップサック問題汎用言語モデルSpotifyMITReplica StudioamuseChitrakar巡回セールスマン問題ジョルダン曲線5GMuZeroクラウドゲーミングRival Peak和田洋一リアリティ番組Stadiaジョンソン裕子MILEs対話エンジンインタラクティブ・ストリーミングインタラクティブ・メディアシーマン人工知能研究所Ludoゴブレット・ゴブラーズTransformerSIGGRAPH 2019ArtEmis絵画ARGROVERFAIRAIりんなチート検出オンラインカジノアップルRealFlowiPhoneシミュレーションDeep FluidsMeInGameAIGraphブレイン・コンピュータ・インタフェースBCILearning from Video予期知能ユクスキュルカント哲学ドラゴンクエストエージェントアーキテクチャPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者アルスエレクトロニカ2019StyleCLIPStyleRig逆転オセロニア奥村エルネスト純いただきストリート齋藤精一大森田不可止高橋智隆ロボユニザナック泉幸典仁井谷正充ロボコレ2019ぎゅわんぶらあ自己中心派Azure Machine Learning意思決定モデル脱出ゲームHybrid Reward ArchitectureウロチョロスSuper Phoenix理化学研究所Project Malmo教育Project PaidiaProject LookoutWatch ForBingLEFT ALIVE長谷川誠ジミ・ヘンドリックスBaby Xカート・コバーンロバート・ダウニー・Jr.エイミー・ワインハウスMagentaYouTubeダフト・パンクSFGlenn MarshallThe Age of A.I.Story2HallucinationレコメンデーションJukeboxGTC2021テンセントSIFTDCGANMOBADANNCE人事ハーバード大学研修デューク大学mynet.aiローグライクゲームNetHack人工音声NeurIPS 2021はこだて未来大学プレイ動画ヒップホップサイレント映画NBA環境音現代アートエージェント粒子群最適化法進化差分法群知能下川大樹ウィル・ライト高津芳希大石真史BEiTレベルデザインDETRSporeAIボイスアクターデノイズ南カリフォルニア大学画像処理NVIDIA CanvasSentropyCPUDiscordCALMプログラミングソースコード生成GMAIシチズンデベロッパーTRPGGitHubウィザードリィMCN-AI連携モデルAI Dungeon西川善司並木幸介サムライスピリッツ森寅嘉ゼビウスSIGGRAPH 2021ストリートファイター半導体Topaz Video Enhance AI栗原聡DLSS山野辺一記NetEase大里飛鳥DynamixyzモーションキャプチャーU-Net13フェイズ構造アドベンチャーゲームADVXLandAGI手塚眞DEATH STRANDING不気味の谷Eric JohnsonOculus Questコジマプロダクション生体情報デシマエンジンインディーゲーム写真高橋ミレイ照明Maxim PeterJoshua Romoffハイパースケープ山崎陽斗深層強化学習立木創太バンダイナムコ研究所ミライ小町テスラGameGANELYZAパックマンTesla BotTesla AI Dayソサエティ5.0ELYZA DIGESTSIGGRAPH 2020バズグラフニュースタンテキ東芝DIB-R倉田宜典3D音声合成韻律射影広告韻律転移

CGへの扉 Vol.9:現実の課題を解決するCGとAIの相互作用 #SIGGRAPHAsia2019

2019.12.17アート

CGへの扉 Vol.9:現実の課題を解決するCGとAIの相互作用 #SIGGRAPHAsia2019

 SIGGRAPH ASIA 2019 開催

コンピュータグラフィックスとインタラクティブ技術に関する世界最大の学会・展示会であるSIGGRAPHのアジア版 SIGGRAPH ASIA 2019 がオーストラリアのブリスベンにて開催されました。

11月17日から20日の4日間、ブリスベン コンベンション & エキシビション センターにて開催されたSIGGRAPH ASIA 2019 は毎年7月8月にかけて北米で開催されるSIGGRAPHのアジア版です。規模や参加人数こそ半分ほどですが、内容は北米と変わらず充実したイベントです。昨年12月に東京にて開催されたSIGGRAPH ASIA 2018は大変盛況で、2021年には再びSIGGRAPH ASIAが東京で開催される予定です。

SIGGRAPH ASIA 2019 公式サイト
https://sa2019.siggraph.org/

SIGGRAPH ASIA 2019 における人工知能が活用された数々のCG研究

SIGGRAPH ASIA 2019 の論文発表では、新技術や最先端のCG研究、実用化に向けたアプローチなど、さまざまな段階の研究が発表されます。基礎研究のみならず、調査や検証した内容や、すでに実用化されているツールの論文化などもあり、一般的な学会とは少し異なった雰囲気を持ちます。

SIGGRAPH ASIA 2019 の論文発表は全部で21の分野に分かれています。その中でも特に”Learning to Move”、”Data – Driven Dynamics” の2つの分野では、CG/VFXを進化させるひとつの方法として機械学習やニューラルネットワークを活用した研究がなされています。今年の SIGGRAPH ASIA 2019 では Google、Adobe、Microsoft、Facebook が推し進める研究発表が目立ちました。SIGGRAPH ASIA 2019 の数ある論文の中から人工知能が活用された研究発表をいくつか紹介しましょう。

SIGGRAPH ASIA で存在感を示す Google の AI

The Relightables: Volumetric Performance Capture of Humans with Realistic Relighting

The Relightables」は360度囲まれたLED照明環境でデジタルキャプチャーされたデータをもとに自由な再照明が可能になるシステム。Google AIチームが進めている研究で、ハリウッドの映画製作に使われるLight StageのGoogle版とも言える仕組みです。

論文:https://augmentedperception.github.io/therelightables/relightables_paper.pdf

南カリフォルニア大学のPaul Devebec氏らの Light Stage はハリウッド映画のCG/VFXにも広く活用されています。さまざまな照明のもとで超高精細のメッシュデータとテクスチャデータをデジタルスキャンすることのできるシステムです。『ブレードランナー2049』(2017年)、『ヴァレリアン 千の惑星の救世主』(2017年)『ジャングル・ブック』(2016年)『エンダーのゲーム』(2013年)などで主要な CG/VFX技術としてLight Stage で俳優のパフォーマンスをキャプチャーしたデータが活用されています。

商業的に使われている Light Stage X などの他にも、研究開発に使われている最新の Light Stage が世界中に存在します。Light Stage Xはその功績が讃えられ権威ある映画賞である2019年のオスカー科学技術賞を受賞しています。Light Stage は一般にはオバマ大統領の3Dスキャンで知られるようになり、日本でも映画『いぬやしき』(2018年)で使われました。

June 9, 2014 “The President sits for a 3D portrait being produced by the Smithsonian Institution. There were so many cameras and strobe lights flashing but the end result was kind of cool. See the video at this link: http://1.usa.gov/1zhPtAf.”(Official White House Photo by Pete Souza)

Scanning and Printing a 3D Portrait of President Barack Obama」では、当時大統領だったオバマ元大統領の3Dスキャンデータをホワイトハウス内で撮影しました。このときは持ち運び可能な簡易 Light Stage が使われています。

Google の研究「The Relightables」は直訳すると「再照明可能」という意味で、古くからある Light Stage の仕組みにディープラーニングを組み合わせたことで、さらに進化を遂げたシステムです。従来の Light Stage では、人物のキャプチャーを正確に高精細に取得することに着目していましたが、このThe Relightablesは、照明に着目したシステムです。研究開発には Light Stage のPaul Devebec氏も協力しています。

The Relightablesは、直径3.5メートルの球体状のシステムで、331個のカラーLED, 照明パターンを投射するための16台のプロジェクター、58台のRGB高解像度カメラ、32台の赤外線カメラなどが張り巡らされていいます。これらの機材とディープラーニングを活用し、60Hzのタイミングで切り替わる照明条件からさまざまな反射の状況を導き出します。それによって取得された人物データをどのような照明環境においても、あたかもその場所にいるかのような見栄えで、再度違った照明で、合成することが可能になるのです。

このテクノロジーを活用し、スマートフォンを使って目の前でオペラが演じられる「バーチャルオペラ」が作られました。

An opera in your own home(体験シーン)

An opera in your own home – Behind the scenes(メイキング)


Language-based Colorization of Scene Sketches

資料:https://sketchyscene.github.io/SketchySceneColorization/
論文:http://sweb.cityu.edu.hk/hongbofu/doc/language-based_sketch_colorization_SA19.pdf
コード:https://github.com/SketchyScene/SketchySceneColorization

Language-based Colorization of Scene Sketches」は、Google AIチームと香港城市大学、中国の中山大学のメンバーらによる共同研究。線画に対して言葉で指示することによって、適切な色ぬりをする仕組みです。昨年の SIGGRAPH ASIA 2018で発表された技術の改良版でもあります。一方的にではなく対話的に色塗りを進めるのが特徴で、子どもが塗り絵をするような感覚で、英語で指示すると色塗りが進められます。数万種類規模の膨大な量のオブジェクトや前景、背景と言葉による指示の組み合わせを機械学習し、実現しています。

この研究をそのままツールやサービスにするということだけではなく、対話や言葉による指示、的確な選択、人工知能がスケッチ画に描かれているものを理解するといった用途に使えると考えているそうです。さらに曖昧な指示、複数の解釈など、現実の対話で起こるすれ違いなどを明確にしていくことも考えられます。将来的にはプロのアニメーターが口頭で指示しただけで、一瞬で塗り終わってしまうようなツールが登場するかもしれません。

Neural State Machine for Character-Scene Interactions

論文:https://github.com/sebastianstarke/AI4Animation//blob/master/Media/SIGGRAPH_Asia_2019/Paper.pdf

Neural State Machine for Character-Scene Interactions」はスコットランドのエジンバラ大学、Adobe Researchによる共同研究で、以前「CGへの扉 Vol.2:なめらかなキャラクタアニメーションと、ディープラーニングの役目」で紹介した「AI4Animation」 の継続研究です。

CGキャラクターと環境に存在するさまざまな物体との相互作用、関係性は難しい課題です。人間であれば、なんなくこなせる「椅子に座る」「箱を運ぶ」「ドアを開ける」「障害物を回避する」といった行動もコンピュータにとっては難しく、椅子を突き抜けてしまう、箱に触っていないのに持っている、ドアを突き破る、障害物を突き抜けるといった安物のゲームのような困った状況になりがちです。本研究ではキャラクターと環境との相互作用のためにデータ駆動型の深層学習フレームワーク NSM(Neural State Machine)を活用し、適切で自然な関係性をもったリアルタイムアニメーションを導き出します。UnityとTensorFlowで実装されており、ソースコードの公開も予定されているようです。

研究が先か、課題が先か、実用化への目的が先か?

今年の SIGGRAPH ASIA 2019 で、Google のメンバーから「Handheld Mobile Photography in Very Low Light」(GitHub)という論文が発表されました。この論文の中身は Googleの最新スマートフォン Google Pixel 3、4で使われている暗いところでも撮影可能なカメラNight Sightの仕組みや手法についての解説です。

論文発表の時期と、Google Pixel の発売時期を考えると、先に社会にテクノロジーが広がってから、その仕組みが詳細に研究者のコミュニティーに対して発表されるという一般的な論文発表とは逆の流れをとっています。SIGGRAPH ではこのような事例はそれほど珍しくなく、ハリウッド映画で使われた最新技術が翌年のSIGGRAPHで論文発表されるというようなことも起こります。

CG/VFX関連の研究でも地道な基礎研究はありますが、最近のCG/VFXの研究の流れのひとつとして、研究におけるテーマと映像製作の現場での課題がとても近いところにあるのが大きな特徴です。映画業界での映像製作や、インターネット業界、VR/AR業界でのニーズや課題にあわせた研究開発がなされ、それらがすぐにまた素早いスピードで実用化されるのが良いところです。研究だけが先に進んで、何に使ったらよいかわからないテクノロジーではなく、映像製作の現場に散在する誰か困っているテーマがCG/VFX研究の主流となっているのです。

本連載の今後の予定:「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。今回 SIGGRAPH ASIA 2019 から興味深い論文をピックアップして紹介しましたが、まだまだ紹介しきれていない人工知能・機械学習を活用した研究があり、機会があればまた紹介します。CG研究におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。なにか取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉:

Vol.1:CG/VFXにおける人工知能の可能性と、その限界

Vol.2:なめらかなキャラクタアニメーションと、ディープラーニングの役目

Vol.3:CGとAIの蜜月が今まで不可能だった映像を生みだす

Vol.4:CG/VFX制作に欠かせなくなったマシーンラーニングの勘所

Vol.5:SIGGRAPH 2019に見るCG研究と機械学習

Vol.6:Facebookが取り組むVRとAIのアプローチ

Vol.7:AIによる差別やバイアスを避ける取り組み“PAIR”

Vol.8:一流オークションハウスも注目するアートとAIの関係性

Contributor:安藤幸央

RELATED ARTICLE関連記事

CGへの扉 Vol.16:バーチャル開催SIGGRAPH論文を先取り

2020.7.20アート

CGへの扉 Vol.16:バーチャル開催SIGGRAPH論文を先取り

CGへの扉 Vol.3:CGとAIの蜜月が今まで不可能だった映像を生みだす

2019.6.14アート

CGへの扉 Vol.3:CGとAIの蜜月が今まで不可能だった映像を生みだす

CGへの扉 Vol.12:AIのおかげで映像の拡大やノイズ除去が高品質に

2020.3.12アート

CGへの扉 Vol.12:AIのおかげで映像の拡大やノイズ除去が高品質に

RANKING注目の記事はこちら