モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
CG機械学習CGへの扉ディープラーニング安藤幸央GAN月刊エンタメAIニュース河合律子OpenAI音楽ニューラルネットワーク強化学習三宅陽一郎NVIDIA吉本幸記人工知能学会FacebookQA敵対的生成ネットワークスクウェア・エニックス森川幸人モリカトロンAIラボインタビュー自然言語処理ルールベースDeepMindキャラクターAIシナリオGoogleGPT-3大内孝子AIと倫理映画NFTグーグルStyleGAN自動生成倫理デバッグゲームプレイAIメタAICEDEC2019アートプロシージャルSIGGRAPH遺伝的アルゴリズムDALL-E深層学習マイクロソフトビヘイビア・ツリーCEDEC2021CEDEC2020ゲームAI不完全情報ゲームVRナビゲーションAI畳み込みニューラルネットワークCLIPロボットDALL-E2ディープフェイクGDC 2021JSAI2022VFXメタバースGDC 2019マルチエージェントボードゲームNPC画像生成テキスト画像生成懐ゲーから辿るゲームAI技術史CNNデジタルツインテストプレイモリカトロンUnityAIアート小説ファッション鴫原盛之HTN階層型タスクネットワークJSAI2020TensorFlowBERTAdobeMicrosoftイベントレポート対話型エージェント著作権水野勇太アニメーションガイスターStyleGAN2toioソニーJSAI2021スポーツ研究シムピープルマンガ汎用人工知能マーケティングGDC SummerインタビューバーチャルヒューマンブロックチェーンMidjourneyアストロノーカNVIDIA OmniverseeスポーツAmazonロボティクスeSportsCEDEC2022DQNBLUE PROTOCOLシーマンMinecraftアバターUbisoftGenvid TechnologiesAlphaZeroTransformerGPT-2カメラ環世界中島秀之哲学DARPAドローンシムシティバイアスMCS-AI動的連携モデルTEZUKA2020AI美空ひばり手塚治虫スパーシャルAIElectronic ArtsメタデータLEFT 4 DEAD通しプレイOpenAI Five本間翔太CMピクサープラチナエッグイーサリアム作曲ボエダ・ゴティエビッグデータ中嶋謙互Amadeus Codeデータ分析Microsoft AzureキャリアナラティブアーケードゲームOmniverse ReplicatorWCCFレコメンドシステムNVIDIA DRIVE SimWORLD CLUB Champion FootballNVIDIA Isaac Simセガ柏田知大軍事サイバーエージェント田邊雅彦トレーディングカードトレカ音声認識PyTorchStable Diffusion眞鍋和子バンダイナムコスタジオaibo合成音声Meta齊藤陽介マインクラフトお知らせチャットボットサルでもわかる人工知能VAEOmniverseリップシンキングUbisoft La Forge自動運転車ワークショップメタ知識表現ウォッチドッグス レギオンIGDAどうぶつしょうぎEpic Gamesジェイ・コウガミ音楽ストリーミングMIT徳井直生マシンラーニングRival Peakクラウド対話エンジン斎藤由多加リトル・コンピュータ・ピープルコンピューティショナル・フォトグラフィーゴブレット・ゴブラーズ絵画AIりんなシミュレーション完全情報ゲーム坂本洋典釜屋憲彦ウェイポイントパス検索対談藤澤仁生物学GTC 2022画像認識GTC2022StyleCLIPDeNA長谷洋平masumi toyota宮路洋一OpenSeaGDC 2022理化学研究所教育TextWorldSIGGRAPH ASIAMagentaSFELYZA PencilGTC2021CycleGANデータマイニングNetHackはこだて未来大学フェイクニュースエージェントRPGSIGGRAPH 2022AIボイスアクターNVIDIA CanvasImagenGPUALifeZork人工生命オルタナティヴ・マシンサウンドスケープASBS栗原聡モーションキャプチャーぱいどんテキスト生成ナビゲーションメッシュ松井俊浩バンダイナムコ研究所ELYZAフルコトELYZA DIGEST3D音声合成西成活裕Apex LegendsELIZA群衆マネジメントNinjaコンピュータRPGライブビジネスアップルタウン物語新型コロナKELDIC周済涛メロディ言語清田陽司ゲームTENTUPLAYサイバネティックスMARVEL Future FightAstro人工知能史タイムラプスEgo4DAI哲学マップバスキア星新一日経イノベーション・ラボStyleGAN-XL敵対的強化学習StyleGAN3階層型強化学習GOSU Data LabGANimatorWANNGOSU Voice AssistantVoLux-GAN竹内将SenpAI.GGProjected GANMobalyticsSelf-Distilled StyleGAN馬淵浩希Cygamesニューラルレンダリング岡島学AWS SagemakerPLATO映像セリア・ホデント形態素解析frame.ioUXAWS LambdaFoodly誤字検出森山和道認知科学中川友紀子ゲームデザインSentencePieceアールティLUMINOUS ENGINELuminous ProductionsBlenderBot 3パターン・ランゲージ竹村也哉Meta AIちょまどマーク・ザッカーバーグGOAPWACULAdobe MAX 2021自動翻訳MILE模倣学習AIライティングOmniverse AvatarAIのべりすとFPSNVIDIA RivaQuillBotマルコフ決定過程NVIDIA MegatronCopysmithNVIDIA MerlinJasperスタンフォード大学NVIDIA Metropolisパラメータ設計テニスバランス調整協調フィルタリング人狼知能テキサス大学AlphaDogfight TrialsAI Messenger VoicebotエージェントシミュレーションOpenAI CodexStarCraft IIHyperStyleMax CooperFuture of Life InstituteRendering with StyleメディアアートIntelDisney類家利直LAIKADisneyリサーチヴィトゲンシュタインRotomationGauGAN論理哲学論考GauGAN2京都芸術大学ドラゴンクエストライバルズ画像言語表現モデル不確定ゲームSIGGRAPH ASIA 2021PromptBaseDota 2モンテカルロ木探索ディズニーリサーチMitsuba2バンダイナムコネクサスソーシャルゲームEmbeddingワイツマン科学研究所ユーザーレビューGTC2020CG衣装mimicNVIDIA MAXINEVRファッションBaidu淡路滋ビデオ会議ArtflowERNIE-ViLGグリムノーツEponym古文書ゴティエ・ボエダ音声クローニング凸版印刷Gautier Boeda階層的クラスタリングGopherAI-OCR画像判定JuliusSIE鑑定ラベル付けTPRGOxia Palus大澤博隆バーチャル・ヒューマン・エージェントtoio SDK for UnityArt RecognitionSFプロトタイピングクーガー田中章愛実況パワフルサッカー石井敦銭起揚NHC 2021桃太郎電鉄茂谷保伯池田利夫桃鉄GDMC新刊案内パワサカマーベル・シネマティック・ユニバースコナミデジタルエンタテインメント成沢理恵MITメディアラボMCU岩倉宏介アベンジャーズPPOマジック・リープDigital DomainMachine Learning Project CanvasMagic Leap OneMagendaMasquerade2.0国立情報学研究所ノンファンジブルトークンDDSPフェイシャルキャプチャー石川冬樹サッカーモリカトロン開発者インタビュー里井大輝Kaggle宮本茂則バスケットボール山田暉Assassin’s Creed OriginsAI会話ジェネレーターSea of ThievesGEMS COMPANYmonoAI technologyLSTMモリカトロンAIソリューション初音ミクOculusコード生成AI転移学習テストAlphaCodeBaldur's Gate 3CodeforcesCandy Crush Saga自己増強型AISIGGRAPH ASIA 2020COLMAPADOPデバッギングBigGANGANverse3DMaterialGANRNNグランツーリスモSPORTReBeLグランツーリスモ・ソフィーGTソフィーVolvoFIAグランツーリスモチャンピオンシップRival PrakDGX A100VTuberユービーアイソフトWebcam VTuber星新一賞北尾まどかHALO市場分析将棋メタルギアソリッドVフォートナイトFSMRobloxナップサック問題Live Nation汎用言語モデルWeb3.0AIOpsSpotifyスマートコントラクトReplica StudioAWSamuseChitrakarQosmo巡回セールスマン問題ジョルダン曲線メディア5GMuZero政治クラウドゲーミングがんばれ森川君2号和田洋一リアリティ番組Stadiaジョンソン裕子MILEsNightCafeインタラクティブ・ストリーミングLuis Ruizインタラクティブ・メディアポケモンCodexシーマン人工知能研究所東京工業大学Ludo博報堂ラップSIGGRAPH 2019ArtEmisZ世代AIラッパーシステムARrinnaGROVERプラスリンクス ~キミと繋がる想い~FAIRSTCチート検出Style Transfer ConversationオンラインカジノRCPアップルRealFlowRinna Character PlatformiPhoneデジタルヒューマンDeep FluidsSoul MachinesMeInGameAmeliaAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクターBCIGateboxLearning from VideoANIMAK予期知能逢妻ヒカリセコムユクスキュルバーチャル警備システムカント損保ジャパン上原利之ドラゴンクエストエージェントアーキテクチャアッパーグラウンドPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者Siemensアルスエレクトロニカ2019品質保証StyleRigAutodesk逆転オセロニアBentley Systemsワールドシミュレーター奥村エルネスト純いただきストリートH100齋藤精一大森田不可止COBOL高橋智隆DGX H100ロボユニザナックDGX SuperPOD泉幸典仁井谷正充クラウドコンピューティングロボコレ2019Instant NeRFartonomousbitGANsぎゅわんぶらあ自己中心派Azure Machine Learning意思決定モデル脱出ゲームHybrid Reward Architectureコミュニティ管理ウロチョロスSuper PhoenixSNSProject Malmoオンラインゲーム気候変動Project PaidiaEarth-2Project Lookoutマックス・プランク気象研究所Watch Forビョルン・スティーブンスBing気象モデルLEFT ALIVE気象シミュレーション長谷川誠ジミ・ヘンドリックス環境問題Baby Xカート・コバーンエコロジーロバート・ダウニー・Jr.エイミー・ワインハウスSDGsYouTubeダフト・パンクメモリスタGlenn MarshallThe Age of A.I.Story2Hallucination音声変換レコメンデーションJukebox松尾豊Veap JapanEAPテンセントSIFT福井千春DCGAN医療MOBADANNCEメンタルケア人事ハーバード大学Edgar Handy研修デューク大学Netflixmynet.aiローグライクゲーム東京大学東京理科大学人工音声NeurIPS 2021産業技術総合研究所リザバーコンピューティングプレイ動画ヒップホップキャラクターモーションソニーマーケティングサイレント映画もじぱNBA環境音暗号通貨現代アートFUZZLEAlteration粒子群最適化法進化差分法オープンワールド群知能下川大樹AIFAウィル・ライト高津芳希P2E大石真史BEiTStyleGAN-NADAレベルデザインDETRゲームエンジンSporeUnreal Engineデノイズ南カリフォルニア大学Unity for Industry画像処理SentropyGLIDECPUDiscordAvatarCLIPSynthetic DataCALMプログラミングサム・アルトマンソースコード生成LaMDAGMAIシチズンデベロッパーSonanticTRPGGitHubCohereウィザードリィMCN-AI連携モデルマジック:ザ・ギャザリングAI DungeonUrzas.ai介護西川善司並木幸介Kikiサムライスピリッツ森寅嘉Zoetic AIゼビウスSIGGRAPH 2021ペットストリートファイター半導体Digital Dream LabsTopaz Video Enhance AICozmoDLSSタカラトミー山野辺一記NetEaseLOVOT大里飛鳥DynamixyzMOFLINRomiU-Netミクシィ13フェイズ構造アドベンチャーゲームユニロボットADVユニボXLandGatoAGI手塚眞DEATH STRANDINGマルチモーダル不気味の谷Eric Johnson汎用強化学習AIデザインOculus Questコジマプロダクションロンドン芸術大学生体情報デシマエンジンGoogle BrainインディーゲームSound Control写真高橋ミレイSYNTH SUPER照明Maxim PeterKarl SimsJoshua RomoffArtnomeハイパースケープICONATE山崎陽斗深層強化学習立木創太松原仁浜中雅俊ミライ小町武田英明テスラ福井健策GameGANパックマンTesla BotNEDOTesla AI DayWikipediaソサエティ5.0SphereSIGGRAPH 2020バズグラフXaver 1000ニュースタンテキ養蜂東芝BeewiseDIB-R倉田宜典フィンテック投資韻律射影MILIZE広告韻律転移三菱UFJ信託銀行

CGへの扉 Vol.5:SIGGRAPH 2019に見るCG研究と機械学習

2019.8.20アート

CGへの扉 Vol.5:SIGGRAPH 2019に見るCG研究と機械学習

コンピュータグラフィックスとインタラクティブ技術に関する世界最大の学会・展示会である第46回 SIGGRAPH 2019が、7月28日から8月1日の5日間、米国ロサンゼルスコンベンションセンターで開催されました。今年は、世界79カ国から 18,700人が参加し、180社の企業からの展示が行われました。論文発表やセッションの数は約700、その一部は YouTube Live, Facebook Live で配信され、約2万人が視聴しました。

SIGGRAPH 2019 における人工知能が活用された数々のCG研究

SIGGRAPHは多くのイベントやセッションで構成され、一般的な学会とは異なるコンピュータグラフィックスの祭典のようなカンファレンスです。しかし本分はやはり学会であり、トップカンファレンスと呼ばれる世界最高峰の学会の一つです。論文採択率が3割以下という狭き門で最近はアカデミックな研究者に加えてAdobe、Amazon、Google、Facebookといった企業からの論文が多くなっています。

今年の論文は世界30カ国から385本の投稿があり、そのうち111本が採択され、それに加えて年次の論文集から31本、合計142本の論文が発表されました。論文の内容も、王道のCG描画技術のみならず、3Dプリンタの応用技術、画像処理や動画処理、VRやARの研究、人の動きや顔の動きを取得するキャプチャ技術など、CG/VFXを取り巻くさまざまな分野に広がっています。

論文発表は全部で32の分野に分かれています。その中でも特に”Machine Learning for Rendering”、”Neural Rendering” の2つの分野では、CG描画のアプローチの一つとして機械学習やニューラルネットワークを活用した研究がなされています。SIGGRAPH 2019 の数ある論文の中から人工知能が活用された研究発表をいくつか紹介しましょう。

TileGAN: Synthesis of Large-Scale Non-Homogeneous Textures

TileGAN: Synthesis of Large-Scale Non-Homogeneous Textures

Paper Abstract Author Preprint Paper Video:https://github.com/afruehstueck/tileGAN
動画:https://www.youtube.com/watch?v=ye_HZOdW7kg

TileGANはGAN(敵対的生成ネットワーク)を用いたテクスチャ画像合成システムです。TileGANは、3DCG生成に欠かせない、大きく複雑なテクスチャ画像を合成し、かつインタラクティブに修正することが可能なツールとして実現しています。テクスチャ画像作成の際、描き手の好みや演出を加えた上で、違和感のない自然なつなぎ目、自然な変化をもつテクスチャ画像が生成でき、制作の現場でおおいに歓迎されることが予想されます。現在は研究段階ですが、近い将来、市販のツールに組み込まれることが期待されます。

Semantic Photo Manipulation With a Generative Image Prior

Semantic Photo Manipulation With a Generative Image Prior

動画:https://www.youtube.com/watch?v=q1K4QWrbCRM

GAN(敵対的生成ネットワーク)を活用し、インタラクティブでアーティスティックな画像処理を行うペイントツールです。実写の風景写真をもとに、邪魔なものを消したり、空や窓が足りない場合には平易な操作で書き足しができるとともに、自動的に自然な風景画像として調整してくれるツールです。変更したい部分をカーソルでなぞるだけで自然な素材に差し変わってくれます。MITとIBM Watson Labによる共同研究です。GANpaint Studio としてウェブブラウザで動作するオンラインデモも公開されています。

Single Image Portrait Relighting

Single Image Portrait Relighting

動画:https://www.youtube.com/watch?v=yxhGWds_g4I

カリフォルニア大学とGoogleとの共同研究で、1枚のポートレート写真の照明や光の様子を、撮影後に修正する技術です。人の顔を明るくしたり、背景のボケの様子を変えたり、日光が当たっている方向を変えるなど、普通の写真撮影では無理なことができます。素材としてRGB画像があれば十分で、最新のスマートフォンカメラに搭載されている深度情報などは必要としません。元となるデータは18人分のさまざまな方向から照明が当てられた画像情報を人の周りを360度全面LED照明に囲んだ特別なスキャン装置Light Stageを用いて取得。それらを学習データとして用いています。データセットの用意こそ難しいですが、仕組みとしては力技的な部分もあります。その仕組み上、現在は一人の顔、つまりはポートレート写真に限定されています。最新機種ではない、安価なスマートフォン上で動作する機能・アプリとして期待されます。

The Face of Art: Landmark Detection and Geometric Style in Portraits

The Face of Art: Landmark Detection and Geometric Style in Portraits

動画:https://vimeo.com/352720464

絵画のディテールを真似たポートレートを自動生成する技術です。さまざまなアーティスト、手法、スタイルの 160種類のアートワークを集め、それらを元データとしています。特定の画家のスタイルのタッチに写真画像を変換する技術は従来から研究されていますが、本研究では、画家のタッチだけでなく、絵画における独特の変形、顔の解釈なども反映されています。

例えばいつも面長なスタイルで描く画家、いつも極端に目の大きい顔を描く画家など、それらのスタイルを模倣したポートレート画像を、ポートレート写真から変換することができるのです。顔の構成要素を分解し、元となる絵画がどう変形しているのかを捉えつつ違和感のない変形を行なっています。ピカソ風、浮世絵風、ダヴィンチ風など、今は亡き有名画家に自画像を描いてもらったかのような出来栄えです。

MeshCNN: A Network With an Edge

MeshCNN: A Network With an Edge

動画:https://www.youtube.com/watch?v=3cKGSV-VUVI

MeshCNNは、三次元データをディープラーニングで扱うための工夫です。従来であれば、一般的なディープラーニングのライブラリで三次元データを扱うためには、ライブラリが取り扱いやすいデータ形式。例えばいったん二次元画像に変換して機械学習し、それらをまた三次元データに戻すといった無駄で効率の悪い作業が必要でした。MeshCNNは三次元データを取り扱うための配慮と効率を考慮した三次元モデル専用のCNN(Convolutional Neural Network:畳み込みニューラルネットワーク)です。テルアビブ大学と、Amazonの共同研究です。

クリエイティブなAIとは? コースノートから読み解くSIGGRAPHとAI

SIGGRAPHでは、会期中の初日、2日目にかけて「コース」というセッションが数多く開催されます。これはいわゆるチュートリアル、レクチャー形式の講義で、半日からまる1日かけて、現在のCG業界でのトレンドや知っておくべき基礎的知識などを専門家から教えてもらう学校の授業のようなものです。

今年のコースのひとつとしてイギリスのロンドン大学Smart Geometry Processing Groupのメンバーより「コンピュータグラフィックスのためのディープラーニング:CreativeAI」というコースが行われました。Smart Geometry Processing Groupは、ラフなスケッチから、衣服のモデルを形成する仕組みや、簡単な立方体の組み合わせから、大規模な都市のモデリングを生成するなど、ディープラーニングを最大限に活用したCG研究で知られる研究グループです。

CreativeAIコースの内容は下記のとおり

  • ニューラルネットワークの基礎
  • CGにおける教師あり学習
  • CGにおける教師なし学習
  • 非構造化データの学習
  • シミュレーション、アニメーションの学習

一般的な機械学習、ディープラーニング系の入門書や解説は多いですが、CG分野に特化した用途、実例や考え方を交えて紹介してある資料はとても貴重です。機械学習ライブラリPyTorchをもとにした解説中のソースコードも解説資料とともに公開されています。

解説資料+ソースコード:CreativeAI: Deep Learning for Computer Graphics

人間の画力を超越。NVIDIAによる GauGANドローイング

GauGAN は実在しないリアルな風景画像を平易に生成することができる敵対的生成ネットワークを活用したツールです。元となったデータは写真共有サイトFlickrにある海、湖、空、雲、木、森、花、丘、山など、180種類の風景にまつわるオブジェクトを100万枚以上学習させ実現したものです。名前の由来は印象派の画家ゴーギャン(Paul Gauguin)の名前と、敵対的生成ネットワーク(GAN)です。GauGANのベースとなっているのは2018年に発表されたPix2PixHDというシステムです。

GauGANで、一般的なペイントツールのように、ごくごく簡単に画面にオブジェクトや色領域を描いていくと、それに基づいたバランスとレイアウトを伴った、リアルで高精細な風景画が瞬時に描けてしまいます。もちろん描かれた風景画は、さまざまな学習データから合成したもので、実在の風景画ではありませんが、ペイントツールで描いた人が想像したそのままの雲、そのままの山の配置、演出したいとおりの空間の配置で自動的に描かれるのです。

NVIDIAとしてはGauGANによって人々の創造性を刺激し、AIなしではできないような芸術作品、想像力をより
広げ、手軽に具現化できる手助けをしていきたいそうで、実際に数々のハリウッド映画のコンセプトアートを手がける Colie Wertz 氏も、GauGANをコンセプトアート作りに生かしているそうです。

GauGANで生成した風景画をもとに、宇宙船を書き足している。(c) Colie Wertz

GauGANは、展示会場 NVIDIAのブースで常時展示されていたとともに、リアルタイムCGのデモを披露するイベント Real Time Live! でもお披露目され、観客の拍手喝采を浴びていました。

Real Time Live! での GauGANの発表の様子。何も無い青空が……
…. 情感豊かな風景に
Real Time Live ! で観客投票1位になった GauGAN開発チーム一同
展示会場ブースでの GauGAN のデモ展示

GauGAN

GauGAN のインタラクティブデモ。実際に操作して試すことができる。
http://nvidia-research-mingyuliu.com/gaugan
ソースコード:https://github.com/NVlabs/SPADE

アート文脈で人工知能がこれからどう関わっていくのか?

RuShi

SIGGRAPHの会場には、デジタル技術や3Dプリンターなどのテクノロジーを駆使したデジタルアート作品、メディアアート作品も展示されます。今年のアートギャラリーのテーマは“Proliferating Possibilities: Speculative Futures in Art and Design.”(増殖の可能性:アートとデザインのスペキュラティブな未来)と題され、speculate(思索)的なことをもたらす作品、問いや思考するきっかけをもたらし、さまざまな可能性を考えるきっかけとなる数々の作品が展示されました。

会場でとくに注目を浴びていたのは香港のアーティスト John Wong 氏の「RuShi」という作品。予測、運命、迷信を表した没入型のインスタレーションで、AI時代に本当に必要なものは何なのか? という問いを美しいビジュアリゼーションで表現したものです。タイトルの RuShi は、仏教用語で「如是(にょぜ)」のことを示し「かくのごとく、このように」といった意味を持ちます。ビッグデータと四柱推命を切り口に表現しており、予測とは何なのか占いとは何なのかを問いかけている作品です。

本連載の今後の予定:CGへの扉」は、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。なにか取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉:

Vol.1:CG/VFXにおける人工知能の可能性と、その限界

Vol.2:なめらかなキャラクタアニメーションと、ディープラーニングの役目

Vol.3:CGとAIの蜜月が今まで不可能だった映像を生みだす

Vol.4:CG/VFX制作に欠かせなくなったマシーンラーニングの勘所

Contributor:安藤幸央

RELATED ARTICLE関連記事

CGへの扉 Vol.34:注目論文よりCGの祭典 #SIGGRAPHAsia2021 を振り返る

2022.1.17アート

CGへの扉 Vol.34:注目論文よりCGの祭典 #SIGGRAPHAsia20...

CGへの扉 Vol.3:CGとAIの蜜月が今まで不可能だった映像を生みだす

2019.6.14アート

CGへの扉 Vol.3:CGとAIの蜜月が今まで不可能だった映像を生みだす

CGへの扉 Vol.22:言葉から画像を生成、DALL-Eはクリエイティブなのか?

2021.1.14アート

CGへの扉 Vol.22:言葉から画像を生成、DALL-Eはクリエイティブなのか...

RANKING注目の記事はこちら