モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
ディープラーニング機械学習CGCGへの扉安藤幸央GANニューラルネットワーク月刊エンタメAIニュース三宅陽一郎強化学習音楽モリカトロンAIラボインタビュー敵対的生成ネットワークQAOpenAI河合律子スクウェア・エニックスシナリオキャラクターAINVIDIAFacebookデバッグCEDEC2019ルールベースプロシージャルDeepMind人工知能学会ビヘイビア・ツリーGoogleCEDEC2020ゲームAI映画SIGGRAPH遺伝的アルゴリズム不完全情報ゲームメタAIナビゲーションAI森川幸人畳み込みニューラルネットワーク自然言語処理深層学習マイクロソフトAIと倫理グーグルGDC 2021CEDEC2021GDC 2019マルチエージェントVRボードゲームロボットStyleGAN自動生成GPT-3CNNVFXモリカトロンゲームプレイAIファッションHTN階層型タスクネットワークJSAI2020TensorFlowMicrosoftイベントレポートテストプレイ水野勇太アニメーションガイスターNPCCLIPアートtoio吉本幸記JSAI2021スポーツディープフェイクシムピープル汎用人工知能大内孝子GDC Summereスポーツ対話型エージェントeSportsBLUE PROTOCOLシーマン小説DALL-EStyleGAN2AlphaZeroカメラ環世界中島秀之NFT懐ゲーから辿るゲームAI技術史研究DARPAドローンシムシティAI美空ひばり手塚治虫Electronic Artsメタデータブロックチェーン通しプレイOpenAI Five本間翔太CM倫理ピクサーAdobe作曲中嶋謙互Amadeus CodeMicrosoft AzureアストロノーカキャリアナラティブAmazon音声認識ロボティクスPyTorchDQN眞鍋和子バンダイナムコスタジオUnity齊藤陽介マインクラフトお知らせAIアートサルでもわかる人工知能VAEUbisoftUbisoft La ForgeワークショップGenvid Technologies知識表現ウォッチドッグス レギオンIGDAどうぶつしょうぎジェイ・コウガミ音楽ストリーミングマシンラーニングクラウド斎藤由多加リトル・コンピュータ・ピープルコンピューティショナル・フォトグラフィーGPT-2完全情報ゲーム坂本洋典釜屋憲彦ウェイポイントパス検索藤澤仁生物学画像認識DeNA長谷洋平鴫原盛之masumi toyota宮路洋一TextWorldSIGGRAPH ASIAソニーCycleGANフェイクニュースGPUALifeZork人工生命オルタナティヴ・マシンサウンドスケープMCS-AI動的連携モデルASBSマンガぱいどんTEZUKA2020ナビゲーションメッシュ松井俊浩スパーシャルAIマーケティングApex LegendsELIZANinjaコンピュータRPGアップルタウン物語KELDICメロディ言語ゲームTENTUPLAYLEFT 4 DEADMARVEL Future FightAstroタイムラプスEgo4Dバスキアバーチャルヒューマン日経イノベーション・ラボ敵対的強化学習階層型強化学習GOSU Data LabWANNGOSU Voice Assistant竹内将SenpAI.GGMobalytics馬淵浩希Cygames岡島学AWS Sagemaker映像セリア・ホデント形態素解析UXAWS Lambda誤字検出認知科学BERTゲームデザインSentencePieceLUMINOUS ENGINEプラチナエッグLuminous Productionsイーサリアムパターン・ランゲージ竹村也哉ちょまどビッグデータ模倣学習FPSマルコフ決定過程スタンフォード大学パラメータ設計テニスバランス調整レコメンドシステム協調フィルタリング人狼知能軍事AlphaDogfight TrialsエージェントシミュレーションStarCraft IIFuture of Life InstituteIntelLAIKARotomationドラゴンクエストライバルズ不確定ゲームDota 2モンテカルロ木探索ソーシャルゲームEmbeddingGTC2020NVIDIA MAXINE淡路滋ビデオ会議グリムノーツゴティエ・ボエダGautier Boeda階層的クラスタリングaiboJuliusSIETPRGバーチャル・ヒューマン・エージェントtoio SDK for Unityクーガー田中章愛石井敦銭起揚茂谷保伯MinecraftGDMC成沢理恵MITメディアラボ著作権マジック・リープMagic Leap OneMagendaノンファンジブルトークンDDSPサッカー里井大輝KaggleバスケットボールAssassin’s Creed OriginsSea of ThievesGEMS COMPANYmonoAI technologyアバター初音ミクOculus転移学習テストBaldur's Gate 3Candy Crush SagaSIGGRAPH ASIA 2020デバッギングBigGANMaterialGANリップシンキングRNNReBeL自動運転車VolvoRival Prakユービーアイソフト北尾まどかHALO将棋メタルギアソリッドVFSMナップサック問題汎用言語モデルSpotifyMITReplica StudioamuseChitrakar巡回セールスマン問題ジョルダン曲線5GMuZeroクラウドゲーミングRival Peak和田洋一リアリティ番組Stadiaジョンソン裕子MILEs対話エンジンインタラクティブ・ストリーミングインタラクティブ・メディアシーマン人工知能研究所Ludoゴブレット・ゴブラーズTransformerSIGGRAPH 2019ArtEmis絵画ARGROVERFAIRAIりんなチート検出オンラインカジノアップルRealFlowiPhoneシミュレーションDeep FluidsMeInGameAIGraphブレイン・コンピュータ・インタフェースBCILearning from Video予期知能ユクスキュルカント哲学ドラゴンクエストエージェントアーキテクチャPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者アルスエレクトロニカ2019StyleCLIPStyleRig逆転オセロニア奥村エルネスト純いただきストリート齋藤精一大森田不可止高橋智隆ロボユニザナック泉幸典仁井谷正充ロボコレ2019ぎゅわんぶらあ自己中心派Azure Machine Learning意思決定モデル脱出ゲームHybrid Reward ArchitectureウロチョロスSuper Phoenix理化学研究所Project Malmo教育Project PaidiaProject LookoutWatch ForBingLEFT ALIVE長谷川誠ジミ・ヘンドリックスBaby Xカート・コバーンロバート・ダウニー・Jr.エイミー・ワインハウスMagentaYouTubeダフト・パンクSFGlenn MarshallThe Age of A.I.Story2HallucinationレコメンデーションJukeboxGTC2021テンセントSIFTDCGANMOBADANNCE人事ハーバード大学研修デューク大学mynet.aiローグライクゲームNetHack人工音声NeurIPS 2021はこだて未来大学プレイ動画ヒップホップサイレント映画NBA環境音現代アートエージェント粒子群最適化法進化差分法群知能下川大樹ウィル・ライト高津芳希大石真史BEiTレベルデザインDETRSporeAIボイスアクターデノイズ南カリフォルニア大学画像処理NVIDIA CanvasSentropyCPUDiscordCALMプログラミングソースコード生成GMAIシチズンデベロッパーTRPGGitHubウィザードリィMCN-AI連携モデルAI Dungeon西川善司並木幸介サムライスピリッツ森寅嘉ゼビウスSIGGRAPH 2021ストリートファイター半導体Topaz Video Enhance AI栗原聡DLSS山野辺一記NetEase大里飛鳥DynamixyzモーションキャプチャーU-Net13フェイズ構造アドベンチャーゲームADVXLandAGI手塚眞DEATH STRANDING不気味の谷Eric JohnsonOculus Questコジマプロダクション生体情報デシマエンジンインディーゲーム写真高橋ミレイ照明Maxim PeterJoshua Romoffハイパースケープ山崎陽斗深層強化学習立木創太バンダイナムコ研究所ミライ小町テスラGameGANELYZAパックマンTesla BotTesla AI Dayソサエティ5.0ELYZA DIGESTSIGGRAPH 2020バズグラフニュースタンテキ東芝DIB-R倉田宜典3D音声合成韻律射影広告韻律転移

2D画像だけで大丈夫。3D画像や3Dオブジェクトを自動生成するAIまとめ

2020.7.27ゲーム

2D画像だけで大丈夫。3D画像や3Dオブジェクトを自動生成するAIまとめ

Instagramが流行していることから分かるように、2D画像は世界に溢れています。というのも、スマホさえあれば2D画像は誰でも簡単に撮影できるからです。対して3D画像または3Dオブジェクトの撮影や生成は、誰でもできるというわけではありません。そんななか、敷居の高い3D画像・3Dオブジェクトの生成をAIによって自動化する研究が、近年次々と発表されています。この記事では、そうした研究事例を3つほど紹介します。

2D画像から3Dオブジェクトを生成するNVIDIAの「DIB-R」

GPU大手メーカーのNVIDIAは2019年12月、2D画像から3Dオブジェクトを生成するAIモデルを発表しました。「DIB-R」(Differentiable Interpolation-based Renderer:微分可能な補間ベースのレンダラーの略称)と名づけられたこのAIは、与えられた2D画像から3Dオブジェクトの形状、色、質感、さらには照明の位置を予測します。こうした同AIの処理は、人間がふたつの眼球から得られた2次元的情報を脳内で3次元情報に変換する認知活動に類似したものと言えます。

DIB-Rを開発するにあたっては、学習データとして200種の鳥の2D画像を集めた「CUB-200」が使われました。学習済みの同AIは、鳥だけではなくティラノサウルスやドードー鳥といった絶滅した動物の3Dオブジェクトを100ミリ秒未満で生成できるようになりました。

DIB-Rの応用には、自律型ロボットへの実装が考えられます。例えば、工場内で貨物を自律的に運搬するロボットには、周囲を3次元的に認識する能力が求められます。自律型運搬ロボットに同AIを実装すれば、単眼カメラで撮影した画像から周囲の状況を3次元的に認識できるようになるのです。

参考論文:Learning to Predict 3D Objects with an Interpolation-based Differentiable Renderer

単眼スマホカメラで撮影した2D画像の3D化に成功したFacebook

Facebook AI研究所は2020年2月、単眼スマホカメラで撮影してFacebookに投稿した2D画像を3D画像に変換できるようになったことを発表しました。実のところ、iPhone Xのようなデュアルカメラを実装したスマホで撮影した2D画像を3D画像に変換することはすでに実現していました。単眼スマホカメラにおいても3D化に成功したのは、AIによってデュアルカメラを使った深度測定と同等の処理が可能となったからです。

2D画像を3D画像に変換する際に必要となるのが深度マップです。深度マップとは、2D画像内の奥行を表したものです。カメラから等しい距離にある被写体は同じ深度となり、2D画像に写っている空間全体では異なった深度が等高線のように分布しています。こうした深度は、通常、ふたつのカメラを使って測定されます。同一の被写体をふたつのカメラで撮影した時のずれ(視差と呼ばれる)から奥行を算出するのです。人間がふたつの眼で奥行を知覚するのも、こうした視差によるものです。

Facebookの研究チームは、以上のような視差を使わずに深度を算出する方法を開発しました。その方法とは、AIによって深度を高精度に推論するというものでした。こうしたAIは、2D画像を入力、3D画像および深度マップを出力に設定して学習を重ねることによって実現しました。学習に際しては、どんな2D画像が与えられても正しく深度が推論できるように、多種多様な3D画像が大量に用意されました。

深度推論AIが完成しても、このAIを単眼カメラを実装しているようなミドルクラスのスマホで実行するには、克服しなければならない問題がありました。ミドルクラスのスマホの演算能力は高くないので、低い演算能力でAIを実行するようなアルゴリズムが必要となるのです。この問題は、CharmNetと名づけられたAIのアルゴリズムをスマホで実行できるように最適化する技術を開発することによって解決しました。

Facebookの研究チームは、動画の深度を推論するAI開発にも取り組んでいます。多数の静止画を並べたものと見なせる動画においては、深度推論を連続的かつ短時間で実行する必要があります。もっとも、隣接する静止画では同じような深度分布になるので、深度推論処理の効率化が開発のカギとなるでしょう。

DeepMindのPolyGenは3Dオブジェクトの画像からポリゴンを推論する

DeepMindは2020年2月、3Dオブジェクトの画像からポリゴンの構造を推論するモデル「PolyGen」を発表しました。このAIは、前述したDIB-Rや深度推論AIが3Dオブジェクトや3D画像を生成するのとは異なり、3Dオブジェクトの内部構造を推論するというものです。

3Dオブジェクトは、多数の三角形が立体的につながって複雑な形状を表現しています。形状を形成する三角形は、ポリゴンと呼ばれます。そして、ポリゴンで形成された多角形に面を貼り付けると、ボリュームのある3Dオブジェクトとなります。さらに、この3Dオブジェクトの表面に画像を貼り付け、光を当てて陰影を加えると、リアルな3D表現が実現します。

PolyGenは、任意の3Dオブジェクトの画像を入力として与えると、ポリゴンを構成する頂点の数と面の数をそれぞれ推論して、3Dオブジェクトの内部構造を出力します。同AIが革新的なのは、入力画像として与えられる3Dオブジェクトはひとつの側面からしか見えていないにもかかわらず、裏側の構造まで推論するところです。

PolyGenの学習にあたっては、ShapeNetと呼ばれる3Dオブジェクトのデータセットが使われました。完成した同AIは、頂点の数を約85%、面の数を約90%の精度で正しく推論することが確認されました。

参考論文:PolyGen: An Autoregressive Generative Model of 3D Meshes

以上のように、専門知識と経験が必要な3D画像や3Dオブジェクトの生成のAIによる自動化は、大手IT企業を中心にさかんに研究されています。そして、こうした研究は、ゲーム開発、カメラアプリの画像加工処理、さらには拡張現実に応用されることでしょう。

Writer:吉本幸記

RELATED ARTICLE関連記事

【CEDEC2020】『ドラゴンクエストライバルズ』のゲーム状態と行動を反映した対戦AI構築の試み

2020.9.30ゲーム

【CEDEC2020】『ドラゴンクエストライバルズ』のゲーム状態と行動を反映した...

AIシナリオライターは才能至上主義のアンチテーゼとなるか?:暁影二氏×森川幸人氏対談

2019.11.29ゲーム

AIシナリオライターは才能至上主義のアンチテーゼとなるか?:暁影二氏×森川幸人氏...

【CEDEC2019】中島秀之氏 基調講演:環境との相互作用を取り込む予期知能が、機械学習の課題を解決に導く

2019.9.20ゲーム

【CEDEC2019】中島秀之氏 基調講演:環境との相互作用を取り込む予期知能が...

RANKING注目の記事はこちら