モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。
- TAG LIST
- CGCGへの扉機械学習安藤幸央ディープラーニング月刊エンタメAIニュースGAN河合律子OpenAI音楽ニューラルネットワークNVIDIA三宅陽一郎強化学習吉本幸記QAGoogleFacebook人工知能学会GPT-3自然言語処理グーグルDeepMind大内孝子森川幸人敵対的生成ネットワークキャラクターAIスクウェア・エニックスモリカトロンAIラボインタビューマイクロソフトルールベースシナリオAIと倫理映画デバッグアートDALL-E2StyleGAN倫理ゲームプレイAINFT自動生成SIGGRAPHメタAIテキスト画像生成ロボット深層学習CEDEC2019プロシージャル遺伝的アルゴリズムテストプレイモリカトロンStable DiffusionDALL-Eビヘイビア・ツリーディープフェイクCEDEC2021CEDEC2020ゲームAIVFXデジタルツインメタバース不完全情報ゲームVRナビゲーションAINPC畳み込みニューラルネットワークCLIP画像生成GDC 2021JSAI2022GDC 2019マルチエージェントCEDEC2022AIアート画像生成AIボードゲームファッション懐ゲーから辿るゲームAI技術史toioCNNAdobeUnity著作権小説アニメーション鴫原盛之HTN階層型タスクネットワーク汎用人工知能JSAI2020TensorFlowインタビューBERTMicrosoftイベントレポート対話型エージェントロボティクスMetaMinecraft水野勇太Genvid TechnologiesガイスターStyleGAN2GTC2022教育ソニーJSAI2021スポーツ研究シムピープルMCS-AI動的連携モデルマンガマーケティングGDC SummerバーチャルヒューマンブロックチェーンMidjourneyアストロノーカキャリアNVIDIA OmniverseeスポーツAmazoneSportsDQNBLUE PROTOCOLシーマンアバターOmniverseUbisoftメタAlphaZeroTransformerGPT-2AIりんなカメラ環世界中島秀之哲学ベリサーブPlayable!ChatGPT理化学研究所SIGGRAPH ASIADARPAドローンシムシティImagenZorkバイアスモーションキャプチャーTEZUKA2020AI美空ひばり手塚治虫バンダイナムコ研究所スパーシャルAIElectronic Arts3DメタデータLEFT 4 DEAD通しプレイOpenAI Five本間翔太CMピクサープラチナエッグイーサリアム作曲ボエダ・ゴティエビッグデータ中嶋謙互Amadeus Codeデータ分析Microsoft AzureMILE模倣学習ナラティブスタンフォード大学アーケードゲームOmniverse ReplicatorWCCFレコメンドシステムNVIDIA DRIVE SimWORLD CLUB Champion FootballNVIDIA Isaac Simセガ柏田知大軍事サイバーエージェント田邊雅彦トレーディングカードトレカ音声認識メディアアートPyTorch眞鍋和子バンダイナムコスタジオaibo合成音声齊藤陽介マインクラフトお知らせMagic Leap Oneチャットボットサルでもわかる人工知能VAE3DCGリップシンキングUbisoft La Forge自動運転車ワークショップ知識表現ウォッチドッグス レギオンIGDA秋期GTC2022どうぶつしょうぎEpic Gamesジェイ・コウガミ音楽ストリーミングMITAIロボ「迷キュー」に挑戦野々下裕子徳井直生マシンラーニング5GMuZeroRival Peakクラウド対話エンジン斎藤由多加リトル・コンピュータ・ピープルCodexコンピューティショナル・フォトグラフィーゴブレット・ゴブラーズ絵画rinnaイラストシミュレーションデジタルヒューマン完全情報ゲーム坂本洋典PaLM釜屋憲彦ウェイポイントパス検索対談藤澤仁生物学GTC 2022画像認識GPT-3.5SiemensStyleCLIPDeNA長谷洋平masumi toyota宮路洋一OpenSeaGDC 2022TextWorldジェネレーティブAIEarth-2BingMagentaSFELYZA Pencil松尾豊GTC2021CycleGANデータマイニング東京大学NetHackはこだて未来大学キャラクターモーションフェイクニュースエージェントRPGSIGGRAPH 2022レベルデザインAIボイスアクターNVIDIA CanvasGPUALife人工生命オルタナティヴ・マシンサウンドスケープLaMDAAI DungeonASBS栗原聡ぱいどんテキスト生成不気味の谷ナビゲーションメッシュ松井俊浩ELYZAフルコトELYZA DIGEST音声合成西成活裕Apex LegendsELIZA群衆マネジメントNinjaコンピュータRPGライブビジネスアップルタウン物語新型コロナKELDIC周済涛メロディ言語清田陽司ゲームTENTUPLAYサイバネティックスMARVEL Future FightAstro人工知能史タイムラプスEgo4DAI哲学マップバスキア星新一日経イノベーション・ラボStyleGAN-XL敵対的強化学習StyleGAN3階層型強化学習GOSU Data LabGANimatorWANNGOSU Voice AssistantVoLux-GAN竹内将SenpAI.GGProjected GANMobalyticsSelf-Distilled StyleGAN馬淵浩希Cygamesニューラルレンダリング岡島学AWS SagemakerPLATO映像セリア・ホデント形態素解析frame.ioUXAWS LambdaFoodly誤字検出森山和道認知科学中川友紀子ゲームデザインSentencePieceアールティLUMINOUS ENGINELuminous ProductionsBlenderBot 3パターン・ランゲージ竹村也哉Meta AIちょまどマーク・ザッカーバーグGOAPWACULAdobe MAX 2021自動翻訳AIライティングOmniverse AvatarAIのべりすとFPSNVIDIA RivaQuillBotマルコフ決定過程NVIDIA MegatronCopysmithNVIDIA MerlinJasperNVIDIA Metropolisパラメータ設計テニスバランス調整協調フィルタリング人狼知能テキサス大学AlphaDogfight TrialsAI Messenger VoicebotエージェントシミュレーションOpenAI CodexStarCraft IIHyperStyleMax CooperFuture of Life InstituteRendering with StyleIntelDisney類家利直LAIKADisneyリサーチヴィトゲンシュタインRotomationGauGAN論理哲学論考GauGAN2京都芸術大学ドラゴンクエストライバルズ画像言語表現モデル不確定ゲームSIGGRAPH ASIA 2021PromptBaseDota 2モンテカルロ木探索ディズニーリサーチMitsuba2バンダイナムコネクサスソーシャルゲームEmbeddingワイツマン科学研究所ユーザーレビューGTC2020CG衣装mimicNVIDIA MAXINEVRファッションBaidu淡路滋ビデオ会議ArtflowERNIE-ViLGグリムノーツEponym古文書ゴティエ・ボエダ音声クローニング凸版印刷Gautier Boeda階層的クラスタリングGopherAI-OCR画像判定JuliusSIE鑑定ラベル付けTPRGOxia Palus大澤博隆バーチャル・ヒューマン・エージェントtoio SDK for UnityArt RecognitionSFプロトタイピングクーガー田中章愛実況パワフルサッカー石井敦銭起揚NHC 2021桃太郎電鉄茂谷保伯池田利夫桃鉄GDMC新刊案内パワサカマーベル・シネマティック・ユニバースコナミデジタルエンタテインメント成沢理恵MITメディアラボMCU岩倉宏介アベンジャーズPPOマジック・リープDigital DomainMachine Learning Project CanvasMagendaMasquerade2.0国立情報学研究所ノンファンジブルトークンDDSPフェイシャルキャプチャー石川冬樹サッカーモリカトロン開発者インタビュースパコン里井大輝Kaggle宮本茂則スーパーコンピュータバスケットボール山田暉松岡 聡Assassin’s Creed OriginsAI会話ジェネレーターTSUBAME 1.0Sea of ThievesTSUBAME 2.0GEMS COMPANYmonoAI technologyLSTMABCIモリカトロンAIソリューション富岳初音ミクOculusコード生成AISociety 5.0転移学習テストAlphaCode夏の電脳甲子園Baldur's Gate 3Codeforces座談会Candy Crush Saga自己増強型AItext-to-imageSIGGRAPH ASIA 2020COLMAPtext-to-3DADOPNVIDIA GET3DデバッギングBigGANGANverse3DDreamFusionMaterialGANRNNグランツーリスモSPORTAI絵師ReBeLグランツーリスモ・ソフィーUGCGTソフィーPGCVolvoFIAグランツーリスモチャンピオンシップStability AINovelAIRival PrakDGX A100NovelAI DiffusionVTuberユービーアイソフトWebcam VTuberモーションデータ星新一賞北尾まどかHALO市場分析ポーズ推定将棋メタルギアソリッドVフォートナイトメッシュ生成FSMメルセデス・ベンツRobloxMagic Leapナップサック問題Live NationEpyllion汎用言語モデルWeb3.0マシュー・ボールAIOpsムーアの法則SpotifyスマートコントラクトReplica StudioAWSamuseChitrakarQosmoAdobe MAX 2022巡回セールスマン問題Adobe MAXジョルダン曲線メディアAdobe Research政治Galacticaクラウドゲーミングがんばれ森川君2号pixiv和田洋一リアリティ番組映像解析Stadiaジョンソン裕子セキュリティMILEsNightCafe東芝デジタルソリューションズインタラクティブ・ストリーミングLuis RuizSATLYS 映像解析AIインタラクティブ・メディアポケモン3DスキャンPFN 3D Scanシーマン人工知能研究所東京工業大学Ludo博報堂Preferred NetworksラップPFN 4D ScanSIGGRAPH 2019ArtEmisZ世代DreamUpAIラッパーシステムDeviantArtARWaifu DiffusionGROVERプラスリンクス ~キミと繋がる想い~元素法典FAIRSTCNovel AIチート検出Style Transfer ConversationOpen AIオンラインカジノRCPMicrosoft DesignerアップルRealFlowRinna Character PlatformiPhoneCALADeep FluidsSoul Machines柿沼太一MeInGameAmeliaELSIAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクター大規模言語モデルBCIGateboxアフォーダンスLearning from VideoANIMAKPaLM-SayCan予期知能逢妻ヒカリセコムGitHub Copilotユクスキュルバーチャル警備システムCode as Policiesカント損保ジャパンCaP上原利之ドラゴンクエストエージェントアーキテクチャアッパーグラウンドコリジョンチェックPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者山口情報芸術センター[YCAM]アルスエレクトロニカ2019品質保証YCAMStyleRigAutodeskアンラーニング・ランゲージ逆転オセロニアBentley Systemsカイル・マクドナルドワールドシミュレーターローレン・リー・マッカーシー奥村エルネスト純いただきストリートH100鎖国[Walled Garden]プロジェクト齋藤精一大森田不可止COBOLSIGGRAPH ASIA 2022高橋智隆DGX H100VToonifyロボユニザナックDGX SuperPODControlVAE泉幸典仁井谷正充クラウドコンピューティング変分オートエンコーダーロボコレ2019Instant NeRFフォトグラメトリartonomous回帰型ニューラルネットワークbitGANsDeepJoinぎゅわんぶらあ自己中心派Azure Machine LearningAzure OpenAI Service意思決定モデル脱出ゲームDeepLHybrid Reward Architectureコミュニティ管理DeepL WriteウロチョロスSuper PhoenixSNSProject MalmoオンラインゲームGen-1気候変動Project PaidiaシンギュラリティProject Lookoutマックス・プランク気象研究所レイ・カーツワイルWatch Forビョルン・スティーブンスヴァーナー・ヴィンジ気象モデルRunway ResearchLEFT ALIVE気象シミュレーションMake-A-Video長谷川誠ジミ・ヘンドリックス環境問題PhenakiBaby Xカート・コバーンエコロジーDreamixロバート・ダウニー・Jr.エイミー・ワインハウスSDGsText-to-Imageモデル音楽生成AIYouTubeダフト・パンクメモリスタ音声生成AIGlenn MarshallScenarioThe Age of A.I.Story2Hallucination音声変換LatitudeレコメンデーションJukeboxAIピカソVeap JapanAI素材.comEAPneoAIテンセントSIFT福井千春DreamIconDCGAN医療mignMOBADANNCEメンタルケアstudiffuse人事ハーバード大学Edgar HandyAndreessen Horowitz研修デューク大学NetflixAIQVE ONEQA Tech Nightmynet.aiローグライクゲーム松木晋祐東京理科大学下田純也人工音声NeurIPS 2021産業技術総合研究所桑野範久リザバーコンピューティングBardプレイ動画ヒップホップ対話型AIモデル詩ソニーマーケティングControlNetサイレント映画もじぱnoteNBA環境音暗号通貨note AIアシスタント現代アートFUZZLEKetchupAlterationAI News粒子群最適化法Art Selfie進化差分法オープンワールドArt Transfer群知能下川大樹AIFAPet Portraitsウィル・ライト高津芳希P2EBlob Opera大石真史クリムトBEiTStyleGAN-NADA世界モデルDETRゲームエンジンDreamerV3SporeUnreal Engineクリティックネットワークデノイズ南カリフォルニア大学Unity for Industryアクターネットワーク画像処理DMLabSentropyGLIDEControl SuiteCPUDiscordAvatarCLIPAtari 100kSynthetic DataAtari 200MCALMYann LeCunプログラミングサム・アルトマン鈴木雅大ソースコード生成コンセプトアートGMAIシチズンデベロッパーSonanticColie WertzTRPGGitHubCohereリドリー・スコットウィザードリィMCN-AI連携モデルマジック:ザ・ギャザリング絵コンテUrzas.aiストーリーボード介護大阪大学西川善司並木幸介KikiBlenderサムライスピリッツ森寅嘉Zoetic AIプロンプトゼビウスSIGGRAPH 2021ペットGPT-4ストリートファイター半導体Digital Dream LabsPaLM APITopaz Video Enhance AICozmoMakerSuiteDLSSタカラトミーSkeb山野辺一記NetEaseLOVOT大里飛鳥DynamixyzMOFLINRomiU-Netミクシィ13フェイズ構造アドベンチャーゲームユニロボットADVユニボXLandGatoAGI手塚眞DEATH STRANDINGマルチモーダルEric Johnson汎用強化学習AIデザインOculus Questコジマプロダクションロンドン芸術大学生体情報デシマエンジンGoogle BrainインディーゲームSound Control写真高橋ミレイSYNTH SUPER照明Maxim PeterKarl SimsJoshua RomoffArtnomeハイパースケープICONATE山崎陽斗深層強化学習立木創太松原仁浜中雅俊ミライ小町武田英明テスラ福井健策GameGANパックマンTesla BotNEDOTesla AI DayWikipediaソサエティ5.0SphereSIGGRAPH 2020バズグラフXaver 1000ニュースタンテキ養蜂東芝BeewiseDIB-R倉田宜典フィンテック投資韻律射影MILIZE広告韻律転移三菱UFJ信託銀行
CGへの扉 Vol.6:Facebookが取り組むVRとAIのアプローチ
Facebook とVR/CG研究、AI研究
VRヘッドセット普及の一端を担った Oculus をSNS(ソーシャルネットワークサービス)で知られる Facebookが20億ドルで買収したのは 2014年のこと。以降、Facebookではコミュニケーションやデータ解析以外のVRやCG、画像処理関連の研究が広がってきています。もともとFacebookの中で研究組織が存在した人工知能や機械学習のグループとの協業により、VRやCG、画像処理の研究でも業界内で頭角を現し始めています。
前記事「CGへの扉 Vol.5:SIGGRAPH 2019に見るCG研究と機械学習」でご紹介したコンピュータグラフィックスとインタラクティブ技術の学会 SIGGRAPHでも、2019年に4本、2018年に5本、2017年に2本と、論文を発表しています。発表者の所属組織を見ると、Facebook Reality Labs (旧Oculus Research)という VR/CG系の研究組織、120名ほどが所属しているといわれる Facebook AI Research (FAIR) という人工知能系の研究組織などが見られます。また、SIGGRAPHへの論文投稿はありませんが、Applied Machine Learning(AML)という機械学習系のグループも存在します。Facebook Research全体としては、現在約700名ほどの研究者が所属しており、SNS関連に限らずさまざまな研究がなされ、その研究成果の一部が公開されています。
研究内容は AR/VR、写真加工、カメラ技術、コンピュータによる映像処理、デジタルデバイスの操作・体験、最新AI技術、機械学習、自然言語処理、音声合成、データサイエンス。コミュニケーションや経済、セキュリティ、ネットワークなど、現在の SNS、SNSアプリに必要な事柄から近い未来のコミュニケーションにまつわることまで多岐に渡っています。
Facebook が存在感を示す、SIGGRAPH 2019 における人工知能系VR/CG系の研究
一見 Facebookがどのような VR/CG研究をしているのかを想像するのは難しいですが、その研究内容を見ると、現在の課題をどのようにとらえ、それらをどう解決していくか、既存のSNSのモバイルアプリや将来の SNSやVRによるコミュニケーションをどのように創造していこうと考えているのかが読み取れます。
Neural Volumes: Learning Dynamic Renderable Volumes from Images (Facebook Research)
複数方向から撮影したビデオ映像から、3Dモデルを構築する方法です。例えば本人そっくりのVRアバターが制作できます。三次元の形状をエンコード・デコード(符号化・復号化)という考えで扱うことでデータ量を減らし、VR空間における自分の代わりとなる三次元モデル(アバター)として扱うことを想定しています。Facebookでは、ここで生成されるアバターのことを 「コーデック・アバター」と呼び、機械学習で一般的な顔の表情や、感情の表現方法などを少ないデータで再現できるように研究しています(コーデック・アバターに関しては ”Facebook is building the future of connection with lifelike avatars”をご参照ください)。
論文/動画:https://research.fb.com/publications/neural-volumes-learning-dynamic-renderable-volumes-from-images/
Learning to Optimize Halide with Tree Search and Random Programs (Facebook Research)
画像処理専用のプログラミング言語 Halide を高速に実行するための手法です。計算の順序を最適化するアプローチで、専門家がチューニングした場合よりも優れています。計算コストを機械学習によって最適化し、計算のタイミングや依存関係などを考慮した上で適切な順序で計算をスケジューリングします。
論文:https://research.fb.com/publications/learning-to-optimize-halide-with-tree-search-and-random-programs/
ソースコード:https://github.com/halide/Halide/tree/master/apps/autoscheduler/
VR Facial Animation via Multiview Image Translation (Facebook Research)
VR-HMD(ヘッドマウントディスプレイ)をかぶると、ユーザーの顔が隠れて表情が見えなくなる問題に対処するための技術です。改造したVR-HMD内部に9つの小型カメラを搭載し、顔の表情の動きを機械学習させます。
目の周りに4個、口の周りに5個付けられたカメラからの情報をもとに、ほぼ顔全体の表情データを取得します。その結果をもとに利用時には3個のカメラのみで顔の表情の動きをとらえ、VR内でユーザーの顔の表情を再現します。このアプローチによって、VR-HMDを被ったままでも実際の自分の表情に限りなく近い表情を、VR空間でコミュニケーションしている相手に送ることができるのです。
Synthetic Defocus and Look-Ahead Autofocus for Casual Videography (Facebook Research, UC Berkeley共同研究)

スマートフォンで手軽に撮影した動画に対して、背景がぼけたような被写界深度の浅い映像になるよう動画加工する手法です。さらにビデオカメラのオートフォーカスのように、被写体が移動してもフォーカスを合わせるべき被写体を自動追尾する仕組みを持ちます。
現在、スマートフォンで手軽に撮影したポートレート写真に対して、背景をぼかす加工が一般的になっていますが、本研究の技術が一般化するとスマートフォンで撮影した動画に対しても、特殊なカメラやレンズなしで映画のように被写界深度の浅く、雰囲気のある動画が手軽に撮影できるようになります。技術的には任意の焦点に合わせて背景をぼかす機能と、動画の次のフレームで、どこに焦点を合わせるべきか先読みしていく機能を組み合わせて実現されています。また HDR (ハイダイナミックレンジ)にも対応しているため、輝いているものや一部分だけ明るいものも違和感なく調整されます。
DeepFovea: Universal Neural Reconstruction for Foveated Rendering and Video Compression Using Learned Statistics of Natural Videos (Facebook Research)
VR-HMD(ヘッドマウントディスプレイ)用に考えられた、目の仕組みを考慮したビデオ圧縮とその映像を再構成する方法の提案です。人間の目は焦点を合わせた中心部しか見ておらず、その周辺はぼんやりと見ているだけです。その性質を利用してVR-HMDでは描画を省略し、中心部のみ高精細な描画を行いますが、現在一般的には、周辺部分を省略して精細度の低い映像しか表示させないことで、コンピューティングパワーやネットワーク帯域を節約する方法が使われています。
その際、本来望まない圧縮によってアーティファクトと呼ばれるノイズや余計な表示物などが残ったり、逆に必要なものが欠損して表示されない場合があります。そういったアーティファクトを軽減するためにGAN(敵対的生成ネットワーク)を活用し、本来描かれているであろう高精細な映像を再現しようというのが本研究のアプローチです。これによって、安価なVR-HMD、帯域の狭いネットワーク環境においても比較的良好な映像を観られる可能性が高くなります。発表の段階ではあまり詳細が明らかにされていませんでしたが、SIGGRAPH ASIA 2019 で論文発表がされるようです。
ソーシャルネットワークとVR/CG、人工知能の関係性
ここまで紹介した SIGGRAPHにおける Facebookの研究は、純粋なVR/CGの研究というよりは、VRをプラットフォームとしたオンラインコミュニケーションのために必要な要素や立ちはだかる課題を、一つひとつ対処していっているように見えます。
また、Facebook Researchは企業内の研究所であり、SNS広告などの企業活動で得られた資金をもとに研究開発を進められていると思われます。しかし単なる損得勘定や自社の利益を追い求めるだけでなく、社会全体、学術界、業界、AIやCG技術全体のことを考えて、最先端技術やその応用技術を、世の中が使いやすくさまざまな用途に広げられるように考慮されていることが見て取れます。その様子はソースコード共有サイト github にオープンソースとして公開される研究段階のプログラムや、研究内容の積極的な論文公開という透明性の高い振る舞いにも現れています。
主にコンピュータグラフィックスの描画のために開発、販売されていたGPU(Graphics Processing Unit)が、現在ではディープラーニング等の機械学習を高速かつ大量のデータを同時に扱って計算するために応用されています。Facebook ではそれらの応用をさらに推し進め、GPUの性能を最大限にいかした方法で、AI関連の計算負荷を減らすための独自の研究を進めています。これは理想の計算方法を追い求めるのではなく、GPUハードウェアに最適であることを優先させてAIの計算方法を考えるという、従来とは逆のアプローチです。これは今後爆発的に増えていくであろうAI関連の計算量をいかに安価に、かつ効率的に分散させていくのかといった考えのもとに進められているのでしょう。
Optimizing Facebook AI Workloads for NVIDIA GPUs (NVIDIAのイベントでの Facebookの発表)
現在Facebookで利用者に影響する人工知能の活用分野として実際に運用されているのは、有害なコンテンツやフェイクニュースなどのフィルタリング、ある人がどのようなコンテンツを好んで読むのかを学習し、どのコンテンツをフィードに流すのかといったコンテンツの選定、写真を文字で説明するための機能だといわれています。さらに一般的に知られていないSNSやメッセンジャーの機能でも、人工知能や機械学習をベースとした機能は、
これからますます増えていくでしょう。利用者が提供する膨大なデータをもとに、さまざまな人工知能研究や布石を打てるのがFacebookの強みなのかもしれません。
動画:https://developer.nvidia.com/gtc/2019/video/S9866
※視聴は無料ですが、登録が必要です。
発表資料:https://developer.download.nvidia.com/video/gputechconf/gtc/2019/presentation/s9866-optimizing-facebook-ai-workloads-for-nvidia-gpus.pdf
本連載の今後の予定:「CGへの扉」は、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。なにか取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。
CGへの扉:
Vol.1:CG/VFXにおける人工知能の可能性と、その限界
Vol.2:なめらかなキャラクタアニメーションと、ディープラーニングの役目
Vol.3:CGとAIの蜜月が今まで不可能だった映像を生みだす
Contributor:安藤幸央