モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
CG機械学習ディープラーニングCGへの扉安藤幸央GAN月刊エンタメAIニュースニューラルネットワーク河合律子NVIDIA強化学習三宅陽一郎OpenAI音楽FacebookQAスクウェア・エニックスモリカトロンAIラボインタビュー敵対的生成ネットワーク森川幸人ルールベースDeepMindキャラクターAIシナリオNFTGPT-3デバッグCEDEC2019StyleGANプロシージャル自動生成人工知能学会映画遺伝的アルゴリズムメタAI自然言語処理深層学習マイクロソフトビヘイビア・ツリー吉本幸記GoogleCEDEC2021CEDEC2020ゲームAISIGGRAPH不完全情報ゲームVRナビゲーションAI畳み込みニューラルネットワークAIと倫理アートグーグルディープフェイクGDC 2021大内孝子VFXメタバースGDC 2019マルチエージェントゲームプレイAIボードゲームNPCDALL-ECLIPロボットCNNデジタルツインモリカトロンUnityファッションHTN階層型タスクネットワークJSAI2020TensorFlowMicrosoftイベントレポートテストプレイAIアート水野勇太小説アニメーションガイスターStyleGAN2懐ゲーから辿るゲームAI技術史toioJSAI2021スポーツ研究シムピープル汎用人工知能GDC Summerバーチャルヒューマンブロックチェーン倫理AdobeアストロノーカNVIDIA Omniverseeスポーツ対話型エージェントAmazoneSportsBLUE PROTOCOLシーマンUbisoftAlphaZeroTransformerGPT-2カメラ環世界中島秀之鴫原盛之ソニーDARPAドローンシムシティAI美空ひばり手塚治虫Electronic ArtsメタデータLEFT 4 DEAD通しプレイOpenAI Five本間翔太CMピクサーBERTプラチナエッグイーサリアム作曲ビッグデータ中嶋謙互Amadeus CodeMicrosoft AzureキャリアナラティブOmniverse ReplicatorレコメンドシステムNVIDIA DRIVE SimNVIDIA Isaac Simサイバーエージェント音声認識ロボティクスPyTorchDQN眞鍋和子バンダイナムコスタジオMinecraft齊藤陽介マインクラフトお知らせチャットボットアバターサルでもわかる人工知能VAEOmniverseUbisoft La Forge自動運転車ワークショップGenvid Technologiesメタ知識表現ウォッチドッグス レギオンIGDAどうぶつしょうぎEpic Gamesジェイ・コウガミ音楽ストリーミングマシンラーニング画像生成テキスト画像生成クラウド対話エンジン斎藤由多加リトル・コンピュータ・ピープルコンピューティショナル・フォトグラフィーゴブレット・ゴブラーズ絵画AIりんなシミュレーション完全情報ゲーム坂本洋典釜屋憲彦ウェイポイントパス検索藤澤仁生物学GTC 2022画像認識GTC2022StyleCLIPDeNA長谷洋平masumi toyota宮路洋一OpenSeaGDC 2022教育TextWorldSIGGRAPH ASIADALL-E2GTC2021CycleGANNetHackフェイクニュースエージェントAIボイスアクターNVIDIA CanvasGPUALifeZork人工生命オルタナティヴ・マシンサウンドスケープMCS-AI動的連携モデルASBSマンガモーションキャプチャーぱいどんTEZUKA2020ナビゲーションメッシュ松井俊浩バンダイナムコ研究所スパーシャルAIELYZAELYZA DIGEST3D音声合成マーケティングApex LegendsELIZANinjaコンピュータRPGアップルタウン物語KELDICメロディ言語ゲームTENTUPLAYMARVEL Future FightAstroタイムラプスEgo4Dインタビューバスキア日経イノベーション・ラボ敵対的強化学習階層型強化学習GOSU Data LabWANNGOSU Voice Assistant竹内将SenpAI.GGMobalytics馬淵浩希Cygames岡島学AWS Sagemaker映像セリア・ホデント形態素解析UXAWS Lambda誤字検出認知科学ゲームデザインSentencePieceLUMINOUS ENGINELuminous Productionsパターン・ランゲージ竹村也哉ちょまどボエダ・ゴティエGOAPAdobe MAX 2021模倣学習Omniverse AvatarFPSNVIDIA Rivaマルコフ決定過程NVIDIA MegatronNVIDIA Merlinスタンフォード大学NVIDIA Metropolisパラメータ設計テニスバランス調整協調フィルタリング人狼知能テキサス大学軍事AlphaDogfight TrialsAI Messenger VoicebotエージェントシミュレーションOpenAI CodexStarCraft IIHyperStyleFuture of Life InstituteRendering with StyleIntelDisneyLAIKADisneyリサーチRotomationGauGANGauGAN2ドラゴンクエストライバルズ画像言語表現モデル不確定ゲームSIGGRAPH ASIA 2021Dota 2モンテカルロ木探索ディズニーリサーチMitsuba2ソーシャルゲームEmbeddingワイツマン科学研究所GTC2020CG衣装NVIDIA MAXINEVRファッション淡路滋ビデオ会議ArtflowグリムノーツEponymゴティエ・ボエダ音声クローニングGautier Boeda階層的クラスタリングGopheraibo合成音声JuliusSIE鑑定TPRGOxia Palusバーチャル・ヒューマン・エージェントtoio SDK for UnityArt Recognitionクーガー田中章愛Meta石井敦銭起揚NHC 2021茂谷保伯池田利夫GDMC新刊案内マーベル・シネマティック・ユニバース成沢理恵MITメディアラボMCU著作権アベンジャーズマジック・リープDigital DomainMagic Leap OneMagendaMasquerade2.0ノンファンジブルトークンDDSPフェイシャルキャプチャーサッカーモリカトロン開発者インタビュー里井大輝Kaggle宮本茂則バスケットボール山田暉Assassin’s Creed OriginsAI会話ジェネレーターSea of ThievesGEMS COMPANYmonoAI technologyLSTMモリカトロンAIソリューション初音ミクOculusコード生成AI転移学習テストAlphaCodeBaldur's Gate 3CodeforcesCandy Crush Saga自己増強型AISIGGRAPH ASIA 2020COLMAPADOPデバッギングBigGANGANverse3DMaterialGANリップシンキングRNNグランツーリスモSPORTReBeLグランツーリスモ・ソフィーGTソフィーVolvoFIAグランツーリスモチャンピオンシップRival PrakDGX A100VTuberユービーアイソフトWebcam VTuber星新一賞北尾まどかHALO市場分析将棋メタルギアソリッドVフォートナイトFSMRobloxナップサック問題Live Nation汎用言語モデルWeb3.0AIOpsSpotifyMITスマートコントラクトReplica StudioAWSamuseChitrakarQosmo巡回セールスマン問題徳井直生ジョルダン曲線メディア5GMuZero政治クラウドゲーミングRival Peakがんばれ森川君2号和田洋一リアリティ番組Stadiaジョンソン裕子MILEsNightCafeインタラクティブ・ストリーミングLuis Ruizインタラクティブ・メディアポケモンCodexシーマン人工知能研究所東京工業大学Ludo博報堂ラップSIGGRAPH 2019ArtEmisZ世代AIラッパーシステムARrinnaGROVERプラスリンクス ~キミと繋がる想い~FAIRSTCチート検出Style Transfer ConversationオンラインカジノRCPアップルRealFlowRinna Character PlatformiPhoneデジタルヒューマンDeep FluidsSoul MachinesMeInGameAmeliaAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクターBCIGateboxLearning from VideoANIMAK予期知能逢妻ヒカリセコムユクスキュルバーチャル警備システムカント損保ジャパン哲学対談上原利之ドラゴンクエストエージェントアーキテクチャアッパーグラウンドPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者Siemensアルスエレクトロニカ2019品質保証StyleRigAutodesk逆転オセロニアBentley Systemsワールドシミュレーター奥村エルネスト純いただきストリートH100齋藤精一大森田不可止COBOL高橋智隆DGX H100ロボユニザナックDGX SuperPOD泉幸典仁井谷正充クラウドコンピューティングロボコレ2019Instant NeRFartonomousbitGANsぎゅわんぶらあ自己中心派Azure Machine Learning意思決定モデル脱出ゲームHybrid Reward Architectureコミュニティ管理ウロチョロスSuper PhoenixSNS理化学研究所Project Malmoオンラインゲーム気候変動Project PaidiaEarth-2Project Lookoutマックス・プランク気象研究所Watch Forビョルン・スティーブンスBing気象モデルLEFT ALIVE気象シミュレーション長谷川誠ジミ・ヘンドリックス環境問題Baby Xカート・コバーンエコロジーロバート・ダウニー・Jr.エイミー・ワインハウスSDGsMagentaYouTubeダフト・パンクメモリスタSFGlenn MarshallELYZA PencilThe Age of A.I.Story2Hallucination音声変換レコメンデーションJukebox松尾豊Veap JapanEAPテンセントSIFT福井千春DCGAN医療MOBADANNCEメンタルケア人事ハーバード大学Edgar Handy研修デューク大学Netflixデータマイニングmynet.aiローグライクゲーム東京大学東京理科大学人工音声NeurIPS 2021産業技術総合研究所はこだて未来大学リザバーコンピューティングプレイ動画ヒップホップキャラクターモーションソニーマーケティングサイレント映画もじぱNBA環境音暗号通貨現代アートFUZZLEAlteration粒子群最適化法RPG進化差分法オープンワールド群知能下川大樹AIFAウィル・ライト高津芳希P2E大石真史SIGGRAPH 2022BEiTStyleGAN-NADAレベルデザインDETRゲームエンジンSporeUnreal Engineデノイズ南カリフォルニア大学Unity for Industry画像処理SentropyCPUDiscordCALMプログラミングソースコード生成GMAIシチズンデベロッパーTRPGGitHubウィザードリィMCN-AI連携モデルAI Dungeon西川善司並木幸介サムライスピリッツ森寅嘉ゼビウスSIGGRAPH 2021ストリートファイター半導体Topaz Video Enhance AI栗原聡DLSS山野辺一記NetEase大里飛鳥DynamixyzU-Net13フェイズ構造アドベンチャーゲームADVXLandAGI手塚眞DEATH STRANDING不気味の谷Eric JohnsonOculus Questコジマプロダクション生体情報デシマエンジンインディーゲーム写真高橋ミレイ照明Maxim PeterJoshua Romoffハイパースケープ山崎陽斗深層強化学習立木創太ミライ小町テスラGameGANパックマンTesla BotTesla AI Dayソサエティ5.0SIGGRAPH 2020バズグラフニュースタンテキ東芝DIB-R倉田宜典韻律射影広告韻律転移

CGへの扉 Vol.17:描画を進化させるTensorFlow Graphicsの真価

2020.8.13アート

CGへの扉 Vol.17:描画を進化させるTensorFlow Graphicsの真価

そもそも画像認識の元となる学習データは正しいのか?

先日オンラインで開催された「画像の認識・理解シンポジウム MIRU2020」で発表されたセッション「大規模画像データセットが含む“疑わしい画像”の専門家のワークショップを通した収集と分析」が大変話題になりました。

MIRU 2020 プログラム一覧

これは人工知能を活用した画像解析の学習データとして一般的に使われている ImageNet という巨大データセットの正確性を疑うものです。近年「Are we done with ImageNet?」という2020年の論文から ImageNet の正確性への疑問が注目されました。

論文「Are we done with ImageNet?」は 、2009年頃から画像認識の大規模データセットとして使われてきた ImageNet の正確性、評価に疑いをもって調べ、またその正当性をあげるための提言を述べた研究論文です。ImageNetは、スタンフォード大学が画像認識研究のために公開している巨大なデータベースで、世界中の研究者が利用しています。そこでは約1,420万枚の画像と、そこに何が写っているのかがデータ化されています。例えばある写真に「ダルメシアン」という品種の犬が写っていることが画像とデータとセットで保持されていることにより、機械学習の学習データとしてわざわざ研究者がゼロから集めることなしに研究に集中することができるため、大変重宝されてきました。

ところが、ImageNet の画像には、1枚の画像にひとつのラベルしかつけることができないため、画像に適切なラベルをつけるには限定的すぎること、ある特定の作業者がつけたラベルを過信してしまっているため、データ全体に間違いが紛れ込んでしまっていることが最近課題として指摘されました。

ImageNet の中で「バイク」とラベルが付いた画像一覧(一部)、写真の中にオブジェクトが明確にひとつだけ写り込んでいる場合はほとんど問題が生じない

MIRU2020で発表された「大規模画像データセットが含む“疑わしい画像”の専門家のワークショップを通した収集と分析」では、ImageNet を題材とした画像認識のコンペティションILSVRC 2012のデータセットを元ネタとし、30人ほどのコンピュータビジョン研究の専門家が3日間、目視で28.4万枚の画像をチェックしました。その聞いただけでも眼が疲れてきそうな努力の結果、そのうち約6%にあたる1.7万枚の画像に疑わしいラベルがつけられていることを見出しました。

人間であれば、それぐらいは間違えると思われるかもしれませんが、その間違えたデータをもとに世界中の研究者が画像認識の学習をさせていたのですから大変です。例えば豆料理の写真に「インゲン豆」というラベルがついていたり、複数の品種の犬が数匹写っている写真に「チワワ」と特定の犬の品種のラベルしかついていなかったりと少々データに歪みが生じていました。さらに画像に写っているのは虎なのに、ラベルには「ジャガー」と間違えたラベルがついているものまでありました。

これを聞くと、ImageNet は精度が低すぎるためもう使えないと短絡的に考えがちですが、一方、実際にはそれほど精度の影響を与えていないという考えもあり、「Are we done with ImageNet?」ではいつかの改善案が出されています。それは数十種類のラベルで画像に写っている複数のもの、複雑なものを表現できるようにすることと、ラベルづけを行う作業を1枚の画像につき5人に増やし、ミスを減らして精度を上げる工夫をすることでした。

物としては同一のものでも、ノートパソコン、ラップトップ、モバイルパソコン、モバイルコンピュータ、キーボードなどさまざまな見方、示し方が存在します。よくよく考えるとひとつの写真を説明するのに、あるひとつの言葉だけで済むことは稀で、情報設計(Information Architecture)の世界でも正確なラベリングの問題は、常に議論されている課題です。

一方、コンピュータグラフィックス(CG)の世界では、必ずしも教師あり機械学習だけではない人工知能の活用が行われています。数式や三次元データから画像を描画する方法と、逆にコンピュータビジョン(CV)の世界では画像からそこに映っているもの大きさや三次元形状を読み取るといった双方向の事柄がコンピュータ上で行われています。つまり学習すべきもととなる画像やデータも、機械学習の結果として生み出させる画像の正しさも、コンピュータ内部の画像として扱えるため、ImageNet のような一般の写真を使った方法とは少し異なります。

画像認識のための巨大なデータセットのラベル付けには、ボランティアやその分野を研究する学生の手助け、アマゾンメカニカルターク(※)などの安価な人的リソースが使われています。これら労働集約的なアプローチだけでは正しく画像を認識するには限界があるという考えもあり、そこにあらたなアプローチをもたらしたのが TensorFlow Graphicsの考え方です。

アマゾンメカニカルターク「機械仕掛けのトルコ人」の意味を持つアマゾンウェブサービスの一つ。機械仕掛けの自動チェスマシンの中に実はトルコ人が隠れていたことに由来している。コンピュータプログラムを人間の知能と組み合わせて、コンピュータだけでは不可能な仕事を処理することができるWebサービス。報酬は1セント(約1円)から数ドルまで様々な作業が募集されている。画像認識や画像から何かを探したり分類したり、音声の文字起こしなど人間の方が得意で正確にできる事柄を任せることが多い。2007年の時点で、100以上の国に10万人以上のワーカーと呼ばれる作業者がいる。

Google が推し進める TensorFlow Graphics の目の付け所

2019年5月に開催された開発者向けのイベント Google I/O 2019 でGoogleが中心となって提供する機械学習向けライブラリ TensorFlow の機能のひとつとしてTensorFlow Graphics が発表されました(動画開始より17分あたりから)。

TensorFlow Graphics ソースコード公開サイト(GitHub):https://github.com/tensorflow/graphics
※CopyrightはGoogleですが、オープンソースのライセンスのひとつである Apache 2.0 ライセンスで公開されているため、商用プロダクトに組み込んでの利用も可能。実際に商用プロダクトに組み込んで利用する場合は、Apache 2.0 ライセンスを調べ、正しく理解した上でご利用ください。

TensorFlow Graphics CodeLab (実際にコードを試すことができるサイト):https://colab.research.google.com/github/tensorflow/graphics/


コンピュータグラフィックスの基礎原理として、ジオメトリ(形状)、マテリアル(質感)、ライティング(照明)、カメラ(視線方向)、変換(移動や回転)の組み合わせで映像が描かれます。最近ではこれらの事象はグラフィックス専用ハードウェアで高速に並列計算されて一気に実行される場合もあります。


コンピュータビジョンの基礎原理として、もととなる画像をニューラルネットワークで解析し、ジオメトリ(形状)、マテリアル(質感)ライティング(照明)、カメラ(視線方向)、変換(移動や回転)を解析して抽出します。

つまりコンピュータグラフィックスの映像生成と、映像を解析するコンピュータビジョンでは正反対のことを行なっているのです。例えば映像から正しくジオメトリが抽出できたかどうかは、得られたジオメトリからCG映像を作ってみることで元の画像と一致するのであれば、それが正答だとわかるのです。

これらコンピュータグラフィックスとコンピュータビジョンの世界は、ハリウッド映画の最新VFXを支える技術としてだけでなく、人工知能は人間のいる世界をどうとらえるか? どう認識できるかといったことに密接に関連してきます。例えば自動運転や、火星の陸上探査機など手がかりが映像しかない場合のよりどころとなります。自動運転のための機械学習も黎明期には実写映像を解析し利用していましたが、最近ではCGで作られたバーチャルな都市の中で、学習がなされています。

TensorFlow Graphics ではそれぞれジオメトリ(形状)、マテリアル(質感)ライティング(照明)、カメラ(視線方向)、変換(移動や回転)の段階ごとにCG映像化する流れと、逆に映像からジオメトリ(形状)、マテリアル(質感)ライティング(照明)、カメラ(視線方向)、変換(移動や回転)を抽出する流れを提供しています。映像からジオメトリを抽出する際は映像からだけでなく3Dスキャナ、3Dレーザースキャナなどからの三次元点群から形状を推定する場合もあります。

CG制作のアプローチは、もともと人間がどのように正確に絵画を描画するのか、どのように数学的に映像を表現するのか、それに加えて物理現象をいかにコンピュータ上で再現するのかを追求してきました。TensorFlow Graphics の登場で、人間がとらえられる現象や表現ではない、映像制作の流れそのものを人工知能に委ねることで、未知の、かつとても正確な表現に突入したという実感があります。TensorFlowの活用例としてGraphics 分野はまだまだ発展途上ではありますが、新しいCG/CVの世界に新しい潮流を切り開いたと言えるでしょう。TensorFlow Graphics の登場で期待されているのは下記のような使い方です。

  1. 三次元形状へのCNN(畳み込みニューラルネットワーク)の適応
  2. 球面オブジェクトの輝き具合から周囲の環境を推定
  3. 人間の三次元形状データから、頭や右足といった部位を推定
  4. 映像の視覚的デバッグが可能になることによる評価の最適化
  5. ニューラルネットワークを用いて三次元空間を推定する


大量の点群データから人の体の部位を推定しつつ三次元可視化することで、スキャン収録したデータのアーティファクト(ゴミや歪み)などを素早く見つけることができる。

これからのCG描画の進化への期待

現在は、理想的な画像解析や理想的な画像生成のために大量の学習データと機械学習が活用されています。これらのアプローチは徐々に精度も高くなり、さまざまな分野で実用化されてきています。個人的な体験では、ごく普通の街のパン屋さんで、パンの画像を解析して料金を自動入力するレジで機械学習が使われている様子をみて驚きました。研究にとどまらない人工知能の浸透が実感されてきます(ツナサンドとコンビーフサンド、クリームパンとジャムパンを見分けるのが難しいように、パンは見た目が同じように見えるわりに、一個一個価格が異なるため、レジ打ちが面倒な商品のひとつ)。

さまざまな事前現象がCGで生成できるようになり、画像に映っている様々な物体を読み取ることができるように思えますが、
まだまだCG描画が難しい自然現象や人間の表現、まだまだ解析不能な複雑な画像など、この分野における課題は無限で、課題と研究対象、実用化の道のりは、まだまだ多岐に広がっています。現状を見つめ直し、さまざまな課題を見出しながら、解くべき課題に挑戦してゆくのが、これからの人工知能研究なのかもしれません。

本連載の今後の予定:「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。何か取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉:

Vol.1:CG/VFXにおける人工知能の可能性と、その限界

Vol.2:なめらかなキャラクタアニメーションと、ディープラーニングの役目

Vol.3:CGとAIの蜜月が今まで不可能だった映像を生みだす

Vol.4:CG/VFX制作に欠かせなくなったマシーンラーニングの勘所

Vol.5:SIGGRAPH 2019に見るCG研究と機械学習

Vol.6:Facebookが取り組むVRとAIのアプローチ

Vol.7:AIによる差別やバイアスを避ける取り組み“PAIR”

Vol.8:一流オークションハウスも注目するアートとAIの関係性

Vol.9:現実の課題を解決するCGとAIの相互作用 #SIGGRAPHAsia2019

Vol.10:老齢とは無縁、De-Aging技術の台頭

Vol.11:動き、ダンスに新しい要素を加えるAIの役目

Vol.12:AIのおかげで映像の拡大やノイズ除去が高品質に

Vol.13:AIのクリエイティブとクリエイティビティ再考

Vol.14:AIが生み出す顔と人間の表情

Vol.15:撮影に革新をもたらすAIによる照明

Vol.16:バーチャル開催SIGGRAPH論文を先取り

Contributor:安藤幸央

RELATED ARTICLE関連記事

CGへの扉 Vol.2:なめらかなキャラクタアニメーションと、ディープラーニングの役目

2019.5.15アート

CGへの扉 Vol.2:なめらかなキャラクタアニメーションと、ディープラーニング...

CGへの扉 Vol.22:言葉から画像を生成、DALL-Eはクリエイティブなのか?

2021.1.14アート

CGへの扉 Vol.22:言葉から画像を生成、DALL-Eはクリエイティブなのか...

CGへの扉 Vol.33:AIの必然性 #SIGGRAPHAsia2021 レポート

2021.12.24アート

CGへの扉 Vol.33:AIの必然性 #SIGGRAPHAsia2021 レホ...

RANKING注目の記事はこちら