モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
CG機械学習ディープラーニングCGへの扉安藤幸央GAN月刊エンタメAIニュースニューラルネットワーク河合律子NVIDIA強化学習三宅陽一郎OpenAI音楽FacebookQAスクウェア・エニックスモリカトロンAIラボインタビュー敵対的生成ネットワーク森川幸人ルールベースDeepMindキャラクターAIシナリオNFTGPT-3デバッグCEDEC2019StyleGANプロシージャル自動生成人工知能学会映画遺伝的アルゴリズムメタAI自然言語処理深層学習マイクロソフトビヘイビア・ツリー吉本幸記GoogleCEDEC2021CEDEC2020ゲームAISIGGRAPH不完全情報ゲームVRナビゲーションAI畳み込みニューラルネットワークAIと倫理アートグーグルディープフェイクGDC 2021大内孝子VFXメタバースGDC 2019マルチエージェントゲームプレイAIボードゲームNPCDALL-ECLIPロボットCNNデジタルツインモリカトロンUnityファッションHTN階層型タスクネットワークJSAI2020TensorFlowMicrosoftイベントレポートテストプレイAIアート水野勇太小説アニメーションガイスターStyleGAN2懐ゲーから辿るゲームAI技術史toioJSAI2021スポーツ研究シムピープル汎用人工知能GDC Summerバーチャルヒューマンブロックチェーン倫理AdobeアストロノーカNVIDIA Omniverseeスポーツ対話型エージェントAmazoneSportsBLUE PROTOCOLシーマンUbisoftAlphaZeroTransformerGPT-2カメラ環世界中島秀之鴫原盛之ソニーDARPAドローンシムシティAI美空ひばり手塚治虫Electronic ArtsメタデータLEFT 4 DEAD通しプレイOpenAI Five本間翔太CMピクサーBERTプラチナエッグイーサリアム作曲ビッグデータ中嶋謙互Amadeus CodeMicrosoft AzureキャリアナラティブOmniverse ReplicatorレコメンドシステムNVIDIA DRIVE SimNVIDIA Isaac Simサイバーエージェント音声認識ロボティクスPyTorchDQN眞鍋和子バンダイナムコスタジオMinecraft齊藤陽介マインクラフトお知らせチャットボットアバターサルでもわかる人工知能VAEOmniverseUbisoft La Forge自動運転車ワークショップGenvid Technologiesメタ知識表現ウォッチドッグス レギオンIGDAどうぶつしょうぎEpic Gamesジェイ・コウガミ音楽ストリーミングマシンラーニング画像生成テキスト画像生成クラウド対話エンジン斎藤由多加リトル・コンピュータ・ピープルコンピューティショナル・フォトグラフィーゴブレット・ゴブラーズ絵画AIりんなシミュレーション完全情報ゲーム坂本洋典釜屋憲彦ウェイポイントパス検索藤澤仁生物学GTC 2022画像認識GTC2022StyleCLIPDeNA長谷洋平masumi toyota宮路洋一OpenSeaGDC 2022教育TextWorldSIGGRAPH ASIADALL-E2GTC2021CycleGANNetHackフェイクニュースエージェントAIボイスアクターNVIDIA CanvasGPUALifeZork人工生命オルタナティヴ・マシンサウンドスケープMCS-AI動的連携モデルASBSマンガモーションキャプチャーぱいどんTEZUKA2020ナビゲーションメッシュ松井俊浩バンダイナムコ研究所スパーシャルAIELYZAELYZA DIGEST3D音声合成マーケティングApex LegendsELIZANinjaコンピュータRPGアップルタウン物語KELDICメロディ言語ゲームTENTUPLAYMARVEL Future FightAstroタイムラプスEgo4Dインタビューバスキア日経イノベーション・ラボ敵対的強化学習階層型強化学習GOSU Data LabWANNGOSU Voice Assistant竹内将SenpAI.GGMobalytics馬淵浩希Cygames岡島学AWS Sagemaker映像セリア・ホデント形態素解析UXAWS Lambda誤字検出認知科学ゲームデザインSentencePieceLUMINOUS ENGINELuminous Productionsパターン・ランゲージ竹村也哉ちょまどボエダ・ゴティエGOAPAdobe MAX 2021模倣学習Omniverse AvatarFPSNVIDIA Rivaマルコフ決定過程NVIDIA MegatronNVIDIA Merlinスタンフォード大学NVIDIA Metropolisパラメータ設計テニスバランス調整協調フィルタリング人狼知能テキサス大学軍事AlphaDogfight TrialsAI Messenger VoicebotエージェントシミュレーションOpenAI CodexStarCraft IIHyperStyleFuture of Life InstituteRendering with StyleIntelDisneyLAIKADisneyリサーチRotomationGauGANGauGAN2ドラゴンクエストライバルズ画像言語表現モデル不確定ゲームSIGGRAPH ASIA 2021Dota 2モンテカルロ木探索ディズニーリサーチMitsuba2ソーシャルゲームEmbeddingワイツマン科学研究所GTC2020CG衣装NVIDIA MAXINEVRファッション淡路滋ビデオ会議ArtflowグリムノーツEponymゴティエ・ボエダ音声クローニングGautier Boeda階層的クラスタリングGopheraibo合成音声JuliusSIE鑑定TPRGOxia Palusバーチャル・ヒューマン・エージェントtoio SDK for UnityArt Recognitionクーガー田中章愛Meta石井敦銭起揚NHC 2021茂谷保伯池田利夫GDMC新刊案内マーベル・シネマティック・ユニバース成沢理恵MITメディアラボMCU著作権アベンジャーズマジック・リープDigital DomainMagic Leap OneMagendaMasquerade2.0ノンファンジブルトークンDDSPフェイシャルキャプチャーサッカーモリカトロン開発者インタビュー里井大輝Kaggle宮本茂則バスケットボール山田暉Assassin’s Creed OriginsAI会話ジェネレーターSea of ThievesGEMS COMPANYmonoAI technologyLSTMモリカトロンAIソリューション初音ミクOculusコード生成AI転移学習テストAlphaCodeBaldur's Gate 3CodeforcesCandy Crush Saga自己増強型AISIGGRAPH ASIA 2020COLMAPADOPデバッギングBigGANGANverse3DMaterialGANリップシンキングRNNグランツーリスモSPORTReBeLグランツーリスモ・ソフィーGTソフィーVolvoFIAグランツーリスモチャンピオンシップRival PrakDGX A100VTuberユービーアイソフトWebcam VTuber星新一賞北尾まどかHALO市場分析将棋メタルギアソリッドVフォートナイトFSMRobloxナップサック問題Live Nation汎用言語モデルWeb3.0AIOpsSpotifyMITスマートコントラクトReplica StudioAWSamuseChitrakarQosmo巡回セールスマン問題徳井直生ジョルダン曲線メディア5GMuZero政治クラウドゲーミングRival Peakがんばれ森川君2号和田洋一リアリティ番組Stadiaジョンソン裕子MILEsNightCafeインタラクティブ・ストリーミングLuis Ruizインタラクティブ・メディアポケモンCodexシーマン人工知能研究所東京工業大学Ludo博報堂ラップSIGGRAPH 2019ArtEmisZ世代AIラッパーシステムARrinnaGROVERプラスリンクス ~キミと繋がる想い~FAIRSTCチート検出Style Transfer ConversationオンラインカジノRCPアップルRealFlowRinna Character PlatformiPhoneデジタルヒューマンDeep FluidsSoul MachinesMeInGameAmeliaAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクターBCIGateboxLearning from VideoANIMAK予期知能逢妻ヒカリセコムユクスキュルバーチャル警備システムカント損保ジャパン哲学対談上原利之ドラゴンクエストエージェントアーキテクチャアッパーグラウンドPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者Siemensアルスエレクトロニカ2019品質保証StyleRigAutodesk逆転オセロニアBentley Systemsワールドシミュレーター奥村エルネスト純いただきストリートH100齋藤精一大森田不可止COBOL高橋智隆DGX H100ロボユニザナックDGX SuperPOD泉幸典仁井谷正充クラウドコンピューティングロボコレ2019Instant NeRFartonomousbitGANsぎゅわんぶらあ自己中心派Azure Machine Learning意思決定モデル脱出ゲームHybrid Reward Architectureコミュニティ管理ウロチョロスSuper PhoenixSNS理化学研究所Project Malmoオンラインゲーム気候変動Project PaidiaEarth-2Project Lookoutマックス・プランク気象研究所Watch Forビョルン・スティーブンスBing気象モデルLEFT ALIVE気象シミュレーション長谷川誠ジミ・ヘンドリックス環境問題Baby Xカート・コバーンエコロジーロバート・ダウニー・Jr.エイミー・ワインハウスSDGsMagentaYouTubeダフト・パンクメモリスタSFGlenn MarshallELYZA PencilThe Age of A.I.Story2Hallucination音声変換レコメンデーションJukebox松尾豊Veap JapanEAPテンセントSIFT福井千春DCGAN医療MOBADANNCEメンタルケア人事ハーバード大学Edgar Handy研修デューク大学Netflixデータマイニングmynet.aiローグライクゲーム東京大学東京理科大学人工音声NeurIPS 2021産業技術総合研究所はこだて未来大学リザバーコンピューティングプレイ動画ヒップホップキャラクターモーションソニーマーケティングサイレント映画もじぱNBA環境音暗号通貨現代アートFUZZLEAlteration粒子群最適化法RPG進化差分法オープンワールド群知能下川大樹AIFAウィル・ライト高津芳希P2E大石真史SIGGRAPH 2022BEiTStyleGAN-NADAレベルデザインDETRゲームエンジンSporeUnreal Engineデノイズ南カリフォルニア大学Unity for Industry画像処理SentropyCPUDiscordCALMプログラミングソースコード生成GMAIシチズンデベロッパーTRPGGitHubウィザードリィMCN-AI連携モデルAI Dungeon西川善司並木幸介サムライスピリッツ森寅嘉ゼビウスSIGGRAPH 2021ストリートファイター半導体Topaz Video Enhance AI栗原聡DLSS山野辺一記NetEase大里飛鳥DynamixyzU-Net13フェイズ構造アドベンチャーゲームADVXLandAGI手塚眞DEATH STRANDING不気味の谷Eric JohnsonOculus Questコジマプロダクション生体情報デシマエンジンインディーゲーム写真高橋ミレイ照明Maxim PeterJoshua Romoffハイパースケープ山崎陽斗深層強化学習立木創太ミライ小町テスラGameGANパックマンTesla BotTesla AI Dayソサエティ5.0SIGGRAPH 2020バズグラフニュースタンテキ東芝DIB-R倉田宜典韻律射影広告韻律転移

CGへの扉 Vol.23:AIで人の眼に進化するカメラ

2021.2.15アート

CGへの扉 Vol.23:AIで人の眼に進化するカメラ

カメラの時代、写真の時代、スマートフォンの時代

2000年に携帯電話にカメラが搭載されて以来、現在スマートフォンに搭載されている高性能カメラで写真を撮影することは、ごくごく普通の行為となりました。スマートフォンで撮影された写真はSNSに投稿されたり、さまざまなアプリで写真加工されたり、誰もが気軽に扱うものとなっています。そういったスマートフォンで写真を楽しむことが広がり、リアルで正確に撮影された記録としての写真よりも、人々は見たい写真、撮りたい写真を楽しんでいるとも言えます。

ここ数か月、新型コロナウイルスの影響で旅行や外出の機会が減り、写真を撮る機会や枚数が減っていると実感している人も多いのではないでしょうか? 写真共有サイトFlickrによる少し前の調査によると、スマートフォンでの写真撮影はカメラデバイスの50%を占め、デジタル一眼は33%、コンパクトデジタルカメラは12%、デジタルミラーレスは4%と算出されています。

Top Devices of 2017 on Flickr:https://blog.flickr.net/en/2017/12/07/top-devices-of-2017/

多くのセミプロが気合の入った写真を共有しているFlickrでこの割合なので、一般にはスマートフォンの搭載カメラで写真撮影されている割合がさらに多いことでしょう。次のグラフを見ると分かるようにデジタル一眼レフカメラやミラーレスカメラは横ばいですが、コンパクトカメラの売り上げが急減、そしてスマートフォンの増加が信じられないほどの伸び率になっています。

CIPA(カメラ映像機器工業会)の公開データからSven Skafisk氏が作成したカメラの普及率のグラフ。右側はその一部を拡大したもの。引用元:https://petapixel.com/2017/03/03/latest-camera-sales-chart-reveals-death-compact-camera/

こういった状況の背景には、スマートフォンの手軽さもさることながら、スマートフォンで撮影する写真の品質、美しさが際立ってきたことの多大なる影響もあります。これらスマートフォンに搭載されている極小カメラで写真撮影できるようになった背景のひとつにコンピューティショナル・フォトグラフィー(コンピュータを利用した写真撮影)の進化があります。

この分野のパイオニアであるMarc Levoy氏によると、コンピューティショナル・フォトグラフィーとは、「デジタル写真の機能を強化したり拡張したりする、コンピュータを活用したさまざまなイメージング技術」のことです。カメラセンサーやレンズだけでできることを超え、コンピューティショナル・フォトグラフィーでは、ソフトウェアの力を借りて写真画像を変更したり加工したりします。

現在のスマートフォンのカメラの素晴らしさを多くの人が手に入れられている背景には、この2010年頃から始まったMarc Levoy氏のスタンフォード大学での研究成果、そして2014年にGoogleに入社してからの活躍があります。Marc Levoy氏のGoogleでの功績は他にもGoogleストリートビュー、書籍スキャンプロジェクトがありますが、なかでもPixelシリーズでのHDR+、ポートレートモード、夜景モードはカメラ業界に驚きを持って迎えられました。

GoogleのスマートフォンPixelシリーズが持つこれらのコンピューティショナル・フォトグラフィーを活用した機能は、
他メーカーのスマートフォンカメラの性能向上にも大きな影響を与えています。現在Marc Levoy氏は、Googleを辞めAdobeの副社長兼フェローに就任しており、特定のメーカー、特定のハードウェアに依存しない、ユニーバーサルなカメラ技術について研究と実装を進めているそうです。

Marc Levoy氏の研究成果がまとめられたスタンフォード大学のWebサイト

コンピューティショナル・フォトグラフィーのアプローチで実現したカメラ機能には下記のようなものがあります。

  1. ポートレートモード、人物撮影専用に背景をぼかす機能。
  2. ボケ、ピントずれ、手ブレ、逆光、光量が少ない撮影での補正
  3. レンズの持つ機能以上のデジタルズーム
  4. 極端に明るい所または極端に暗い所、それらが混在した環境でのHDR合成
  5. 撮影後のピント修正、デジタルリフォーカス
  6. 奥行き感の再構築
  7. 視点や構図の調整
  8. 色、発色の最適化、調整。
  9. 夜景や星空など光量が極端に少ない所での撮影

これらの機能だけでも従来プロフェッショナルなカメラマンしか使いこなせなかったカメラ技術が平易に実現できており、最新のスマートフォンユーザーも大いに恩恵を受けています。最近ではさらに人工知能、機械学習の手助けを得て写真加工技術や修正技術が進化し、次のような機能が手軽に使えるようになってきています。現在は撮影後の写真画像を加工するツールが台頭していますが、近い将来カメラ本体に組み込まれたり、スマートフォンだけで実現できるようになる日も近いでしょう。

  1. プロが撮影した理想的な写真から色調や構図を機械学習したものから写真補正
  2. 青空や曇天の差し替え、背景の差し替え
  3. 肌の色艶の補正、演出
  4. 撮影時には無かった照明や光のコントロール、追加や削除
  5. 撮影対象の物体や人の強調やその逆の効果
  6. 写真全体のコントラスト調整、メリハリの調整
  7. 不要な映り込み、不要なオブジェクトの消去(従来写真加工専門ソフトPhotoshop等で編集作業しなければならなかった)
  8. わずかな光量で撮影された写真の高精細化(Xiaomiのスマートフォンに搭載されたBlink.ai社の技術が注目されている)

人工知能を活用した一歩進んだ写真加工ツールの数々

SKYLUM社 Luminar AI

AI技術を活用したさまざまな写真加工が可能なツールです。撮影直後の写真を解析し、適切なテンプレートを提案して雰囲気やスタイルを合わせた加工ができます。例えば、撮影時にイマイチだった天候のためくすんだ風景写真や明るさが足りなかった写真、視点が外れたポートレート写真などの修正が可能です。

Luminar AI:https://skylum.com/jp/luminar-ai-b

Facet


AIを活用した写真画像のマスク作成技術です。

Facet:https://facet.ai/

ARSENAL 2


カメラに取り付けて用いるAI搭載カメラアシスタント。2021年6月発売予定で先行予約中です。これは適正な露出を割り出し自動設定してくれるものです。影が潰れないように明るい日光にも対応したり、夜空や夜景も最適設定で撮影することなどができます。マルチショットと呼ばれる複数写真を撮影することで、余計な人物が写り込まない合成写真を作成することもできます。

ARSENAL 2:https://witharsenal.com/

ACワークス社 ACbeautify

GAN(Generative Adversarial Network, 敵対的生成ネットワーク)を活用した画像補正ツールです。通常の色補正と、HDR色補正の2種類の結果から気に入ったものを選択できます。逆光で撮影された写真の補正などが手軽に行えるでしょう。サイトにアクセスすれば登録不要で無料で試すことができます。

ACbeautify:https://ac-beautify.com/

photolemur3

平易な操作で撮影写真の加工が可能なツールです。何が撮影されているのかを解析した上でディテールの調整、加工、補正、雰囲気の変更、露出の補正、逆光の補正、枝葉の強調、かすみの除去などができます。

photolemur3:https://photolemur.com/

Topaz Labs社 Gigapixel AI

高精細なレンズとカメラで撮影した写真よりも、ディテールや質感がクッキリとした表現ができる写真加工ツールです。約600%の引き伸ばしが可能です。姉妹製品として DeNoise AI、 Sharpen AI、JPEGtoRAW という製品があります。

Gigapixel AI:https://topazlabs.com/gigapixel-ai/

SELBY社 AIPHOTEC

宝飾品のネット販売向けAI自動画像補正アプリです。

AIPHOTEC:https://www.aiphotec.com/

人工知能、機械学習とカメラ技術の親和性

Amazonから開発者向けにリリースされている AWS DeepLens は、深層学習に対応したビデオカメラです。249ドル、日本でも3万円弱でAmazon.co.jpから購入可能です。DeepLensは、オブジェクトの検出、写真に写っている物体の解析、動物の種別を見分けたり、鳥の分類判別と検知、人間の顔認識、頭の位置や方向の検知、他者が開発したDeepLens用アプリの活用が可能です。カメラというよりも、カメラが搭載された小型コンピュータと言えるかもしれません。

活用サンプルとしては、ゴミの選別をするDeepLensシステムの構築、読書やゲームでの応用などが紹介されています。1台の性能はたいしたことないと考えるかもしれませんが、こういったコンピュータが搭載されたタイプのカメラが複数連携して機能する場合、新しいアプリを入れ替えることで機能や性能も向上したり、さまざまな連携が可能であることを考えると、ひとつのカメラの進化系であると考えられます。他にもカメラ側でAIを活用した画像認識を行うネットワークカメラ、AIエッジカメラとも言える「SORACOM Plus Camera Basic」や、 スマートフォンと連携するコンピューティショナルカメラ「Alice Camera」など、カメラそのものがコンピュータ化したデバイスも増えてきました。

人工知能の力を借りた、未来のカメラとは?

キヤノンの最新デジタル一眼レフカメラ EOS-1D X Mark III では、スポーツシーンの撮影に特化した頭部の追尾やオートフォーカス機能の実装にディープラーニングの技術が活用されています。これらの最新機能は、撮影者はほとんど意識することなしに活用できます。今後カメラ本体に機械学習の技術が活用されたデバイスが増えていくことが考えられます。

EOS-1D X Mark III | AF・AE:https://cweb.canon.jp/eos/lineup/1dxmk3/feature-aeaf.html

その他、自動運転車には長距離短距離で物体が検知できる深度カメラ、周囲の映像を取得できるパノラマカメラ、オブジェクト検知用の車内外カメラなどさまざまな最新カメラ技術、画像解析技術が満載されています。一時停止マークと、あるラーメン店のロゴがよく似ているために一時停止してしまった車が話題になりましたが、まだまだテクノロジーの進化、活用の余地があると考えられます。

どんなにテクノロジーが進化しても、写真を撮る楽しみ、見る楽しみは続きます。貴重な時間を切り取って「写真」として残す行為は永久になくならないと考えられます。そして、データとしての写真、見るための写真と、意味合いや用途も広がってくることでしょう。すでに考え尽くされているかもしれませんが、まだまだ写真撮影、記録としての写真、アートとしての写真に、テクノロジーが関与する余地は多分に存在します。

今後は、まるでドラえもんの秘密道具のようなカメラが登場するかもしれません。撮影しなくてもネットワークからベストな風景写真を取得してくれるカメラ、アリバイカメラ、未来の様子を予測するカメラ、春夏秋冬関係なく、いつの季節の写真も撮影できるカメラ、腕が良くなくても、一流カメラマンと同じ構図、同じ色合いで撮影できるカメラなどが実現するかもしれません。こういった夢のようなカメラもコンピューティショナル・フォトグラフィーと人工知能を活用すれば既存技術の組み合わせで決して実現不可能なことではありません。

今現在のコンピューティショナル・フォトグラフィー活用を率いてきたMarc Levoy氏は”run faster and breathe deeper in order to stay ahead”「一歩先を行くためには、速く走りながら深呼吸しなければいけない」といった無理難題を口にしています。まさに最速で最新技術を研究、実装しながら、さらにありとあらゆる事象に素早く対処しつつ、多くの人に使ってもらえる深い配慮が欠かせないのかもしれません。

本連載の今後の予定:「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX、アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。何か取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉

Vol.22:言葉から画像を生成、DALL-Eはクリエイティブなのか?

Vol.21:人工知能+3DCGの最新論文をまとめて紹介 #SIGGRAPHAsia2020

Vol.20:Adobeと人工知能の将来を見極める #AdobeMAX2020

Vol.19:コミュニケーションツールの新境地「NVIDIA MAXINE」

Vol.18:SIGGRAPH2020レポート 映像制作の現場で活躍する人工知能

Vol.17:描画を進化させるTensorFlow Graphicsの真価

Vol.16:バーチャル開催SIGGRAPH論文を先取り

Vol.15:撮影に革新をもたらすAIによる照明

Vol.14:AIが生み出す顔と人間の表情

Vol.13:AIのクリエイティブとクリエイティビティ再考

Vol.12:AIのおかげで映像の拡大やノイズ除去が高品質に

Vol.11:動き、ダンスに新しい要素を加えるAIの役目

Vol.10:老齢とは無縁、De-Aging技術の台頭

≫≫すべてのバックナンバーはこちらから

Contributor:安藤幸央

RELATED ARTICLE関連記事

CGへの扉 Vol.25:変幻自在の顔も実は人工知能

2021.4.13アート

CGへの扉 Vol.25:変幻自在の顔も実は人工知能

CGへの扉 Vol.14:AIが生み出す顔と人間の表情

2020.5.13アート

CGへの扉 Vol.14:AIが生み出す顔と人間の表情

CGへの扉 Vol.11:動き、ダンスに新しい要素を加えるAIの役目

2020.2.14アート

CGへの扉 Vol.11:動き、ダンスに新しい要素を加えるAIの役目

RANKING注目の記事はこちら