モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
機械学習ディープラーニングCGCGへの扉GAN強化学習ニューラルネットワークモリカトロンAIラボインタビューQA三宅陽一郎月刊エンタメAIニュース音楽CEDEC2019デバッグスクウェア・エニックス敵対的生成ネットワークCEDEC2020ゲームAI不完全情報ゲームOpenAI深層学習シナリオAIと倫理NVIDIA映画SIGGRAPHGDC 2019VRキャラクターAIボードゲームルールベースビヘイビア・ツリーグーグルDeepMindVFX遺伝的アルゴリズムメタAIロボットファッションGoogleJSAI2020人工知能学会Facebookイベントレポートガイスター畳み込みニューラルネットワークマイクロソフトtoioStyleGANTensorFlowGDC SummerモリカトロンマルチエージェントナビゲーションAIeSports小説AlphaZero中島秀之アートプロシージャルスポーツ自動生成研究ディープフェイクDARPAGPT-3CNNメタデータOpenAI Five本間翔太CM倫理Adobe中嶋謙互Amadeus Codeキャリアテストプレイeスポーツ音声認識PyTorchDQN眞鍋和子シーマンUnity森川幸人齊藤陽介お知らせ水野勇太サルでもわかる人工知能ワークショップGenvid Technologies知識表現IGDAどうぶつしょうぎジェイ・コウガミ音楽ストリーミング自然言語処理マシンラーニングクラウドカメラ完全情報ゲーム藤澤仁長谷洋平宮路洋一SIGGRAPH ASIAHTN階層型タスクネットワークソニーフェイクニュースドローンシムピープルGPUALife人工生命オルタナティヴ・マシンサウンドスケープASBSぱいどんTEZUKA2020AI美空ひばり手塚治虫汎用人工知能Electronic ArtsマーケティングApex LegendsNinjaゲームTENTUPLAYMARVEL Future Fightタイムラプスバスキアブロックチェーン通しプレイ階層型強化学習WANN竹内将馬淵浩希岡島学映像セリア・ホデントUXピクサー認知科学ゲームデザインLUMINOUS ENGINELuminous Productionsパターン・ランゲージ作曲ちょまどビッグデータMicrosoftMicrosoft Azureアストロノーカ模倣学習ナラティブFPSマルコフ決定過程スタンフォード大学パラメータ設計テニスバランス調整レコメンドシステム対話型エージェント協調フィルタリング人狼知能Amazon軍事AlphaDogfight TrialsエージェントシミュレーションゲームプレイAIStarCraft IIFuture of Life InstituteIntelロボティクスLAIKARotomationドラゴンクエストライバルズ不確定ゲームDota 2モンテカルロ木探索ソーシャルゲームEmbeddingGTC2020NVIDIA MAXINE淡路滋ビデオ会議グリムノーツバンダイナムコスタジオゴティエ・ボエダBLUE PROTOCOLGautier Boeda階層的クラスタリングaiboJuliusSIETPRGバーチャル・ヒューマン・エージェントtoio SDK for Unityクーガー田中章愛石井敦銭起揚茂谷保伯MinecraftGDMCマインクラフト成沢理恵MITメディアラボ著作権マジック・リープAIアートMagic Leap OneMagendaノンファンジブルトークンDDSPサッカー里井大輝KaggleバスケットボールAssassin’s Creed OriginsSea of ThievesGEMS COMPANYmonoAI technologyアバター初音ミクOculus転移学習テストBaldur's Gate 3Candy Crush SagaSIGGRAPH ASIA 2020VAEデバッギングBigGANアニメーションMaterialGANリップシンキングRNNUbisoftReBeLUbisoft La Forge自動運転車VolvoRival Prakウォッチドッグス レギオンユービーアイソフトNPC北尾まどかHALO将棋メタルギアソリッドVFSMDALL-Eナップサック問題CLIP汎用言語モデルSpotifyMITReplica StudioStyleGAN2amuseChitrakar巡回セールスマン問題ジョルダン曲線5GMuZeroクラウドゲーミングRival Peak和田洋一リアリティ番組Stadiaジョンソン裕子MILEs対話エンジンインタラクティブ・ストリーミング斎藤由多加インタラクティブ・メディアリトル・コンピュータ・ピープルシーマン人工知能研究所コンピューティショナル・フォトグラフィーLudoゴブレット・ゴブラーズTransformerSIGGRAPH 2019ArtEmis絵画ARGPT-2GROVERFAIRAIりんなチート検出オンラインカジノアップルiPhoneAIGraph環世界予期知能ウェイポイントパス検索ドラゴンクエストPAIR画像認識アルスエレクトロニカ2019DeNA逆転オセロニア奥村エルネスト純齋藤精一高橋智隆ロボユニ泉幸典ロボコレ2019ぎゅわんぶらあ自己中心派意思決定モデルウロチョロス理化学研究所教育LEFT ALIVE長谷川誠Baby Xロバート・ダウニー・Jr.YouTubeSFThe Age of A.I.レコメンデーションテンセントMOBA人事研修mynet.ai人工音声プレイ動画NBA群知能ウィル・ライトシムシティレベルデザインSporeデノイズ画像処理CPUGMAITRPGウィザードリィAI Dungeon西川善司サムライスピリッツゼビウスストリートファイター栗原聡山野辺一記大里飛鳥マンガ13フェイズ構造手塚眞不気味の谷Oculus Quest生体情報写真照明山崎陽斗立木創太松井俊浩スパーシャルAIGameGANパックマンソサエティ5.0SIGGRAPH 2020DIB-R3D広告

CGへの扉 Vol.23:AIで人の眼に進化するカメラ

2021.2.15アート

CGへの扉 Vol.23:AIで人の眼に進化するカメラ

カメラの時代、写真の時代、スマートフォンの時代

2000年に携帯電話にカメラが搭載されて以来、現在スマートフォンに搭載されている高性能カメラで写真を撮影することは、ごくごく普通の行為となりました。スマートフォンで撮影された写真はSNSに投稿されたり、さまざまなアプリで写真加工されたり、誰もが気軽に扱うものとなっています。そういったスマートフォンで写真を楽しむことが広がり、リアルで正確に撮影された記録としての写真よりも、人々は見たい写真、撮りたい写真を楽しんでいるとも言えます。

ここ数か月、新型コロナウイルスの影響で旅行や外出の機会が減り、写真を撮る機会や枚数が減っていると実感している人も多いのではないでしょうか? 写真共有サイトFlickrによる少し前の調査によると、スマートフォンでの写真撮影はカメラデバイスの50%を占め、デジタル一眼は33%、コンパクトデジタルカメラは12%、デジタルミラーレスは4%と算出されています。

Top Devices of 2017 on Flickr:https://blog.flickr.net/en/2017/12/07/top-devices-of-2017/

多くのセミプロが気合の入った写真を共有しているFlickrでこの割合なので、一般にはスマートフォンの搭載カメラで写真撮影されている割合がさらに多いことでしょう。次のグラフを見ると分かるようにデジタル一眼レフカメラやミラーレスカメラは横ばいですが、コンパクトカメラの売り上げが急減、そしてスマートフォンの増加が信じられないほどの伸び率になっています。

CIPA(カメラ映像機器工業会)の公開データからSven Skafisk氏が作成したカメラの普及率のグラフ。右側はその一部を拡大したもの。引用元:https://petapixel.com/2017/03/03/latest-camera-sales-chart-reveals-death-compact-camera/

こういった状況の背景には、スマートフォンの手軽さもさることながら、スマートフォンで撮影する写真の品質、美しさが際立ってきたことの多大なる影響もあります。これらスマートフォンに搭載されている極小カメラで写真撮影できるようになった背景のひとつにコンピューティショナル・フォトグラフィー(コンピュータを利用した写真撮影)の進化があります。

この分野のパイオニアであるMarc Levoy氏によると、コンピューティショナル・フォトグラフィーとは、「デジタル写真の機能を強化したり拡張したりする、コンピュータを活用したさまざまなイメージング技術」のことです。カメラセンサーやレンズだけでできることを超え、コンピューティショナル・フォトグラフィーでは、ソフトウェアの力を借りて写真画像を変更したり加工したりします。

現在のスマートフォンのカメラの素晴らしさを多くの人が手に入れられている背景には、この2010年頃から始まったMarc Levoy氏のスタンフォード大学での研究成果、そして2014年にGoogleに入社してからの活躍があります。Marc Levoy氏のGoogleでの功績は他にもGoogleストリートビュー、書籍スキャンプロジェクトがありますが、なかでもPixelシリーズでのHDR+、ポートレートモード、夜景モードはカメラ業界に驚きを持って迎えられました。

GoogleのスマートフォンPixelシリーズが持つこれらのコンピューティショナル・フォトグラフィーを活用した機能は、
他メーカーのスマートフォンカメラの性能向上にも大きな影響を与えています。現在Marc Levoy氏は、Googleを辞めAdobeの副社長兼フェローに就任しており、特定のメーカー、特定のハードウェアに依存しない、ユニーバーサルなカメラ技術について研究と実装を進めているそうです。

Marc Levoy氏の研究成果がまとめられたスタンフォード大学のWebサイト

コンピューティショナル・フォトグラフィーのアプローチで実現したカメラ機能には下記のようなものがあります。

  1. ポートレートモード、人物撮影専用に背景をぼかす機能。
  2. ボケ、ピントずれ、手ブレ、逆光、光量が少ない撮影での補正
  3. レンズの持つ機能以上のデジタルズーム
  4. 極端に明るい所または極端に暗い所、それらが混在した環境でのHDR合成
  5. 撮影後のピント修正、デジタルリフォーカス
  6. 奥行き感の再構築
  7. 視点や構図の調整
  8. 色、発色の最適化、調整。
  9. 夜景や星空など光量が極端に少ない所での撮影

これらの機能だけでも従来プロフェッショナルなカメラマンしか使いこなせなかったカメラ技術が平易に実現できており、最新のスマートフォンユーザーも大いに恩恵を受けています。最近ではさらに人工知能、機械学習の手助けを得て写真加工技術や修正技術が進化し、次のような機能が手軽に使えるようになってきています。現在は撮影後の写真画像を加工するツールが台頭していますが、近い将来カメラ本体に組み込まれたり、スマートフォンだけで実現できるようになる日も近いでしょう。

  1. プロが撮影した理想的な写真から色調や構図を機械学習したものから写真補正
  2. 青空や曇天の差し替え、背景の差し替え
  3. 肌の色艶の補正、演出
  4. 撮影時には無かった照明や光のコントロール、追加や削除
  5. 撮影対象の物体や人の強調やその逆の効果
  6. 写真全体のコントラスト調整、メリハリの調整
  7. 不要な映り込み、不要なオブジェクトの消去(従来写真加工専門ソフトPhotoshop等で編集作業しなければならなかった)
  8. わずかな光量で撮影された写真の高精細化(Xiaomiのスマートフォンに搭載されたBlink.ai社の技術が注目されている)

人工知能を活用した一歩進んだ写真加工ツールの数々

SKYLUM社 Luminar AI

AI技術を活用したさまざまな写真加工が可能なツールです。撮影直後の写真を解析し、適切なテンプレートを提案して雰囲気やスタイルを合わせた加工ができます。例えば、撮影時にイマイチだった天候のためくすんだ風景写真や明るさが足りなかった写真、視点が外れたポートレート写真などの修正が可能です。

Luminar AI:https://skylum.com/jp/luminar-ai-b

Facet


AIを活用した写真画像のマスク作成技術です。

Facet:https://facet.ai/

ARSENAL 2


カメラに取り付けて用いるAI搭載カメラアシスタント。2021年6月発売予定で先行予約中です。これは適正な露出を割り出し自動設定してくれるものです。影が潰れないように明るい日光にも対応したり、夜空や夜景も最適設定で撮影することなどができます。マルチショットと呼ばれる複数写真を撮影することで、余計な人物が写り込まない合成写真を作成することもできます。

ARSENAL 2:https://witharsenal.com/

ACワークス社 ACbeautify

GAN(Generative Adversarial Network, 敵対的生成ネットワーク)を活用した画像補正ツールです。通常の色補正と、HDR色補正の2種類の結果から気に入ったものを選択できます。逆光で撮影された写真の補正などが手軽に行えるでしょう。サイトにアクセスすれば登録不要で無料で試すことができます。

ACbeautify:https://ac-beautify.com/

photolemur3

平易な操作で撮影写真の加工が可能なツールです。何が撮影されているのかを解析した上でディテールの調整、加工、補正、雰囲気の変更、露出の補正、逆光の補正、枝葉の強調、かすみの除去などができます。

photolemur3:https://photolemur.com/

Topaz Labs社 Gigapixel AI

高精細なレンズとカメラで撮影した写真よりも、ディテールや質感がクッキリとした表現ができる写真加工ツールです。約600%の引き伸ばしが可能です。姉妹製品として DeNoise AI、 Sharpen AI、JPEGtoRAW という製品があります。

Gigapixel AI:https://topazlabs.com/gigapixel-ai/

SELBY社 AIPHOTEC

宝飾品のネット販売向けAI自動画像補正アプリです。

AIPHOTEC:https://www.aiphotec.com/

人工知能、機械学習とカメラ技術の親和性

Amazonから開発者向けにリリースされている AWS DeepLens は、深層学習に対応したビデオカメラです。249ドル、日本でも3万円弱でAmazon.co.jpから購入可能です。DeepLensは、オブジェクトの検出、写真に写っている物体の解析、動物の種別を見分けたり、鳥の分類判別と検知、人間の顔認識、頭の位置や方向の検知、他者が開発したDeepLens用アプリの活用が可能です。カメラというよりも、カメラが搭載された小型コンピュータと言えるかもしれません。

活用サンプルとしては、ゴミの選別をするDeepLensシステムの構築、読書やゲームでの応用などが紹介されています。1台の性能はたいしたことないと考えるかもしれませんが、こういったコンピュータが搭載されたタイプのカメラが複数連携して機能する場合、新しいアプリを入れ替えることで機能や性能も向上したり、さまざまな連携が可能であることを考えると、ひとつのカメラの進化系であると考えられます。他にもカメラ側でAIを活用した画像認識を行うネットワークカメラ、AIエッジカメラとも言える「SORACOM Plus Camera Basic」や、 スマートフォンと連携するコンピューティショナルカメラ「Alice Camera」など、カメラそのものがコンピュータ化したデバイスも増えてきました。

人工知能の力を借りた、未来のカメラとは?

キヤノンの最新デジタル一眼レフカメラ EOS-1D X Mark III では、スポーツシーンの撮影に特化した頭部の追尾やオートフォーカス機能の実装にディープラーニングの技術が活用されています。これらの最新機能は、撮影者はほとんど意識することなしに活用できます。今後カメラ本体に機械学習の技術が活用されたデバイスが増えていくことが考えられます。

EOS-1D X Mark III | AF・AE:https://cweb.canon.jp/eos/lineup/1dxmk3/feature-aeaf.html

その他、自動運転車には長距離短距離で物体が検知できる深度カメラ、周囲の映像を取得できるパノラマカメラ、オブジェクト検知用の車内外カメラなどさまざまな最新カメラ技術、画像解析技術が満載されています。一時停止マークと、あるラーメン店のロゴがよく似ているために一時停止してしまった車が話題になりましたが、まだまだテクノロジーの進化、活用の余地があると考えられます。

どんなにテクノロジーが進化しても、写真を撮る楽しみ、見る楽しみは続きます。貴重な時間を切り取って「写真」として残す行為は永久になくならないと考えられます。そして、データとしての写真、見るための写真と、意味合いや用途も広がってくることでしょう。すでに考え尽くされているかもしれませんが、まだまだ写真撮影、記録としての写真、アートとしての写真に、テクノロジーが関与する余地は多分に存在します。

今後は、まるでドラえもんの秘密道具のようなカメラが登場するかもしれません。撮影しなくてもネットワークからベストな風景写真を取得してくれるカメラ、アリバイカメラ、未来の様子を予測するカメラ、春夏秋冬関係なく、いつの季節の写真も撮影できるカメラ、腕が良くなくても、一流カメラマンと同じ構図、同じ色合いで撮影できるカメラなどが実現するかもしれません。こういった夢のようなカメラもコンピューティショナル・フォトグラフィーと人工知能を活用すれば既存技術の組み合わせで決して実現不可能なことではありません。

今現在のコンピューティショナル・フォトグラフィー活用を率いてきたMarc Levoy氏は”run faster and breathe deeper in order to stay ahead”「一歩先を行くためには、速く走りながら深呼吸しなければいけない」といった無理難題を口にしています。まさに最速で最新技術を研究、実装しながら、さらにありとあらゆる事象に素早く対処しつつ、多くの人に使ってもらえる深い配慮が欠かせないのかもしれません。

本連載の今後の予定:「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX、アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。何か取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉

Vol.22:言葉から画像を生成、DALL-Eはクリエイティブなのか?

Vol.21:人工知能+3DCGの最新論文をまとめて紹介 #SIGGRAPHAsia2020

Vol.20:Adobeと人工知能の将来を見極める #AdobeMAX2020

Vol.19:コミュニケーションツールの新境地「NVIDIA MAXINE」

Vol.18:SIGGRAPH2020レポート 映像制作の現場で活躍する人工知能

Vol.17:描画を進化させるTensorFlow Graphicsの真価

Vol.16:バーチャル開催SIGGRAPH論文を先取り

Vol.15:撮影に革新をもたらすAIによる照明

Vol.14:AIが生み出す顔と人間の表情

Vol.13:AIのクリエイティブとクリエイティビティ再考

Vol.12:AIのおかげで映像の拡大やノイズ除去が高品質に

Vol.11:動き、ダンスに新しい要素を加えるAIの役目

Vol.10:老齢とは無縁、De-Aging技術の台頭

≫≫すべてのバックナンバーはこちらから

Contributor:安藤幸央

RELATED ARTICLE関連記事

CGへの扉 Vol.8:一流オークションハウスも注目するアートとAIの関係性

2019.11.13アート

CGへの扉 Vol.8:一流オークションハウスも注目するアートとAIの関係性

CGへの扉 Vol.20:Adobeと人工知能の将来を見極める #AdobeMAX2020

2020.11.13アート

CGへの扉 Vol.20:Adobeと人工知能の将来を見極める #AdobeMA...

CGへの扉 Vol.11:動き、ダンスに新しい要素を加えるAIの役目

2020.2.14アート

CGへの扉 Vol.11:動き、ダンスに新しい要素を加えるAIの役目

RANKING注目の記事はこちら