高品質化粧モデルから最適広告レイアウト生成まで：サイバーエージェント AI Lab研究特集

2025.1.29先端技術

メディアやインターネット広告を手がける日本企業である株式会社サイバーエージェントはAI研究開発に熱心であり、その研究成果はサイバーエージェントAI Labから発表されています。同研究所はAIアルゴリズムのような基礎研究から、グラフィックAIのような応用研究まで行っており、とくにグラフィックAI研究はエンタメコンテンツ制作に活用できるような内容となっています。そこで本稿では、同研究所が発表した3本のグラフィックAI研究論文を紹介します。

化粧生成に関する高速なモデルと高品質なモデルを開発

2024年3月に筑波大学の研究者と共同で発表した論文は、化粧の特徴を抽出する技法を提案しています。この技法のアーキテクチャは、以下の画像のように図示できます。

再構成モジュール（画像下段の「module」）：入力された顔画像の3次元的な特徴を抽出する。この処理段階では化粧に関する特徴は抽出せず、言わば「素顔」のそれを抽出する。
メイクアップ推定モジュール（画像中段の「Makeup estimation module」）：入力画像から化粧に関する特徴を抽出する。再構成モジュールで抽出する素顔に関する特徴と、メイクアップ推定モジュールが抽出したそれを再合成すると、入力画像における顔を再現できる。
メイクアップ一貫性モジュール（画像上段の「Makeup consistency module」）：メイクアップ推定モジュールが抽出した化粧の特徴をほかの顔画像に転写するなどの処理を実行する際に、化粧の特徴を高品質化する処理を行う。

提案技法の新規性は、素顔の特徴と化粧のそれを分離して抽出することにより、化粧の特徴を従来技法より顕著に抽出できる点にあります。

メイクアップ推定モジュールにおける化粧特徴抽出に際しては、計算速度が速いが特徴抽出の精度が低いPCAモデルと、計算速度が遅いが特徴抽出の精度が高いStyleGAN2モデルの2つを開発しました。

以下の画像は、PCAモデルとStyleGAN2モデルの化粧特徴抽出結果と、従来技法のひとつであるYang-Resを比較したものです。StyleGAN2モデルは、アイシャドウのグラデーションを再現できています。

提案技法には、以下のような3つの応用が考えられます。

化粧編集：化粧の特徴を抽出して、画像化する。この画像化では「唇だけ」のように抽出する領域指定も可能（以下の画像1枚目）。
化粧転写：任意の顔画像の化粧をほかの顔画像に転写する（以下の画像2枚目）。
化粧のブレンド：任意の2枚の化粧を施した顔画像の化粧を混ぜて、新たな化粧画像を生成する。以下の画像3枚目では、左側の「A」画像と右側の「Ref.B」画像をブレンドしている。左側ほど「Ref.A」画像の化粧に似ており、右側だとRef.B」画像に似てくる。

研究チームは、提案技法の計算速度も計測しました。従来技法のYang-ResとYang-Extはそれぞれ56.12秒と63.13秒に対して、StyleGAN2モデルは18.13秒と約3倍速く、PCAモデルにいたっては0.3秒と180倍の計算速度を実現しました。PCAモデルを活用すれば、リアルタイムの化粧生成が可能になると考えられます。

髪の毛の方向を考慮して高精細な3次元的毛髪を描画

2023年10月に兵庫県立大学の研究者と共同で発表した論文では、高精細な3次元的毛髪を描画する技法を提案しています。この技法が考案された背景には、毛髪の生えている方向を考慮したうえで毛髪を描画すれば、高精細な描画が可能になるというアイデアがあります。

提案技法のアーキテクチャは、以下の画像のように図示できます。

マルチビュー画像の入力：3次元的に描画する毛髪に関する実写画像を入力する。この画像は、複数のカメラで撮影したマルチビュー画像とする。
LPMVSによる特徴抽出：入力画像から毛髪に関する深度情報と生えている方向を抽出する。この抽出処理には、2019年に韓国の研究機関KAISTらが発表した技法LPMVSを用いる。
方向を考慮した毛髪の描画：LPMVSによって抽出した毛髪の方向にもとづいて、毛髪を描画する。この処理は「Strand Integration（髪の房の統合）」と呼ばれる。
法線情報の追加：追加の特徴情報として、入力画像にもとづいた法線情報を取得できる。法線情報を追加すると、より高精細な描画が可能となる。

研究チームは提案技法の性能を検証するために、直毛（straight）、カール（Curly）、ウェーブ（Wavy）、小さいボリュームのウェーブ（Wavythin）の4つのヘアスタイルを描画しました。描画方法として点情報で描くポイントクラウド、深度情報にもとづく深度マップ、入力画像との誤差を可視化した誤差マップを採用したうえで描画結果をまとめたのが、以下の画像です。すべてのヘアスタイルに関して提案技法はLPMVSを凌駕しており、見た目にはわかりづらいですが法線情報を追加した場合のほうが高精細な描画となっています。

以上のような提案技法には、生える方向が複雑なヘアスタイルでは高精細な描画を実現できない場合があります。しかしながら、この技法は毛髪の高精細なレンダリングやシミュレーションに応用できる可能性があります。

広告をふくむRAGとの連携で最適なレイアウトを提案

2023年11月に東京大学の研究者らと共同で発表した論文では、入力画像に関して最適な広告レイアウトを出力するAIモデルを提案しています。「RALF（Retrieval-Augmented Layout Transformer）」と命名されたこのモデルは、その名称にふくまれているようにAI技法のひとつであるRAG（Retrieval-Augmented：拡張検索）を活用しています。

RALFのアーキテクチャは、以下の画像のように図示できます。

画像の入力：広告にしたいオブジェクトをふくんだ画像を入力する。入力画像に関するサリエンシーマップ（画像の注目箇所を可視化した画像）も入力する。
広告用RAGの検索：入力画像を検索クエリとして、広告データセットから構成されたRAGから、入力画像のオブジェクトと構図に類似した広告レイアウトを検索する。
広告レイアウトの出力：検索された広告レイアウトと入力画像を合成して、広告レイアウトを出力する。
広告シリアライズの追加：「テキストの上にロゴ」のように、テキストで広告レイアウトを指定する「広告シリアライズ」を追加できる。広告シリアライズを追加した場合、指定された条件が広告レイアウトに反映される。

研究チームは、RALFの性能評価として従来手法との比較を行いました。比較結果をまとめたのが、以下の画像群です。画像群のもっとも右の列がRALFであり、従来技法と比較して注目されるオブジェクトにテキストが重ならないレイアウトになっているのがわかります。RALFのすぐ左隣の「Autoreg Baseline」は、RAGと連携していないRALFの出力画像です。実のところ、RALFはRAGなしでも広告レイアウトを出力できるのですが、RAGと連携することでより最適な結果を出力するのです。