映像から音源を特定して効果音を生成するAI「AutoFoley」：月刊エンタメAIニュース vol.8

2020.8.26先端技術

エンタメにおいてもAIは日進月歩で進歩しており、新しい研究成果や試みが次々と発表されています。こちらの連載では、過去1か月間、主に海外で公開された注目すべきゲームAIやエンタメAIに関連したニュース、論文などを紹介していきます。

StarCraftⅡを攻略するゲームプレイAIは、生態系を模倣する

科学系メディア「Massive Science」は7月20日、Google傘下のAI研究機関DeepMindが開発したゲームプレイAI「AlphaStar」が進化論の研究に活用されていることを報じました。人気RTS『StarCraftⅡ』の攻略を目的として開発された同AIは、2019年10月、人間のプレイヤーと同等のプレイ条件下で対戦した結果、上位0.2%にランクインされたことによりグランドマスターの称号を得ています。

AlphaStarはStarCraftⅡを攻略するために、3つの課題を効率的に解決できるように学習しました。まずプレイヤーが操作するユニットの生産に関しては、序盤は低コストのユニットを数多く生産して領地を確保した後、中盤以降は優れた能力を持つ高コストのユニットを生産して勢力を広げます。ゲームフィールドで利用できる資源は有限なので、同種族ユニットへの資源供給と異種族からの資源奪取を両立させなければなりません。そして、生存競争に勝ち残るには異種族の増強に相応した同種族の強化が求められます。こうした課題は、実のところ、それぞれ「r-K戦略」「資源配分」「進化的軍拡競争」として進化論の研究において論じられているものなのです。

AlphaStarが解決する課題が偶然にも進化論におけるそれと同様であることから、科学者たちは同AIを進化論研究におけるシミュレーターとして活用することを提案した論文を発表しました。同AIは、時として人間プレイヤーが思いつかないような型破りな戦略を実行することで知られています。同AIを進化論シミュレーターとして活用した場合、科学者たちが思いつかなかったような生存戦略を実行することによって、研究に寄与することが期待されています。

【論文】Artificial Intelligence Accidentally Learned Ecology through Video Games

「フォーリーアーティストAI」を開発する試み

科学系メディア「IEEE SPECTRUM」は8月10日、フォーリーアーティストを模倣するAI開発の動向を報じました。フォーリーアーティストとは、映画のなかで生じる雨音や足音といった効果音を映像に追加する職種の名前です。

テキサス大学の研究チームは、フォーリーアーティストの仕事を実行する音声生成AI「AutoFoley」を開発したことを発表しました。同AIは、音声を識別するモデルと生成した音声を映像に同期させるモデルから構成されています。音声識別モデルは、映像がもつ特徴から雨音や走行する馬といった音源を特定して、特定した音源に相応しい効果音を生成します。生成された効果音は、音声同期モデルによって映像の変化と同期するように追加されます。こうした仕組みで機能するAutoFoleyは、雨が降るシーンのような効果音の同期があまり重要ではないシーンではその性能を発揮しますが、雷鳴のようなランダムな同期が求められるシーンでは、同期に失敗する可能性があることが確かめられました。

研究チームは57人の大学生に協力してもらって、ふたつのモデルのそれぞれに関してその性能を評価するテストを実施しました。テストは、特定の映像に関してオリジナルの効果音が付いているバージョンとAutoFoleyで生成した効果音が付いたバージョンを比較してもらい、どちらがオリジナルの効果音かを尋ねる、というものでした。テストの結果、音声識別モデルに関しては73%の学生がオリジナルな効果音と判断した一方で、音声同期モデルでは66%がオリジナルの効果音と判断しました。

以上のようなテスト結果をふまえて、研究チームは学習データを増やしてAutoFoleyをさらに改良していきたい、と述べています。

【論文】AutoFoley: Artificial Synthesis of Synchronized Sound Tracks for Silent Videos with Deep Learning

1年間人間のデザイナーになりすましたデザイン生成AI

テック系メディア「SingularityHub」は7月24日、ロシア人デザイナーになりすましたデザイン生成AIの顛末をまとめた記事を公開しました。ロシアで有名なデザインスタジオArt.Lebedev Studioに所属するデザイナーNikolay Ironov氏は、昨年から20以上のデザインプロジェクトを手がけてきました。同氏が制作したロゴのなかには、独創的ということでメディアの注目を集めたものもありました。

Ironov氏の活動が1年以上経過した2020年7月20日、Art.Lebedev Studioは同氏がAIであったことを明かす動画を公開しました。この動画が公開されるまで、顧客の誰一人として同氏がAIだとは見抜けませんでした。顧客たちはだまされたわけですが非難するような動きはなく、人間になりすましていたデザイン生成AIは再び脚光を浴びました。

このデザイン生成AIは、画像検索アルゴリズムとデザイン修正アルゴリズムから構成されています。具体的には、顧客の依頼に関連したキーワードを同AIに与えると、キーワードに関連した画像を収集します。収集した画像をデザインの元ネタとして、さらに修正を加えます。このようにしていくつかのデザイン案を生成して、最終的に人間のデザイナーが顧客に提案するデザインを選定していたのです。

以上のデザイン生成AIは、完全に人間の助けなしで機能するものではありません。しかしながら、疲れることもなければ睡眠も不要である点で人間を凌駕しています。同AIは、クリエイティブ職における人間とAIの協働を考えるうえで重要な事例となるでしょう。

Facebook幹部、有害コンテンツの95%はAIが検出していると発言

アメリカの大手メディアCBSが8月12日に公開した記事では、有害コンテンツに関するFacebookの最近の取り組みが報じられています。8月11日、Facebookの健全さと倫理を担当するintegrity部門のヴァイス・プレジデントであるGuy Rosen氏は、同社の有害コンテンツに関する取り組みについて記者会見しました。同氏によると、今年4月から6月までにヘイトスピーチをふくむ有害コンテンツと認定したFacebookの投稿は2,220万件にのぼり、1月から4月までにくらべて960万件増加しました。そして、95%にあたる2,200万件は、AIが有害フラグを付けました。

4月から6月までの有害コンテンツが増えた理由として、AIによる検出システムがスペイン語、アラビア語、インドネシア語等に拡大適用されたからとRosen氏は説明しています。

こうしたAIによる有害コンテンツ検出に対して、デジタル文化における民主主義とプライバシーを擁護する活動に従事する団体Center for Democracy＆Technologyに所属するEmma Llanso氏は、有害コンテンツ検出のすべての作業をAIに任せることに警鐘を鳴らしています。というのも、AIが誤った判断を下した場合、プラットフォーム全体が危険に晒されるからです。

もっとも、AIによる検出が極めて困難な有害コンテンツも存在します。具体的には自傷行為や児童ポルノといったものは、Facebookでは人間のモデレーターが検出作業にあたっています。コロナ禍が発生して、モデレーターは自宅で作業するように指示されたのですが、自傷行為や児童ポルノの検出に関しては、その内容を考慮して自宅の作業が許可されませんでした。その結果、こうしたセンシティブな投稿の検出数は2020年第1四半期では170万件だったのに対して、第2四半期は約91万件に減少しました。

AIによる有害コンテンツの自動検出はプラットフォームの健全化に寄与するものですが、自動化が行き過ぎるとかえってリスクを高める可能性があります。さらには人間が関与しなければならない検出作業も依然として存在する現状を鑑みると、有害コンテンツ検出におけるAIと人間の協働の在り方が今後の大きな課題となるでしょう。

Writer：吉本幸記