【JSAI2023】AIはクリエイターの良きサポーターになり得るか？

2023年6月6日から9日にかけて、熊本県熊本城ホールをメイン会場として2023年度 人工知能学会全国大会（第37回）がハイブリッド開催されました。6月8日には企画セッション「人の創造力はAIとの共進化によりどのように変化するか？」が行われました。本稿ではこのセッションを要約することで、クリエイターを支援するAIの可能性を探ります。

コンテンツ制作における人とAIの螺旋的進化を目指して

以上の企画セッションは、栗原聡慶應義塾大学教授の趣旨説明から始まりました。同セッションは2020年7月から取り組まれているNEDOの「人と共に進化する次世代人工知能に関する技術開発事業」の一環である「インタラクティブなストーリー型コンテンツ創作支援基盤の開発」の成果報告にあたると述べたうえで、同教授は各種配信サービスが普及したことでコンテンツ量産が要請されている社会的背景を指摘しました。こうした要請に応えるためには、AIによる制作力の底上げが不可欠となります。

栗原教授は、上記NEDO事業の成果を示すための言わば打ち上げ花火としてコンテンツ生成を計画しているとも述べました。そして、長期的な展望としてAIがクリエイターにインスピレーションを与えながら人とAIが共進化する螺旋的進化のビジョンを提示して、後続する技術紹介に通底する共通認識を確認しました。

物語構造の抽出と人気の物語の対応関係

技術紹介の1人目は、はこだて未来大学の村井源教授が「物語構造の分析と生成」と題して物語構造の抽出と分析について発表しました。星新一プロジェクト「きまぐれ人工知能プロジェクト作家ですのよ」に参加したこともある同教授は、物語構造を分かりやすく説明するために恋愛物語の構造分析事例を示しました。その構造とは、以下のスライドのように外的情報の提示や登場人物の出現にはじまり、関係変化などを経て恋が成就する物語の起伏を分節化したものです。

続いて村井教授は、冒険物語や怪談をふくむ5つのジャンルごとから約200話、合計1,000話分の構造分析を実施した結果を見せました。その結果にもとづけば、各ジャンルの物語構造は異なり、各ジャンルにおけるサブジャンルの構造も特定できます。また、各ジャンルの（主人公や仲間といった）登場人物とその関係も抽出できます。

村井教授は物語構造分析を個別的な物語に適用した事例として、手塚治虫原作のマンガ『ブラック・ジャック』のエピソード「二度死んだ少年」の分析事例を示しました。こうした分析から、同エピソードは複数の物語構造が重層的に組み合わされることで重厚な命のドラマとなっていることが分かります。

ブラック・ジャックの多数のエピソードを構造分析することで、同マンガで使われる典型的なストーリーテリングが特定できます。村井教授は構造分析と因子分析を駆使して、以下のスライドでまとめられたような同マンガの代表的な7つの語り口を明らかにしました。

村井教授は、ブラック・ジャックで人気のあるエピソードと抽出した7因子の対応関係も調べました。その結果、「主人公の競合者が出てくる話」などが人気なのが分かりました。同教授は、物語構造と人気の物語の関係は物語を自動生成する際の科学的指針となると指摘して発表を終えました。

一貫性と斬新性のバランスをとる

2人目の技術紹介は、趣旨説明をした栗原教授がプロット生成について発表しました。前出の村井教授が分析した物語構造分析は言わば物語の骨格にあたるものであり、構造だけでは実際に消費されるコンテンツにはなりません。栗原教授が取り組んだのは、物語構造から具体的なプロットを生成することでした。

物語構造にもとづいたプロット生成において注意を要するのは、一貫性と斬新性の両立です。ChatGPTのようなLLM（Large Language Model：大規模言語モデル）が台頭した現在では、物語構造を意味するキーワードをAIに与えてプロットを文章として出力することが技術的に可能です。しかし、確率的に後続する可能性の高い文字列を出力するように訓練されている現在のLLMを活用すると、展開を先読みしやすい凡庸なプロットが生成される傾向にあります。こうしたなか栗原教授は展開が読めないプロットを生成するために、物語の始まりと終わりを人間が決めたうえでそのあいだをAIが生成するようにしました。すると、AIのみによるプロット生成と比べて斬新なものが生成できることを確認しました。

AIによるプロット生成にあたっては、有名なLLMのひとつであるOpenAI社開発のGPT-3を活用しました。同AIに入力するプロンプトは、以下のスライドのようにプロットの簡単な説明、キーワード、キャラクター設定から構成されたものを作成しました。

栗原教授は、生成したプロットにもとづいて3Dキャラクターが動作する3Dシナリオシーンの実験事例も紹介しました。こうした事例が制作支援AIツールとして実用化されれば、アニメや映画のプロットからシーンの視覚的共有と試行錯誤が迅速に行えるようになるでしょう。

キャラクター制作におけるStable Diffusionの革新性

3人目は、慶応義塾大学で特任講師を務めているオムロン サイニックエックス・シニアリサーチャー橋本敦史氏が「物語の登場人物のビジュアルデザイン支援」と題して画像生成AIによるキャラクターデザインの試みについて発表しました。手塚プロから提供された手塚作品に登場するキャラクター画像を活用して、新たな手塚キャラクターの創作プロジェクトに取り組む同氏は、過去の成果を報告することから発表を始めました。

過去の挑戦のひとつとして、FastGANを活用したキャラクター顔画像生成があります。具体的には、14,581枚の手塚作品を学習データとして、手塚作品の特徴を備えた新たな顔画像を生成しました。

2つ目の挑戦は、条件付きFastGANによる顔画像生成です。この挑戦では、実写画像あるいはマンガ画像のどちらかを指定して生成できるようにしました。寒色的な印象あるいは暖色的な印象を受ける顔画像生成も試みましたが、寒色・暖色のような人の主観的判断がふくまれる条件付けは制御困難であることが分かりました。この挑戦により、実写画像からマンガ画像へ変換する技法も開発されました。

3つ目は、NaviGANの活用です。この技法を使えば、例えば手塚作品で登場する鼻の大きいキャラクターの特徴を誇張できるようになります。

2022年8月、Stable Diffusionが公開されたことで画像生成AI文化が一挙に進化しました。テキストプロンプトによって高画質の画像を生成できるようになったことで、画像生成時の制御性が大きく向上しました。この結果、キャラクター設定に沿った画像生成が格段に容易になりました。

Stable diffusionによってプロジェクトが大きく前進したので、誇張なども制御してより創造性の高いキャラクター画像生成を今後の目標として掲げて、橋本氏の発表は終わりました。

4コママンガの学習データからセリフを生成する

4人目は、電気通信大学の稲葉通将准教授が「プロットに基づくキャラクタのセリフ生成に向けた取り組み」と題して、プロットとコンテキストに沿った4コママンガのセリフ生成について発表しました。

前出の技術紹介では物語構造、プロット、キャラクター画像に関する成果が発表されましたが、マンガを制作する場合にはこれら3つの要素に加えてセリフが必要になります。そこで稲葉准教授は、4コママンガのセリフを生成するAIを開発するために学習データを構築しました。そのデータは、マンガのストーリーに関する要約と各コマの情報という2種類から構成されています。

要約データセットでは、4コママンガのストーリーを1～5文程度にまとめたものを収集しました。ただし、セリフをそのままふくめることを禁止しました。

コマ情報データセットでは、セリフの内容、吹き出し、話者などのセリフの属性とセリフが語られるシーンの情報をふくんだ以下のようなデータを収集しました。

収集したデータセットは、以下のスライドで示されるような規模になりました。

以上のような学習データを活用して構築されるセリフ生成AIは、生成するセリフをふくむ4コママンガのストーリーを要約した「プロットS」、生成するセリフに先行するセリフをふくんだ「文脈C」、そして生成するセリフを話す「次の話者uk（※正式表記ではkは下付き）」を入力として、セリフが出力されるというアーキテクチャが採用されました。

稲葉准教授は、以上のようにして開発したセリフ生成AIの活用事例を紹介しました。同AIは以下のスライドで示されたように「中年になったらデブになりますよ」というセリフを生成しましたが、既存モデルと比較してよりプロットと整合しており、なおかつ自然なものとなりました。

今回開発のセリフ生成AIにはキャラクターの個性を反映したようなセリフを生成できない、と言う課題がありました。さらには、今後はChatGPTやGPT-4などのLLMの活用を視野に入れていることを述べて稲葉准教授の発表は終わりました。

AIの限界と希望が語られたパネルディスカッション

4名による技術紹介を終えた後、栗原教授を司会にして、ヴィジュアリストであり手塚治虫の子息である手塚眞氏、手塚プロダクションの石渡正人氏、エッジワークス所属の山野辺一記氏、スクウェア・エニックスの三宅陽一郎氏、そして東京大学の松原仁教授をパネリストにしたディスカッションが行われました。このディスカッションでは、以下のような興味深い見解が語られました。

1. （「現在の生成AIに驚いたことは？」という栗原教授からの質問に対する手塚氏の発言）この3年における生成AIの進化スピードが速いのが驚き。生成AIの普及が早いのは、世界が注目しているから。生成AIとクリエイティブのあいだの関係に関する議論も始まり、その展開が早い。こうした状況に希望を抱いている。
2. （同質問に対する石渡氏の発言）映像テクノロジーに長年触れてきたが、Stable Diffusionの登場とその性能には驚いた。対してChatGPTは汎用性があるかも知れないが、出力が平凡。ゆえに驚きはなかった。
3. （同質問に対する山野辺の発言）クリエイターが生成AIを使い始めると、作品数が増えるだろう。そして、AIを使っていないと言いつつも、AIを活用した作品も増えると考えられる。AIが生成しているかも知れない作品をどのように評価するのか、というのが今後の問題だろう。
4. （同質問に対する三宅氏の発言）画像生成AIを使ってモンスター画像を生成した場合、同じような構図の画像しか生成されない。それらの画像は、まるでモンスター図鑑のようだ。画像生成AIの登場により「一億総クリエイター」のような雰囲気となり、一般消費者のコンテンツに対する要求レベルが上がったように感じられる。
5. （同質問に対する松原教授の発言）さまざまなパラメータと学習データの組み合わせから、多数の生成AIが開発されたことが驚き。こうした開発においては、開発前に実現される性能は予見できなかったはずである。それゆえ、生成AIの開発は「実際に作って確かめる」実験的な側面が強かった。
6. （「現在の生成AIに感じる限界は？」という栗原教授からの質問に対する手塚氏の発言）生成AIのUIには、大いに改善できる余地がある。UIは使う目的とユーザのレベルに最適化されるべきだが、現在の生成AIのそれは与えられたものを使うだけに留まっている。
7. （同質問に対する石渡氏の発言）現在のLLMでは詳細なキャラクター設定に沿ったストーリーやセリフ生成が可能なのか、ということが疑問であると同時に課題と考えている。
8. （同質問に対する山野辺の発言）現在のLLMには修辞が苦手。例えばゴルフ用語の「天ぷら（ゴルフボールを打ち上げること。天ぷらの「揚げる」をかけている）」のような表現は、LLMは出力しないだろう。
9. （同質問に対する三宅氏の発言）ゲームにLLMを活用しようとすると、プレイヤーが開発者の想定しない会話をはじめてしまう。こうした会話の誘導に対する耐性がLLMには求められる。
10. （同質問に対する松原教授の発言）LLMは優等生すぎる。LLMは答えるのはうまいが、質問を発するのが苦手。
11. （「クリエイターにとってのAIはどのような存在になっていく？」という栗原教授からの質問に対する手塚氏の発言）AIにはクリエイターのパートナーになってほしい。そのためには、クリエイターごとにパーソラナイズされたAIになる必要がある。
12. （同質問に対する三宅氏の発言）AIはクリエイターをインスパイアする存在になってほしい。そのためには、生成物にゆらぎがあると面白い。
13. （同質問に対する松原教授の発言）今後の生成AI研究は、生成物にふくまれるゆらぎをクリエイターごとにパーソラナイズする方向に進めるのがよいのではないか。
14. （セッション参加者から「スタンフォード大学のLLM実験のような生成AIによって実現するコンテンツとはどのようなものか」という質問に対する三宅氏の発言）スタンフォード大学のLLM実験は言語空間で閉じており、キャラクターと世界との相互作用がない。それゆえ、キャラクターが世界と相互作用したうえで、リアルタイムのシチュエーションに則した会話ができるように進化する余地が大いにある。

以上のようなパネルディスカッションの終了後、栗原教授はサプライズの発表を用意していると告知しました。この告知は、2023年6月12日に発表された「TEZUKA2023」を予告するものでした。このプロジェクトは「現在のAI技術を駆使してブラック・ジャックの新作を制作する」というものです。同プロジェクトには上記企画セッションの成果が生かされると同時に、最新のAI技術が活用されることでしょう。

Writer：吉本幸記​​