LLMが執筆した脚本や短編小説にはどんな特徴があるのか？

2026.1.20アート

LLMが進化したことで、これらに脚本や短編小説を執筆させる試みが報告されるようになりました。こうした試みにおいて問題となるのが、LLM生成創作物の評価です。LLM創作物は人間が執筆したそれに匹敵するのか、さらにはそもそもどのような特徴を持っているのか、といった疑問に答えるためには、単なる印象批評にとどまらない客観的な評価が必要となります。

本稿は、LLMが出力した脚本や短編小説に対して科学的な評価を実施した2本の論文を紹介します。

6つの評価項目で客観的に評価

マカオ大学らの研究チームは2025年12月22日、LLMに脚本の続きを執筆させて、その生成部分に関する客観的な評価をまとめた論文を発表しました。

LLMが生成した脚本を評価する試みは以前からあり、LLMに評価してもらう方法と、人間に評価してもらう方法がありました。前者は再現性に乏しくバイアスも認められることがあり、後者は時間がかかる、という問題点がありました。

研究チームは以上の問題を克服するために、以下の表に示すような3つのパートから構成される評価フレームワークを考案しました。そのパートとは以下の通りです。

脚本執筆（画像左）：任意の英語脚本の途中までをLLMに入力して、脚本の続きを執筆するように指示する。今回の実験では、1,103本の英語脚本を入力した。
6つの評価項目（画像中央）：LLMが出力した脚本の続きに関して、後述する6つの評価項目を満たしているかどうか、チェックする。
LLMによるチェックと集計（画像右）：以上の評価項目チェックは、LLMが評価ルールにもとづいて機械的に行う。機械的に行うことで、評価の客観性を担保する。そして、チェック結果を集計して最終的な評価結果を算出する。

6つの評価項目の内容は、以下の通りです。

フォーマット準拠性：脚本フォーマットに準拠しているかを評価。脚本フォーマットには、脚本執筆に特化したマークアップ言語であるFountainを採用する。このフォーマットにもとづいて、対話部分と行為部分の割合も評価する。
物語の効率性：ストーリーをよどみなく進行させているかどうかを、プロットの進行密度を算出して評価する。
登場人物の一貫性：登場人物の性格描写に一貫性があるか、ペルソナプロファイルを算出して評価する。
感情の深み：感情表現の強さを、感情価と覚醒度の2軸モデルにもとづいて評価する。
論理の一貫性：互いに矛盾した事実が提示されていないか、を評価。
葛藤処理：ストーリーに葛藤を持ち込み、解決に至るまでのプロセスをスコア化して評価

脚本を執筆させるLLMには、GPT-5.2、Claude Opus 4.5、Gemini 3 Pro Previewを含む8つを選びました。

GPT-5.2が総合的に優れ、Gemini 3 Proは葛藤の解決が得意

前述した実験の結果は、以下のようなレーダーチャートで表すことができます。

以上のレーダーチャートから読み取れる所見は、以下の通りです。

8つのLLMすべてが厳密にフォーマットに準拠していた。エラー率は0%を実現。
GPT-5.2は物語の効率性、登場人物の一貫性、論理の一貫性で1位となり、もっともバランスに優れたLLMであると見なせる。
Qwen3-Max（Alibabaが2025年9月に発表したLLM）がもっとも感情を強く表現していた一方で、物語の効率性は6位であった。
Gemini 3 Pro Previewは葛藤処理では1位であったが、感情の深さでは最下位の8位であった。

以上のように、すべての評価項目で優れたLLMは存在せず、得手不得手があることがわかりました。

評価項目ごとに評価の分布を考察すると、以下のような所見が得られます。

物語の効率性に関する評価スコアは、平均から左寄りに向かって分布している。これは多くの生成脚本で効率よく物語が進行する一方で、冗長な描写が散見されることを意味する。
登場人物の一貫性に関する評価スコアは、平均から右寄りに向かって分布している。これはほとんどの性格描写が適切である一方で、まれに致命的な失敗描写があることを意味する。
論理の一貫性に関する評価スコアは、評価項目のなかでもっともばらつきがあった。これは矛盾なく物語を生成する能力が、評価対象のLLMごとに大きな違いがあったことを意味する。

以上のような実験結果をふまえたうえで、研究チームは今回の評価フレームワークを小説や詩、さらにはインタラクティブ・フィクションにも拡張して、この評価方法の汎用性を実証することを今後の研究課題としてかかげています。

LLM生成短編小説を3つの構造ごとに評価

北京大学の研究チームは2025年7月、LLMが生成した短編小説を人間が評価した結果をまとめた論文を発表しました。

研究チームは、LLM生成小説の評価にあたり、以下のような特徴をもつデータセットを用意しました。

短編小説データセットは、英語小説と中国語小説から構成されている。
短編小説の作者として、人間、LLM、人間とLLMの協働の3カテゴリーを用意した。
人間が作者の小説は、さらに文学賞（英語小説はOヘンリー受賞作、中国語小説は魯迅文学賞受賞作）を受賞した作品と、ランダムに抽出したウェブ小説の2種類を用意した。
LLMにはGPT-4oとGLM-4-9Bを用意して、小説の構造を入力後、段落ごとに文章を生成後、それらを結合して短編小説を完成させるように指示した。
人間とLLMの協働では、任意の人間が執筆した小説についてGPT-4oが要約を作成後、その要約にもとづいてGPT-4oが短編小説を出力するように指示した。
LLM生成小説については、7つの小説ジャンル（ファンタジー、SF、ミステリー、武術、ロマンス、成長物語、リアリズム）の作品を生成した。
以上のような2言語、5つの作者タイプ、7つの小説ジャンルから構成されたデータセットには、合計500作品が収録された。

以上の小説データセットの評価には、英語と中国語に精通した北京大学文学部所属の8名の学生が参加しました。評価項目は、以下のように小説の構造に即して、3つのレベルを設けました。

マクロレベル：小説の全体構造に関わる評価項目。物語の複雑性（Narrative）、創造性（Creativity）、感情的共鳴（Emotional）に細分化される。
メゾレベル：プロットや登場人物といった小説の中核的要素に関わる評価項目。プロット構造（Plot）、登場人物の成長（Character）、設定描写（Setting）に細分化される。
ミクロレベル：文法や文章の技巧に関する評価項目。文法性（Grammaticality）、流暢性（Fluency）、（語彙の）多様性（Diversity）に細分化される。

以上の9項目と総合評価（Overall Quality）の合計10項目について、人間評価者は500の小説に関して5段階評価しました。

LLMは人間受賞作品に大きく劣り、ジャンルごとに出来栄えが異なる

以上の小説評価の結果は、以下の表のようにまとめられます。なお、表中の「Authentic」は作者が人間の小説を意味し、さらに「Award」は文学賞受賞作、「Web」はウェブ小説であり、「Synthetic」はLLM生成小説、「Collaborative」は人間とLLMの協働を意味します。

以上の評価結果と人間評価者による文体の分析により、以下のような所見が得られました。

小説の優劣は、人間執筆文学賞受賞作品、人間執筆ウェブ小説、人間とLLMの協働、GPT-4o生成小説、GLM-4生成小説の順に優れていた。
LLM生成小説は、均質にポジティブなトーン、断片的な物語構成、AI特有の小見出し、を特徴としていた。
LLM生成小説は、ミクロレベルの文法的正確性と流暢性において人間に匹敵するが、（語彙の）多様性で大きく劣っていた。
LLM生成小説は、反復的な叙述が多かった。
人間とLLMの協働がLLMのみより優れていることから、LLMの性能が向上すれば、協働執筆が人間執筆に迫る可能性が示唆される。

LLM生成小説に関しては7つの小説ジャンルごとに出力し、それらを評価しました。ジャンルごとに小説の出来栄えを比較したのが、以下のレーダーチャートになります。

以上のグラフを見ればわかるように、LLM生成小説はジャンルごとで出来栄えに差がありました。具体的には、SFとファンタジーは相対的に評価が高い一方で、成長物語はほかのジャンルにくらべて劣っていました。

本稿で紹介したLLM生成脚本や小説の事例からわかることは、LLMによるクリエイティブライティングに関しては、使用するLLMによって得手不得手や優劣があり、万能でもなければ人間より優れているわけでもない、ということです。こうした結果により、クリエイティブライティングにおいてLLMはまだ進化の余地が大いにある、とも言えます。

クリエイティブライティングにおけるLLMの進化を実現するためには、このジャンルにおける標準的なベンチマークや評価フレームワークを確立・共有して、それらを用いてLLMの性能を測り続けることが求められるでしょう。

Writer：吉本幸記、Photo by James Bold