AIプログラマーの実現に近づいたDeepMindのAlphaCode。新たなリスクも増大か？

2022.2.17先端技術

コード生成AIの研究は、言語AI開発のサブドメインのひとつとして近年熱心に取り組まれています。そうした研究の成果でとくに有名なのが、OpenAI CodexやGitHub Copilotです。このほどコード生成AIの事例として、DeepMindが開発したAlpahaCodeが新たに加わりました。本稿ではAlphaCodeの性能と仕組みを紹介したうえで、同AIの開発がはらむ潜在的なリスクも明らかにします。

Codeforcesで上位54%にランクイン

DeepMindは2022年2月2日、コード生成AI「AlphaCode」に関するブログ記事を公開しました。同AIはGPT-3をコード生成用に訓練したOpenAI CodexのようにTransformerをベースにしており、特殊な用途に特化した言語AIの一種と言えます。

AlphaCodeが従来のコード生成AIと異なるのは、自然言語で書かれた問題文を解釈したうえで出題された課題を解決するコードを生成できるところです。OpenAI CodexやGitHub Copilotはプログラマーがコーディング時に書くようなコメントに対応したコード生成するのに対して、AlphaCodeはより抽象的な課題に対応できるのです。

AlphaCodeのコード生成性能を調べるために、DeepMindは競技プログラミングを運営するCodeforcesの協力を得て、実際に競技プログラミングで出題される問題を同AIに挑戦させました。その結果、上位54%にランキングされました。人間のトッププログラマーには程遠いものも、平均的な競技プログラマー程度の能力を証明できたと言えます。

ちなみに、Codeforcesはテック系企業が採用試験時にコーディング能力を評価するツールとして採用するような定評のあるものです。今回AlphaCodeが挑戦した問題は、過去問や既存のアルゴリズムを引用しただけでは解決できないものを選りすぐりました。例えば、「ababa」というアルファベットの文字列をキーボードで入力することを想定して、その入力過程で誤ってBackspaceキーを押下してしまう可能性があるとします。任意の文字入力時にBackspaceキーを押すと、文字列が短くなりアルファベットの並びも変わってしまいます。こうした前提をふまえて、「ba」は「ababa」の入力から出力される可能性があるか「YES」か「NO」で判定できるアルゴリズムを考案せよ、という問題が出題されました（出題の詳細は以下の画像を参照）。

数千の解決候補から正解を抽出

テック系メディアTechTalksは2月7日、AlphaCodeに関する特集記事を公開しました。その記事では、同AIのコード生成処理が解説されています。

AlphaCodeは、2段階にわたってコード生成に関する訓練を行いました。1段階目は、GitHubから抽出した715ギガバイトのコードを学習データとして訓練しました。この訓練は、マスクされたコードの一部を予測する精度を上げるように行われました。一般にTransformerベースの言語AIは、マスクされたデータの予測を通して学習データとして与えられた言語の文法や語彙を学びます。

2段階目は、競技プログラミングを遂行するための訓練です。具体的には、DeepMindの研究チームが整備した「CodeContests」と呼ばれるデータセットを用いて、教師あり学習が行われました。このデータセットにはCodeforcesで出題された問題文とその解答コード、各種競技プログラミングの過去問を集めたDescription2Code、そしてIBMが2021年5月に発表したCodeNetがふくまれています。CodeContestsによる学習によって、AlphaCodeは競技プログラミングに対応できるようになったのです。

以上のように訓練されたAlphaCodeは1つの問題文に対して数百万個のサンプルコードを生成できるのですが、通常は数千個を生成します。このサンプルコードは、問題文から生成したテスト項目の合否を通して絞り込まれます。この絞り込みの過程で99%のサンプルコードが正解候補から除外された後、最終的な正解コードが選ばれます。

正解コードの絞り込みには、クラスタリングアルゴリズムも活用されています。このアルゴリズムによって、数千ものサンプルコードが似たようなものにグループ分けされます。その結果、少数から構成された正解候補コードも見落とされなくなります。

「自己増強型AI」が誕生するリスク

TechTalksの記事では、AlphaCodeに対する専門家のコメントも紹介しています。例えば、ニューヨーク市立大学コンピュータサイエンス学部のErnest Davis教授は、同コードは問題文が複雑になると、飛躍的に計算量が増えてしまうと自身のFacebookに投稿しています。具体的には、コンピュータサイエンス学科2年生が書くような200行のプログラムを作るためには、10の60乗個のサンプルコードが必要になるかも知れない、と指摘しています。

AlphaCodeが抱えるリスクについては、DeepMind自身も同AIを論じた論文で考察しています。同論文によると、AlphaCodeは言語AIの一種である以上、学習データとして使ったコードにふくまれるバイアスに影響を受けてしまいます。コード生成AIの場合、バイアスの影響によってバグが混入したり、サポート外になっているような古いAPIを利用してしまったりする問題が生じる可能性があります。

同論文は、コード生成AIがはらむ長期的リスクとしてこの種のAI開発が「自己増強型AI」の誕生につながる可能性も指摘しています。自己増強型AIとは、それ自体コードの集積体であるAIが自分自身を改良するようにコードを上書きするものを意味します。こうしたAIが誕生してしまうと開発当初は人間の管理下にあっても、自己改良の末に人間が想定していない動作を始めて管理不能に陥るリスクがあります。

前述したようにAlphaCodeはまだトップ人間プログラマーにまったく及びません。しかし、近年の言語AIの急速な進化を鑑みれば、遠からず平均的な人間プログラマーの能力を凌駕すると予想されます。コード生成AI研究における当面の目標は「プログラミングにおける人間とAIの生産的なコラボの実現」ではありますが、同時に自己増強型AIの管理方法についても考察して準備する必要があるでしょう。

参考論文：Competition-Level Code Generation with AlphaCode

Writer：吉本幸記、Photo by Joan Gamell on Unsplash