ゲームAI開発者が差別について考えるべき理由

2020.1.31ゲーム

AIの社会実装が進むにつれて表面化してきた課題のひとつが、アルゴリズムによるバイアスです。ゲームAIに限らず、昨今はAIが特定のジェンダーや人種などに対するバイアスを助長する可能性を示す研究が次々と発表されています。2019年にMITの情報工学者ジョイ・バオラムウィーニ氏が発表した研究によれば、マイクロソフトやフェイスブックなど巨大テック企業が開発したAIには性別や人種に対するバイアスが存在することを明らかにしました。彼女はこのようなバイアスに基づく画像認識システムが刑事司法に適用された場合のリスクに対して警鐘を鳴らしています。

AIがバイアスを持つ原因はさまざまですが、ひとつには機械学習に活用されるデータの多くがオンライン、さらに言えば社会の中でマジョリティである白人男性によって作られてきたものであることが挙げられます。例えばウィキメディア財団と国連大学の調査によればWikipediaを編集する人の84〜91％が男性だということが明らかになりました。そして、少なくとも今の時点ではゲーム開発者やAI開発者の多くが男性です。

最初に明記しておきますが、これはマジョリティによるマイノリティへの差別を告発するための議論ではありません。私もこれを読んでいる皆さんも、あらゆる人間は多かれ少なかれ、さまざまなバイアスを持っています。たとえバイアスの存在や有害性を頭では理解していても、何かを判断する際に人はそのバイアスから完全に逃れることはできないのです。

とはいえ、AIを開発するプロセスにおいて、バイアスを放置することはさまざまなリスクの原因になります。小さなバイアスの芽は機械学習によって驚くほどの速度で強固なバイアスへと育ち、データや表現、意思決定などに影響を及ぼします。バイアスはAIによるレコメンドとユーザーによる意思決定のサイクルで、たとえそれが間違ったものであっても自明のこととして人々の意識へと入り込み、定着していきます。

この課題に対し、2017年からグーグルを中心に公平なAIのあり方について研究するプロジェクト「PAIR」が発足し、調査や支援ツールなどの開発を進めています。

ゲーム業界でもAIの活用に伴う倫理的な課題についての議論の萌芽が見えるようになりました。本稿では2019年3月にサンフランシスコで行われたGDC 2019のゲームAIサミットで行われたセッション「Ethics in Artificial Intelligence（AIにおける倫理）」の内容をご紹介します。

ビッグデータの活用に伴う責任

冒頭ではモデレーターのアレシア・レイダッカー氏が自己紹介とセッションの開催意図を説明しました。彼女はユービーアイソフトで『アサシンクリード』シリーズのリードAI開発者としてキャリアを積んだ後、現在はMagic LeapでインタラクションディレクターとしてXRの開発に携わっています。

筆者が別の日に参加した別のセッション「Ethics in the Game Industry（ゲーム産業における倫理）」（動画）は広い会場が大勢の聴講者で埋まり、ルートボックスによる過剰課金やダークパターンによるユーザーの誘導、暴力的表現の規制などの問題について講演されました。会場からの質疑も活発に行われ、ゲーム産業において倫理に関わる問題に取り組むことは、もはやリスクマネージメントとして必須であるという認識が自明のこととして共有されている様子がうかがえました。

それにもかかわらず、“ゲームAI”と倫理に関わる議論となると、2019年の時点でもゲーム業界内で十分な議論の場がされてきませんでした。「だからこそ、今この議論をする必要があります」とレイダッカー氏は語ります。2000年代、ソーシャルメディアプラットフォームが構築の段階にあった頃は倫理やプライバシーに関する懸念は議論に上がらず、機械学習が導入された際にも倫理的な考慮は行われませんでした。

その結果、システムにプログラムされたバイアスが前述のようなさまざまな問題を引き起こしています。ビッグデータを機械学習で活用する際には大きな責任が伴います。それはゲームにおいても同様ですし、ゲーム業界でAIが多岐にわたって活用され始めている今、この課題に向き合うことはなおさら重要です。

次にパネラーの紹介へと移りました。エミリー・ショート氏はSpirit A.Iの最高製品責任者です。Spiritはゲーム用のミドルウェアの会社で、NPCとの対話を行い、マクロ言語入力やプレーヤーからのさまざまな入力に応答させる「Character Engine」と呼ばれる製品を開発しています。同社では、その他にもゲーム内のコミュニティで行われている有害な行動を調べ、コミュニティ管理者がダッシュボードで問題を引き起こしている人やモデレートを検討すべき懸念事項を確認するためのツール「Ally」も提供しています。

特に、Allyの開発と運用を通して、AIを活用したコミュニティ運用ツールに関する多くの課題が明らかになったといいます。例えば次のようなものです。

問題行動を検知するために、どのようにして機械学習をさせるのか？
どのデータを使用し、どのようにタグ付けするのか？
攻撃的な言動や人種差別的な言動、適切な言動の線引きは何を指標に決定するのか？
システムを利用しているクライアントとプレイヤーのプライバシーをどのように保護すればいいのか？

セリア・ホデント氏は発達心理学で博士号を取得しました。ゲーム業界でのキャリアはユービーアイソフトから始まり、ルーカスアーツで『Star Wars: 1313』（2015年に開発中止）の開発に携わった後、Epic Gamesで『Paragon』（2016年）『フォートナイト』（2017年）などのユーザーエクスペリエンスディレクターを務めました。さまざまなゲームプラットフォームでUXと心理学をゲームデザインに応用してゲーム開発におけるUX戦略を構築した第一人者として、現在はフリーのコンサルタントとして活動しています。彼女の著書は『ゲーマーズブレイン -UXと神経科学におけるゲームデザインの原則-』（2019年、ボーンデジタル）というタイトルで邦訳も出ています。

ティモニ・ウェスト氏はUnityLabsで拡張現実およびVR研究のディレクターを務めています。もとはソーシャルメディアなどの製品設計に携わってきた彼女は、ユーザーからの取得した個人情報などのデータを活用し、理にかなった方法でユーザーにフィードバックする方法を模索してきました。だからこそ彼女はゲームをふくむプラットフォーマーやコンテンツメーカーは、倫理的な事柄について慎重に考慮する必要があると考えているのだと語りました。

ルーク・ディッケン氏はデータドリブンな運営で知られるZingaのディレクターです。「自分たちがいるのはゲーム会社ではなく、ゲームスタジオを装った分析会社だ」と言う彼は、この座組の中では最もデータ収集に積極的に携わる立場として参加しました。

キャラクターAIに宿されたさまざまなバイアス

最初に議論の対象になったのはNPCを制御するアルゴリズムが、どのようなバイアスに基づいて設計されているかということでした。ホデント氏によれば、現在のヨーロッパのゲームでは、キャラクターAIで制御されている女性キャラクターのNPCの多くは暴力の被害者や、プレイヤーが遭遇するトラブルに受動的に巻き込まれる立場として設計されているとのこと。ディッケン氏はSFコロニーシム『RimWorld』（2018年、Ludeon Studios）に登場するNPCの行動の一部に、女性へのジェンダーバイアスが見られることを指摘しました。NPCの行動を設計する際、ジェンダーなどそのキャラクターの属性に対するステレオタイプが無自覚に表現されてしまう事例は多く見られると彼は言います。

レイダッカー氏はゲーマーコミュニティからの要求でゲーム内のNPCのAIがアップデートされた事例を紹介しました。あるタイトルで男女のキャラクターが、それぞれのジェンダーに応じた振る舞いをするようにプログラムした状態でリリースした結果、オンラインで炎上が起きてしまいました。最終的にはゲーマーコミュニティがredditで、AIプログラマーに対してバイアスにあたるアルゴリズムを削除するよう要求しました。そのプログラマーはそれに応じたものの、それはあくまでもコミュニティの要請に応じての結果でした。

それでは最初からそのようなバイアスをキャラクターAIに設定しないため、開発者はどのような注意を払うことができるでしょうか？

ショート氏が提案するアプローチは、ある属性の人たち（ジェンダーや人種、民族など）がデリケートに反応しそうなコンテンツやシステムを、そのグループの人たちに見せてフィードバックをもらいながら開発を進めるというものです。そうすることで、その表現がゲーム内の物語の文脈の中でどのように位置づけられ、同時にその属性の人々にとって何を意味するのかを正確に理解することができます。

例えば人種差別的なキャラクターをゲーム内に登場させること自体が悪いこととは言い切れませんが、それをどのように表現し展開するかに注意する必要はあるとショート氏は言います。特に物語性の強いタイトルの開発において、このアプローチは有用であり、体系的な表現にも取り入れることが可能です。

誰もが偏見を持っている

ホデント氏のアプローチは、よりUXデザイン寄りです。彼女は、バイアスは無意識下にあるものであるがゆえに、たとえバイアスの存在を知って注意していたとしても、人がバイアスから逃れるのは難しいことを指摘します。だからこそ、バイアスを回避する環境を設計する必要があるのです。

あるオーケストラは女性の団員が極端に少ないという課題を抱えていました。ジェンダーバイアスによる採用差別がある可能性を考えた彼らはブラインドオーディションを開催しました。審査員席と受験者の間はカーテンで視界が遮られ、女性のハイヒールの靴音が聞こえないように床にはカーペットが敷かれました。そのような環境でオーディションを実施したところ、オーケストラの女性団員は30〜50％増えたのです。

これは3つの重要なことを示唆しています。誰もが多かれ少なかれ偏見を持っていること、無意識下にあるバイアスの撤廃は非常に難しいということ、そして意思ではなく環境を変えるアプローチが有効であるということです。その環境を効果的に設計するためには、まず自分自身の中にあるバイアスの存在を認め、それがどのように機能して永続するのかを理解する必要があります。

AIや他のシステムでも同様です。バイアスの存在を考慮しなければ、あらゆる差別を永続化することにつながり、時間の経過とともにAIは有害なものへと育っていきかねません。

それを明確に示す事例がグーグル翻訳です。トルコ語には性別を表す三人称がないため「彼女は医者です」も「彼は医者です」も同じ言葉で表現されます。ところが、トルコ語からそのフレーズを取りグーグル翻訳に入れて英語に翻訳すると「He is a doctor（彼は医者です）」と訳されます。また、トルコ語で「彼または彼女は看護師です」と言うフレーズを取り、それをグーグル翻訳に入れると「She is a nurse（彼女は看護師です）」と英訳されます。

実社会に存在するバイアスを反映させたアルゴリズムは差別を永続させるので、今の時点でそのことを考慮する必要があります。何よりも、今の時点で公平なアルゴリズムに修正する方法を見つける必要があります。それを実行するためにはデータセットを再調査して修正を行う根拠となる倫理的フレームワークが必要です。

AIエンジニアもふくめ、ゲーム開発に携わる人はゲームを通してユーザーたちに何を見せているかを理解する必要があります。そして、ゲームという文化をどのように方向付けたいのかを主体的に考えるべきホデント氏は強調します。「というのも、女性や有色人種など特定の人々を差別することができるのと同じように、私たちは世界のより良い部分を強化することもできるはずだからです」。

バイアスを乗り越えるためにできること

セッションの最後は、これらの課題が良い方向に向かうためにできるいくつかのことが参加者に向けて提案されました。

ホデント氏は、心理学を学び、私たちが人々にどのような影響を与えているかを理解することを推奨しました。私たちは皆、他の人々に影響を与え、同時に環境に私たちに影響を与えます。どうすれば私たちはビジネスを成功させつつ人々を幸せにできるかを心理学的なアプローチから理解する必要があります。注意しなければならない点として、バイアスについて理解することは「これってあの人のやっていることだよね」と誰かを批判する手段を得ることではないということです。「私たちは皆何かしらの偏見を持っています。それらを理解することで、問題を前向きに解決できるようにすること。何よりも、平和でなければなりませんから」と彼女は結びました。

ショート氏のアプローチはより人文学的でした。彼女は、AIのような機械・システムは私たちのバイアスを学習して誇張して出力する傾向があること、それが私たちを居心地悪くさせるため、データのバランスに注意を払う必要があることを指摘しつつ、AIの持つ課題に取り組むプロセスによって、私たちを取り巻く他のシステムについて考えるきっかけにもなることを示唆しました。

AIをきっかけに実社会のあり方を省察するプロセスを経ることで、私たちの能力はさらに大きな可能性を持つことになります。そして、ゲームとシミュレーション空間に再び戻って世界の断片のモデルを構築し、それが潜在的に本当に良いものであるかを考えます。そうすることで、また現実の世界をより公正な方向に進めることができると思います。その行き来にこそ意味があります。

ウェスト氏は、移り変わりの激しい現代社会の中で、より明確かつ正確に考え始める方法を探すように促しました。「その助けとなる多くのオンラインコミュニティがありますが、私はシェーン・パリッシュの『Farnam Street』を強くお勧めします」。

Editor：高橋ミレイ