【GDC 2022】オンラインコミュニティの健全な運営にAIはいかに貢献できるか

ゲームプレイヤーやサービスユーザーの振る舞いによって形成されるオンラインコミュニティの健全性は、デジタルシフトやメタバースの浸透によってこれまで以上に重要視されています。誹謗中傷や嫌がらせによるコミュニティの有害化はサービス事業者の社会的評価を貶めるだけでなく、結果的には利用者数や収益の減少にもつながります。場合によっては犯罪や差別の温床ともなり得ることから、健全な運営を法的に義務付ける動きもあります。

3月21日から3月25日までサンフランシスコで開催された「Game Developers Conference」（GDC 2022）にて、Spectrum LabsのKatie Zigelman氏による「Using AI for Trust & Safety（AI技術による信頼と安全について）」というセッションを取材しました。

このセッションでは、オンラインゲームやソーシャルメディアのようなオンラインプラットフォームの運営に欠かせない要素である「Trust & Safety」を追求する上で、機械学習を用いたAIモデルを有効活用するための指針が紹介されました。多くのテック企業がAIモデルを使ったモデレーションを試行錯誤するなか、その精度や有効性については賛否あるのが現状です。コミュニティの管理をAIに丸投げするのではなく、円滑なモデレーションの一助としてAIを利用するために必要なことを確認する内容です。

なぜ「Trust & Safety」は重要なのか

「Trust & Safety（信頼と安全）」とは、ユーザーにコミュニティガイドラインに則った行動を促すことにより、利用者が不快感や不利益を被る可能性を減らすことを目的としたオンラインプラットフォームにおける運営理念のひとつです。

コミュニティに誹謗中傷や嫌がらせ行為が蔓延した所謂“有害な”（Toxic）状態を放置することは、サービスに対する社会的な評価を貶めるだけでなく、ユーザーがサービスの利用をやめる大きな原因にもなり得ます。

Zigelman氏によると、ゲーム業界において2番目に多いプレイヤー減少の要因が、コミュニティの有害化だといいます。また、近年オーストラリアやイギリスをはじめ、オンラインプラットフォームにおける「Trust & Safety」の管理を法的に義務付ける動きも加速しています。

「Trust & Safety」の目的は、ユーザーが安心できる包括的なコミュニティを維持することです。そのためには、悪意のあるユーザーによる不適切な言動や行動を正確に特定して迅速に対応できるモデレーション環境の構築が必要です。こうした規範の中でユーザーに適切な振る舞いを促すことで、新規ユーザーが参入しやすいコミュニティが形成されていきます。結果として、エンゲージメントの維持が収益の増加につながるというわけです。

なぜモデレーションにAIが有効なのか

モデレーションのプロセスは、大きく分けて「防止」「特定」「対応」の3つです。まず、「防止」の段階では運営者があらかじめ行動規範や年齢制限を定めたり、二段階認証のような情報セキュリティ策を講じたりすることで、コミュニティを形成するユーザーをある程度コントロールします。

つぎに「特定」で、ユーザーによる違反行為を通報する仕組みやタブーとみなされるキーワードを設定します。それらをもとにモデレーターはチャットのフィルタリングやユーザーに対する警告、違反者に対する利用停止処分（BAN）を実行します。これらのなかでAI技術の活用が期待されているのが、コミュニティの拡大とともに困難になる「特定」です。

コミュニティが成長するにつれて、やがてモデレーションのスケールは人間の手には負えなくなります。ユーザーが違反行為を通報してからモデレーターが何らかのアクションを取るまでには、通報内容の真偽や対応方法を審議しなければいけません。また、ひとえに違反行為といっても、その内容や度合いによって適切な対処方法は異なります。

くわえて、通報内容によっては規約違反とみなすべきかどうかが曖昧なケースも多く、通報対象の発言や行為だけでなくユーザーの行動履歴や利用目的といったバックグラウンドも調査する必要があります。ヘイトスピーチの拡散のような場合、些細な問題の放置がやがて過激思想や差別の浸透へつながりかねません。

近年、こうしたユーザーごとの行動傾向や通報内容と対応方法の関係をAIモデルに学習させることで、特定の精度を向上するとともに対応までに要する時間を大幅に短縮しようとする試みが増えています。

AIモデルによる判定をどう扱うべきか

オンラインプラットフォームにおけるユーザーの通報内容は、最大で95%が誤報として処理されています。特にオンラインゲームでは対戦相手の不正を疑った勘違いによる通報や、嫌がらせを目的とした虚偽の通報も少なくありません。特定のユーザーを集団で虚偽通報することであたかもターゲットが不正ユーザーであるように見せかける悪質なケースもあります。AIツールによるモデレーションが実用的と認められるためには、こうした通報システムの悪用の可能性も考慮に入れなければいけません。

こうした事情もあってか、会場でセッションを聴講していたDiscordのモデレーション担当者からは、コミュニティを管理する上でシステムの基盤としてAI技術を採用する流れは非常に危険であるとの否定的な意見が寄せられました。この担当者によると、Facebookで動画コンテンツのモデレーションに使われているAIモデルの精度はわずか2%であり、現在の技術力ではモデレーションはあくまで人間によって管理されるべきであるということです。

AIモデルによるモデレーションの精度と意義は、メタバースのような新時代のオンラインプラットフォームの普及を考える上でも活発な議論が欠かせません。Zigelman氏はAIの判定に基づいたモデレーションについて、それぞれの通報に対する単一のシグナルにアクションを起こすのではなく、対象となるユーザーの発言や行動を多角的に評価した複数のシグナルから総合的に判断して対処方法を決定することを提言しています。

単一のシグナルをもとに判断する場合でも、AIモデルの判定に確度を設定することで対処方法に分岐を設け、結果的にモデレーションの精度を維持することは可能です。たとえば、AIモデルが高確度で判定した場合は対応を自動化し、中確度では同じ判定が繰り返された場合のみ自動化、低確度の判定は人間のモデレーターによるレビューへ送るという具合です。

いずれにせよ、AIツールの精度はモデルの学習に使われるデータに大きく依存しています。信頼できるソースから収集した学習データか、それらの学習データは適切にラベル付けされているか、AIモデルの形成に足る十分なサンプルが含まれているか、AIモデルのパフォーマンスを計測できるだけのデータ量はあるかどうかが重要です。

何より、利用規定に抵触する発言や投稿を削除したり、違反したプレイヤーを排除したりすることが、必ずしも「Trust & Safety」の改善につながるとは限りません。AIモデルの誤った運用や過剰なモデレーションがプレイヤーを抑圧することで、結果的にコミュニティが衰退してしまう可能性は十分に考えられます。AIモデルが発するシグナルをどう扱うかは、コミュニティを運営する人間の理念に完全に委ねられています。

Writer：Ritsuko Kawai / 河合律子