CGへの扉 Vol.7：AIによる差別やバイアスを避ける取り組み“PAIR”

Google PAIR の登場

PAIRとは People + AI Research の頭文字をとったもので、人とAIの関係性を考えて研究するためのプロジェクトです。Google が中心となって推進し、2017年7月に発表されて以来、現在も続いています。

Google PAIR
https://ai.google/research/teams/brain/pair

People + AI Guidebook
https://pair.withgoogle.com/

Google Design PAIR
https://design.google/library/ai/

PAIRでは”Making people + AI partnerships productive, enjoyable, and fair.”（人とAIの関係を実りある、楽しい、公平なものに）という目標を掲げ、AIに関係するエンジニア、デザイナー、研究者を集め基本理念の策定や、支援ツールや論文、ブログの公開、調査、イベントの開催など、さまざまな活動が進められています。

「Google と AI : 私たちの基本理念」で述べられているのは下記の７点、

• 社会にとって有益である
• 不公平なバイアスの発生、助長を防ぐ
• 安全性確保を念頭においた開発と試験
• 人々への説明責任
• プライバシー・デザイン原則の適用
• 科学的卓越性の探求
• これらの基本理念に沿った利用への技術提供

現在は機械学習の社会への浸透、社会的規定や法律などの整備も途上で、まだまだこれからといった感があります。けれども最先端の機械学習を活用する人々が意識的に上記1〜7の事柄に気を配っていかないと、これからの機械学習の社会への浸透が歪みのある偏ったものになってしまうことが懸念されます。そういった背景から生まれたPAIRでは、さまざまな考慮、検討、デザイン、規約作り、ツール作りが進められています。

PAIRが述べるような配慮は、まだまだ先のことであり、自分には関係ないと考える人もいるかもしれません。しかし、少しでも機械学習を活用しようとしたり、機械学習を活用した何かを作ろうとしたとき、元となるデータに意図せずバイアスがかかっており、的確で正確ではない素材データであることに気づかなかったらどうなるでしょう？ 出てきた結果が不可解で、説明を求められたときにうやむやになってしまったら、その後の進展はどうなるでしょう？

良くないバイアスや公正ではない見方、説明責任が果たせないといった事柄は必ずしも「悪意」をもって実行する場合だけではありません。無知であるために「意図せず」思いもしないところで困ったり、配慮が少なかったり、知識や経験が無いために課題や壁に遮られ、先に進めなくなるのです。

そういった PAIRの活動をふまえ、4回目となる機械学習に関するイベントML Summit Tokyo #04 が 2019年9月に行われました。イベントでは Google の Responsible AI Developer Advocate の Andrew Zaldivar 氏より「社会的責任とAI：実践する上での課題と学び」Emerging Tech Design Advocate の Di Dang 氏より「人間中心設計な機械学習プロダクトの作り方」という話がありました。そこから、ポイントをかいつまんでお伝えします。
（※Advocateとは、外部の開発者やデザイナーを支援する職種の人）

1. Google Developers ML Summit Tokyo : Human-Centered Machine Learning

無用の誤認識、バイアスを避けるためには

「社会的責任とAI：実践する上での課題と学び」という発表の中で Andrew Zaldivar 氏は、AIがさまざまな分野で活躍し始め、データによって駆動する各種アルゴリズムが人間の生活に倫理的な課題と影響をもたらしていることを示唆しました。「AIのアルゴリズムやデータセットが何らかの不公平なバイアスを作り出したり強化しないようにする」ことをとても大切な原則として考えているそうです。

そもそも何が公平で何が不公平かという考えそのものも文化的背景に依存し、複雑な配慮が必要です。多くの人がバイアス（偏った考え方）の影響を受けないようにするのはもちろん大切で、人種や、民族、性別、国籍、能力や、宗教、政治的な信念などで不公平な扱いや、不公平な判断がされないよう配慮が必要であることを述べています。

事例１：The Shirley Card

The Shirley Card と呼ばれるKODAKのポートレート写真の色補正用の指標。1940年代から1990年代まで使われていたアナログ写真（フィルム写真）で肌の色を綺麗に見せるための色補正用の指標 Shirley Card では、意図せず特定の肌の色にしか対応することができませんでした。Shirley Cardを開発したKODAKはアメリカ企業で、特定の人種や肌の色の人を差別しようという意図はまったくありませんでした。適切な設計プロセスや適切なテスト条件に配慮しきれなかったためにこういう結果を招いてしまったのです。

事例２：’A white mask worked better’

肌の色への配慮に関する課題は、AIの顔認識でも同じことが言えます。MIT Media Lab の Joy Buolamwini 氏は、この課題をアート作品としてロンドンにある博物館に常設展示しています。アフリカ系アメリカ人である Joy Buolamwini 氏は、顔認識アルゴリズムが自分の顔をうまく認識できないことをきっかけにこの研究を始めました。うまくいかない原因は意図したものではありませんでしたが、顔認識の元となる学習データが入手しやすい顔データに偏っていたからです。

そこで Joy Buolamwini 氏は世界中のあらゆる国と人種の政治家の写真をデータセットとして活用しました。その結果偏りの無い、バイアスのないデータセットが用意でき、顔認識の精度もあがりました（政治家はさまざまなメディアにはっきりと映った顔写真を撮られ、画像や肖像権などの扱いも政治家の場合比較的容易だといった理由もあるようです）。

【参考1】‘A white mask worked better’: why algorithms are not colour blind（インタビュー記事）

【参考2】ジョイ・ブォロムウィニ: アルゴリズムに潜む偏見との戦い | TED Talk

事例３：日用品の誤認識

Does object recognition work for everyone? A new method to assess bias in CV systems　
論文：Does Object Recognition Work for Everyone

日常的な対象物を画像認識で判断する場合でもさまざまな課題があります。よくある画像認識で、そこに映っているオブジェクトが何かを認識する事例でも課題が生じます。ここで示されているのは、その国の生活や文化を知らないために、間違った画像認識をしてしまう事例です。

欧米人が身の回りにある画像を機械学習の素材データとして使った場合、例えばネパールの洗面所のように彼らがよく知らない環境に置かれた石鹸、歯磨き粉の使われ方、その場所の様子を知らず、適切な素材画像データを使えなかったために、この場合、石鹸が食べ物だと誤認識されてしまうのです。

こういった課題は意図的に差別をするのとはまったく別の問題です。このように意図しない機械学習の誤用がなぜ存在するのかというと、下記のような要因が考えられます。

1. データセットに知識やインサイト（気づき・知見）が欠けている
2. 十分にレビュー、検討ができていない、考慮が足りない
3. 既存の研究結果が現実に追いついていない

人間には非常に多くのバリエーションがあり、それぞれ感じ方も異なります。特定の国内ではなく世界中で使われる人工知能・機械学習システムでは、ありとあらゆる事象を考慮しなければいけないと Andrew Zaldivar 氏は述べています。

PAIRの根底にある考え

「人間中心設計な機械学習プロダクトの作り方」という発表の中で Di Dang 氏は、マシンラーニングを活用したプロダクトには独自の考慮が必要で、従来のテクノロジーの活用とは異なるAI独自の設計、デザインが必要であることを述べました。

PAIRとしての基本的考えは、「テクノロジーが人間をコントロールするのではなく、人間がテクノロジーをコントロールしていると思えるように」ということです。人工知能は何でもできると考えられがちですが、実際のところ機械学習の学習データを選んでいるのも人間ですし、機械学習の結果を評価しているのも人間です。

People + AI Guidebook は 100名以上の協力者のもと、「どうしたら良いのか？」という数々の学びを凝縮したドキュメントで、現在も改訂、進化の途中にあるという。その中でもとくに重要なものとして以下の4つが説明されました。

1. どうやってAIはプロダクトに独自の付加価値を与えることができるのか？
2. 適切なデータ収集と適切な評価
3. 適切なメンタルモデルの構築（適切な期待値を設定し、それに応える）
4. 適切な暗示的なフィードバックと明示的なフィードバック、コントロール（操作感）
   
   

その他にも今回は時間の関係で説明が省かれた２項目も重要な要素です。

1. Explainability + Trust（説明責任と信頼）
2. Errors + Graceful Failure（エラーと適切な失敗）

これらの条件に自身のプロダクトが合致しているかどうかチェックする手段としてPAIRでは “Data Collection + Evaluation Chapter worksheet” という9ページの便利なワークシート、チェックリストを公開しています。

1. Data Collection + Evaluation Chapter worksheet
   
   

People + AI Guidebook は最新の話題を取り入れ、進化し続けるガイドラインとして位置付けられており、何がうまくいくのか、何がうまくいかないのか、皆さんからのフィードバックを得ながら進化させていきたいと Di Dang 氏は述べています。

PAIRをふまえた、今後の人とAIの展開

PAIRが推し進める考えや基本的理念、思想は、現時点で考えが固定されたものでも完成したものでもありません。人工知能、機械学習の技術が進歩するに従って、規定や考え方も少しずつ変化していくことでしょう。ここで間違いなく言えるのは人間と人工知能の関係性がますます重要に、かつ親密なものになってくるということです。

社会に散らばる人々を見ると分かるように、その数が多くなれば良い人も悪い人も出てきます。また、考えが伝わる人と、伝わりにくい人、説明しなくても伝わる人、細々と説明してもなかなか伝わらない人、信頼できる人、信頼できなくてもビジネスが成り立つ人もいます。このように、さまざまな人と出会い、共存していくのが一般的な社会です。異国の人と人とがお互いの言葉や、身振り手振りで想いを伝えるように、人間と人工知能も今はまだお互いの想いを必死で伝えようとしてるのかもしれません。そういった進化の途中にある人と人工知能との関係性に、進むべき正しい道筋を作り始めているのがPAIRの活動なのです。

本連載の今後の予定：今回はCGとは少し離れた話題になりました。「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。なにか取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉：

Vol.1：CG/VFXにおける人工知能の可能性と、その限界

Vol.2：なめらかなキャラクタアニメーションと、ディープラーニングの役目

Vol.3：CGとAIの蜜月が今まで不可能だった映像を生みだす

Vol.4：CG/VFX制作に欠かせなくなったマシーンラーニングの勘所

Vol.5：SIGGRAPH 2019に見るCG研究と機械学習

Vol.6：Facebookが取り組むVRとAIのアプローチ

Contributor：安藤幸央