TED 「The era of blind faith in big data must end」
The era of blind faith in big data must end | Cathy O'Neil
==========================
★要約★
まず、「アルゴリズム」とは一体何なのか？
■アルゴリズムを作るため必要なものは次の２つです。
１．データ＝過去の出来事の記録
２．人が追い求める「成功」を定義する基準
⇒アルゴリズムに成功と関係する要素を理解させます。
■「アルゴリズムにはルールがある」
誰でもアルゴリズムを日々使っていて、例えば家族の食事を用意するときに、
「どんな食材があるか」「時間はどのくらいあるか」というデータをまとめて、
夕食になにを作るか、を決めています。
夕食作りでのあなたにとって”成功”が「子供が野菜を食べること」だとします。
では、仮に一番小さいお子さんに”成功”を何か？と聞いたとしたら、どうでしょう。
きっと「ピーナッツバタークリームを食べられれば成功！」と言うでしょう。
でも、基準はあなたが決めていて、夕食作りの責任者はあなたです。
これが、アルゴリズムのルールNo1です。
アルゴリズムとは、プログラムに埋め込まれた意見なのです。
■ビッグデータへ妄信することへの危険性
「付加価値モデル」というアルゴリズムで、教員が評価されてましたが、
実際には、アルゴリズムは”デタラメ”（デタラメはいいすぎかもですが。。。）だったにも関わらず、このアルゴリズムに基づいて、多くの教員が解雇されたのです。
アルゴリズムにも誤りはあるし、善意に基づいていても、破壊的な影響を及ぼすこともあるのです。
■アルゴリズムは公正なのか？
例えば、FOXニュースの就職試験において、どんな人物が将来成功するのか、どんな履歴書が成功に繋がるのか？をアルゴリズムを使って調べたとしましょう。
例えば、妥当な基準として、「４年以上在籍・１年毎に昇進した人」として、アルゴリズムに学習させます。これを、現在の就職希望者に当てはめたとしても、女性は選ばれないでしょう。
配慮なくアルゴリズムを適用しても物事は公平になりません。
アルゴリズムは、過去の習慣や行動パターンを自動的に維持するだけです。
■アルゴリズムの限界
誰にでもバイアスはあり、例えデータサイエンティストでもバイアスはあるので、
アルゴリズムに、性差別や偏見がコード化されている可能性もあるのです。
ーーー個人の犯罪傾向を予測した、「再犯アルゴリズム」の例。
※フロリダ州で量刑手続きに使われているもの。
黒人男性と、白人男性がいました。
黒人男性のスコアは10点/10点で、白人男性は3点/10点。
どちらも麻薬所持の罪で逮捕されましたが、白人男性は重罪の前科があり、
黒人男性にはなし。それでも、これだけスコアに差が出るのです。
スコアが高くなるほど、刑期が長くなります。
■ビッグデータ時代に私達がすべきこと
民間の企業が私的なアルゴリズムを私的な目的で作っています。
アルゴリズムは、私的な権利です。
この権威を振りかざして、企業は利益を得ています。
また、大前提として、私達は誰もがバイアスを持っています。
そのバイアスをアルゴリズムに注入しているのです。
私達は成功の基準を示威的に選んでいるのに、アルゴリズムに欠陥がないはずはありません。
だから私達には、公平性をチェックする義務があるのです。
■アルゴリズムをチェックする方法
①データ完全性チェック＝事実を直視する
②成功の基準を監査する
③正確さを吟味する＝アルゴリズムの誤りを検討する
④アルゴリズムの長期的影響、それによって生じるフィードバックループの影響を考慮する
■結論
For Data scientist
①データサイエンティストが真実を決めるべきではない。
社会に生じる倫理的な議論を解釈する存在であるべき。
For others
②アルゴリズムに対して説明を求めるべき。
ビッグデータに妄信する時代は終わり。
==========================
もはや至る所で聞く「ビッグデータ」という言葉。
「ビッグデータ」と聞くと、綿密な計算で弾き出された正確なデータであり、
疑う余地のない、ただどこか捉えどころのないもの、という印象がありました。
私達一般人には、明確なアルゴリズムは開示されていなくて、信用するしかないと
一方的に押し付けられ、鵜呑みにしてきたけれど、本当にそれで良いのでしょうか？
これから、ますますビッグデータやAIといった技術が発展していくのは間違いないですが、思考をとめたら終わり、そこにバイアスはないのか？示威的な基準が設けられていないのか？と常に考え続けないと、ただただ搾取されていく側になってしまうのかな、、、
