今年の3月25日、アップルは自社の新製品発表会で Apple Card を発表した。iPhone ユーザー向けの新しいクレジットカードで、Goldman Sachs および Mastercard と提携したものだ。 　普通のクレジットカードにあるカード番号や有効期限、セキュリティコードといったものは記載されていない。チタン製の優美な外観は、さすがアップルというものだ（参照：ITmedia Mobile）。 　8月にアメリカで一般提供が開始されたこのカードは、11月に炎上した。それは、Apple Card が性差別をおこなっているというものだった。 　嚆矢となったのは、実業家のデイヴィッド・ハインマイヤー・ハンソン氏のツイートだ。Apple Card で、自分に妻の20倍の利用限度額が設定されている、これは性差別だと発言した。

The @AppleCard is such a fucking sexist program. My wife and I filed joint tax returns, live in a community-property state, and have been married for a long time. Yet Apple’s black box algorithm thinks I deserve 20x the credit limit she does. No appeals work.

— DHH (@dhh) November 7, 2019

　その後、スティーヴ・ウォズニアック氏も、同じことが起きているとツイートした。

The same thing happened to us. I got 10x the credit limit. We have no separate bank or credit card accounts or any separate assets. Hard to get to a human for a correction though. It's big tech in 2019.

— Steve Wozniak (@stevewoz) November 10, 2019

　この件はニュースになって瞬く間に広がった。そしてネット上の炎上では終わらず、ニューヨーク州金融監督局が調査をおこなうことになった（参照：BBCニュース 、 WIRED.jp 、CNET Japan）。 　アップルはこの事態に対して、明快な説明をしなかった。Goldman Sachs は、利用限度額に関する決定において、性別が要素となっていることを否定した。しかし性別を直接参照しなくても、性別の代わりになる要素はいくらでもある。それらの情報を元に、結果的に差別が発生したのであれば、それは問題だ。 　AIやアルゴリズム、プログラムは、その作り手や入力したデータによって出力が変わる。差別の存在する社会が入力データになれば、現実社会を反映したり、より誇張した結果が出力される可能性がある。 　この1～2週間、日本でもAIと差別についての話題に事欠かなかった。東大特任准教授による差別発言である。小さな炎上を繰り返したあと、国籍・人種についての差別で大炎上した（参照：篠原修司氏のYahoo!ニュース個人）。 　この一連の発言に対して、多くの人が問題だと考えた。なぜ問題なのにかについては、東京大学大学院特任助教の、明戸隆浩氏のブログ記事で丁寧に解説されている。 　この文章の中に「統計的差別」についての説明がある。少し引用しよう。「差別かどうかを判断するにあたって重要なのは個人ではなくカテゴリーで判断するということであり、そこでの判断材料が事実であるかどうかは関係がありません」。 　他人に何らかのラベルを貼り、そのラベルをもとに個人を分類して、不利益をこうむらせる。 　人間は放っておくと、過去の体験を元に、物事を類型として判断する。その方が、物事を高速に判断して、素早く結果を出せるからだ。 　自分より頭のよい人たちが、驚くほど素早く、過去の経験から、それとは無関係な他人を判断している様子を、何度も見たことがある。自分自身も、おそらくそうしたことを無意識のうちにしてしまっているだろう。 　自分が生涯で出会う全ての人を、何の分類もせずに個別に処理することは難しい。そういう意味で人間の脳は、日々の生活の中で、差別をおこなってしまう仕組みを持っている。だからこそ社会としては法律で規制したり、新しい社会規範を啓蒙したりしなければならない。また個人としては常に学習し、自己を律していく必要がある。そして不当な不利益を社会から減らしていかなければならない。 　AIやアルゴリズム、プログラムが、人間の判断の代わりになる時代が来ている。こうした思考装置による人の分類は、人間の脳がおこなっている処理の低コスト化を、機械に置き換えている危険がある。現実社会の差別を、人間よりも高速に再現する危うさを孕んでいる。