AIによる美人コンテストが物議を醸したのも記憶に新しい。
https://beautytech.jp/n/nabb469fb826c

何かを判定するに当たって人がやってもAIがやってもバイアスはかかっているところ、後者が騒がれるのはスケーラビリティがあり、企画としてではなくインフラとして世の中に組み込まれてしまいうること、固定化してしまいそうなイメージがあること、バイアスを取り払うチャンスとも捉えられることなどが混在してのことだと思います。
理想を言えば、例えば面接官の採用面接の結果の偏りをAIが指摘して補正したりといった、バイアス補正のツールにもなりえる。
古くはクレジットのスクアリングなんかは人がやるよりずっとフェアである可能性が高い。（スコアの背景となる所得自体の偏りは別問題。）
バイアス問題を真剣に論じることは、AIの危険性でなく可能性を考えるきっかけでもあると思います。

データそのものに、バイアスがかかっているのが問題の根源である。人種偏見のデータ項目を教師データから除くクレンジングが最も重要であろう。即ち、個人的の属性を除く事である。

なので、データやAIが悪いのではなく、偏った、バイアスのデータしか無い事が問題である。

Amazonの顔認識に関しては公共の利益から考えた際に、釣り合わないというのが本音だと思います。データに関する議論で、公共と民間をごちゃ混ぜにして一まとめにデータ活用と議論される事がありますが、厳密には双方データの利用目的と対象が異なるため分けて議論をしていく方が良いと思います。

偏ったデータしか集まっていないのは、あくまで特定の企業が営利目的で収集しているわけであり、それが公と言う不特定多数にデータが開かれた際にバイアスという形で浮き彫りになります。

一言でいえば、データを活用してユーザーの利便性を追求していく事が、必ずしも公共の利益と一致するわけではないという事です。