というわけで、機械による決定とわれわれはどう向き合うべきかという話。いろんなことが今やコンピュータによって決められているのだが、それにはいくつか問題がある。まず、本当にコンピュータに決めさせて大丈夫なのかということ。これはひとことで言えば「ものと場合による」になってしまうのだが、すでにコンピュータが人間を凌駕している分野はもはや珍しくもない。たとえば警察がどこをパトロールすれば犯罪がより防げるか、なんてのは人間が決めるより適切なデータとアルゴリズムをもったコンピュータにやらせるほうがよっぽどよろしい、ということがわかっている。こういうのはコンピュータに任せてもよさそう。
つぎに、そうはいってもコンピュータもミスするんじゃない？ ということ。これはいくつかの問題をはらんでいて、たとえば単純に品質の低いプログラムだと普通にいい加減なことやってたりする。それが守秘義務に守られて発覚が遅れた、なんて例がこの本に出てくるのだけど、なるほどさもありなん。そして今後問題になって来そうなのが、AI がどうやって判断を下しているかわからないからそもそも発覚しないんじゃないか、ということ。機械学習の本質として、AI は数多くのデータから自動的に判断基準を作り上げるので、その判断がなにに基づいているのか人間には知る術がない。すると誤っていてもわからないということになる。これはやっぱり問題で、特にその判断が人に大きな影響を及ぼせば及ぼすほど深刻になるので、そろそろ立ち止まるべきではないかという時期にさしかかりつつあるようだ。具体的には「理解可能な AI」という潮流があり、なんとか AI の判断を人間に理解できるように落としこもう、という努力がされているようだ。
で、カウンターとして「まあコンピュータのこといろいろ言ってるけど人間もたいがいやぞ」みたいな話が出てるんだけどこれが面白い。裁判官にまったく同じ架空の事例を人物の設定だけ変えて（間を空けて）二度判断してもらう、という実験をしたところ、やっぱり人物の設定次第で有意に量刑が変わってしまったとか、もっとひどい話になると同じ日に無罪の裁判が続けば続くほどその次の裁判で有罪になる確率が上がるとか、おいおいみたいな話が裁判官ですらけっこう出てくる。まあ、人間ってそんなもんだと思うけれど、そしてそれは人間のすることだからなんとなく許容されているのだけど、とにかく人間の判断の質だってあらためて検証すればその程度なんだよね。だからどっちがいいという話じゃなくて、コンピュータと補完しあう方向でなんとかうまくやれないかな、というビジョンが示されていて、そこはよかった。その協業に関する困難にも触れられていて、実際なかなか難しいものだろうなとも思うけど、画像診断なんかはけっこう上手い分担ができているみたいで、少なくとも選択肢としては常に検討しなければいけないのだと思う。
先日の『監視資本主義』の内容とも少し関係がある。彼らがおれたちのデータや周辺情報をかすめ取ってなにをしているのか、ということの具体的な事例がいくつか書かれているので、相互補完的というか、『監視資本主義』だけ読んでいたら単なる陰謀論にも思えかねない部分について実感が得られるし、逆にこっちだけ読んでるとうっかりへーけっこういいじゃんと思うようなことを、あっちを読んでいると「これあかんやつなんちゃうか……？」と思えたりする。併せて読むとシナジーがあると思う。
