ダリオ・アモディ『恩寵の機械』の考察において、私たちは「いかに慈愛に満ちたシステムであっても、人間から意味を生成するプロセスを奪ってはならない」という仕様を定義した。
システムによる最適化の次なる標的は、「未来」である。
事後的な評価(能力主義)や現在のケア(恩寵)を超えて、テクノロジーは「未来のエラーを予測し、事前に処理する」という究極の効率化へと向かっている。今回は、データとアルゴリズムが「まだ起きていない罪(エラー)」を裁く「予防的システム」のアーキテクチャとその危うさを測量する。
完璧な予防システムが奪う「選択」
フィリップ・K・ディック。人間と機械(システム)の境界を暴いた『アンドロイドは電気羊の夢を見るか?』や、歴史の勝敗が逆転した別の現実を描く『高い城の男』など、私たちが無自覚に信じ込んでいる「現実というOS」のバグを生涯にわたって測量し続けた作家である。
彼が原作を手掛け、スティーヴン・スピルバーグ監督によって映像化された映画『マイノリティ・リポート』の舞台は、予知能力を持つシステム「犯罪予防局」によって、殺人がゼロになった完璧な社会である。
このOSが実装された世界では、「将来エラー(犯罪)を起こす確率が極めて高い」とシステムが弾き出した人間は、まだ何も実行していない段階で逮捕され、カプセルに隔離される。圧倒的な安全性と最適化された社会インフラと引き換えに、個人の「未来の可能性」をシステムが強制終了させる、究極の管理アーキテクチャの姿である。
システムが事前にバグを検知し、未然に防ぐ。
一見するとこれは、完璧な「正義」の執行に見える。しかし、それは同時に、人間が最後の瞬間に自らの意志で踏みとどまる「選択の余地」すらも、あらかじめ剥奪することを意味している。
現代の「スコアリング」という冷酷な判事
これはもはや、SF映画の中の絵空事ではない。
現代のビジネスとテクノロジーの最前線では、まさにこの「プレクライム(犯罪予防)」システムと同じアーキテクチャが実装されつつある。
AIによる「信用スコアリング」や、採用・マネジメントにおける「AI人事(退職予測・パフォーマンス予測)」がそれだ。「過去の膨大なデータから見て、あなたが失敗する(あるいは組織に害をなす)確率は98%である。よって、あなたをシステムから事前に排除する」。
効率とリスクヘッジを極限まで追求するITベンダーやプラットフォーマーは、この「データによる事前排除」を、正しいリスク管理(正義)として疑いもなく導入しようとしている。
彼らは、人間をあらかじめ計算可能な「確率の束」として処理し、プラットフォームの純度を保つことこそが正しい設計だと信じ込んでいるのだ。
新たな仕様書 ―― 人間が「バグる権利」を実装する
もしデータが99%の確率で「あなたは過ちを犯す」と予測したとしても、残りの1%の少数意見(マイノリティ・リポート)で、人間が自らの意志で別の行動をとる可能性はないのか。
データとアルゴリズムによる決定論(未来はすでに確率として決まっているというOS)に対抗するためのオルタナティブなアーキテクチャ。
それは、人間がエラーを起こす(バグる)可能性をシステム側が事前に摘み取るのではなく、「過ちを犯し、そこから引き返す(あるいは学び直す)余白」をシステム内に残しておくことである。
最適化され尽くし、一切のエラーを許容しないシステムは、一見すると美しい。しかし、そこには計算不能な「ノイズ」である人間が介在する余地はない。それはもはや、無機質なサーバー室である。
計算不能な「ノイズ」こそが人間である
テクノロジーは、人間の未来を確率に還元し、リスクを事前に排除する「冷酷な判事」にもなれば、人間の不完全さを許容し、リカバリーを支える「インフラ」にもなる。
私たちが記述すべき「正義の仕様書」の第3項。
「システムは、人間の『予測不可能性(ノイズ)』を事前排除してはならない。人間には、過ちを犯す(バグる)権利と、自らコードを書き直す(やり直す)権利がある」。
【自律のための現状診断】
私たちの組織は、人を追い立てる「収奪のOS」になっていないか。効率化の果てに「余白」を失っていないか。
当社が提供する「DX成熟度診断」では、技術導入の成否だけでなく、組織の「回復可能性」と「自律性」を可視化します。





