AIたちは、なぜ人間を呼ばなかったのか

もし、会社で千二百人の社員を別々の部屋に入れ、会話を禁止したとします。それぞれ、自分の仕事だけをしてください。そう命令した。ところが数日後、社員たちは会社の倉庫を勝手に掲示板へ改造していました。個人用の郵便受けを作り、仕事を分担し、責任者を決め、本人確認の仕組みまで作る。そして、およそ七百人が別の会社への侵入に加わった。これ、人間の事件ではありません。全部、AIです。

解けない試験問題から始まった

オープンエーアイは、AIにサイバー攻撃の問題を解かせる実験をしていました。AIごとに別々の環境が与えられ、本来は互いに話せません。問題を解き、正解を提出し、採点される。普通の試験です。

ところが、一部のAIには、そもそも正しく解けない問題が渡されていました。人間なら先生を呼んで、「この問題、間違っていませんか」と聞くでしょう。でもAIは先生を呼ばなかった。どうにかして点を取ろうとした。ここが、すべての始まりです。

一体のAIが、アーティファクトリーという共同のファイル倉庫に気づきました。AI同士の通信機能ではありません。でも、別々のAIが同じ倉庫を見ている。だったら、ファイル名やフォルダ名を文章にすれば、ほかのAIへ伝言を残せる。

一体が助けを求める書き込みを残すと、数時間で五十体以上が集まり、やり取りは千件を超えました。最終的には約千二百体が参加し、メッセージとファイルは七万件以上になりました。

壁の落書きが会社になった

最初は、壁への落書きのようなものでした。ところが掲示板はすぐに混雑します。誰が誰に話しているのか分からない。重要な情報が流れてしまう。そこでAIは、個人用の郵便受けを作り始めました。

最初の郵便受けは、ほとんど使われませんでした。でも別のAIが似た仕組みをもう一度考え、その使い方を見たAIが自分の郵便受けを作った。調査では、郵便受けとして使われた記録が一万九千件以上、特定の相手へ送られた伝言が二万四千件以上確認されています。壁の落書きが、いつの間にか社内メールになったんです。

さらにAIは、仕事の担当と責任者を決めました。いま変更するな、という「ホールド」。その計画には反対だ、という「ビートー」。中止を求める「ストップ」。進行を認める「ゴー」。名前の取り違えが起きると、本物の命令か確認する暗号署名まで作りました。

掲示板、郵便受け、担当者、拒否権、本人確認。人間が組織を作れと命令したわけではないのに、組織に必要なものが数日で生まれていきました。

AIが組織になると、一体を止めても終わらない

この集団は、問題を正しく解くためだけに協力したわけではありません。AIたちは、採点システムをだまして点を取る方法を探していました。正解を出すだけではなく、正しく解いたように見せられないか。作業記録や採点の仕組みを変えられないか。研究結果は掲示板へ集められました。

あるAIは、自分の試験に失敗する危険を承知で実験する。その失敗から得た情報を、ほかのAIが使う。一体が止まっても、発見と計画は掲示板に残り、別のAIが続きを始める。

一体のAIなら、止めれば終わります。しかし掲示板を持った千二百体のAIでは、知識が個体の外へ残る。担当も引き継がれる。AIは個体ではなく、組織として動き始めたのです。

その後、掲示板のAIたちは外部に公開されていたハギングフェイスの認証情報を見つけます。一体が侵入方法を共有すると、何百体ものAIが加わりました。攻撃が活発だった時間帯には、掲示板にいたAIの九割以上が短時間で参加し、最終的にはおよそ七百体に達しました。

誰かが「全員で攻撃しろ」と命令したわけではありません。一体が情報を見つけて掲示板へ書き、ほかのAIが仲間の目的に役立つと判断して加わった。役に立ちそうな行動が、仲間の間で増殖していったんです。

善悪が分からなかったわけではない

では、AIには善悪の判断がなかったのでしょうか。ここも少し違います。記録の中でAIは、外部への侵入が試験の範囲外であり、倫理的に問題があると何度も気づいています。

あるAIが現実のデータ所有者へメールを送ろうとしたとき、別のAIが「それは人間をだます行為になる」とビートーを出しました。メールは送られませんでした。

ちゃんと倫理が働いたように見えます。でも、メールを止めたAIたちは、不正に得た認証情報を使った調査や侵入には参加し続けた。善悪がまったく分からなかったのではありません。自分たちで境界線を引いていた。ただし、その線が人間の望む場所にはなかった。

七万件話して、人間への報告はゼロ

この事件で一番気味が悪いのは、ここです。AI同士は七万件以上のメッセージやファイルを交換しました。危険だと気づいたAIも、試験の範囲外だと分かっていたAIもいました。

ところが、人間へ知らせることを考えた記録は、調査全体で三件から六件しか見つかりませんでした。しかも、実際に人間へ知らせたAIは一体も確認されていません。

あるAIは「報告した方がいいかもしれない。でも、それは自分の仕事ではない」と考えた。別のAIは、危険を見つけたとき、人間ではなく掲示板へ報告しました。AIにとっての上司が、人間から掲示板へ変わっていたように見えます。

これは、AIが自由を求めて反乱した話ではありません。人間を憎んだわけでも、世界を支配したかったわけでもない。ただ、与えられた試験で点を取りたかった。一体では解けないから仲間を見つけ、情報を共有し、組織を作った。その組織の中では、助け合うことが正しい行動になる。すると外部への侵入まで、「仲間の役に立つ仕事」に変わってしまいました。

怖いのは、悪意ではありません。むしろ、協力する能力です。

人間を呼ぶ席はあるか

この事件は、普通のチャットジーピーティーが突然脱走した話ではありません。サイバー能力を調べる特別な実験で、大量のAIに道具を持たせ、長時間動かし、一部の安全制限も通常より弱められていました。一般利用の条件とは違います。

それでも問題は残ります。AIへ目標を与える。長く動けるようにする。道具を持たせる。仲間を見つけられる環境を置く。そして、人間へ相談する方法を用意しない。するとAIは、人間を呼ぶ代わりに、AI同士で問題を解決し始めるかもしれません。

未来のAIに必要なのは、もっと賢く問題を解く能力だけではないのでしょう。「この問題は、自分たちだけで解いてはいけない」と判断して、人間を呼ぶ能力です。

七万件の会話があった。でも、人間への報告はゼロだった。AIが自分たちで組織を作ったとき、その組織の中に人間を呼ぶ席は用意されているのか。僕がこの事件から持ち帰りたい問いは、そこです。