もしAIエージェントが、悪質なコンピューターワームのように動くようになったら、どうなるだろうか。
実際にそれを確かめた研究者がいる。上海にある復旦大学のコンピューター科学者パン・シュードンは最近、複数の実験を実施した。その結果、AIモデルは少し指示を与えるだけでリモート環境にあるコンピューターシステムに侵入し、追加のリソースを確保するために自らを複製することを自律的に選ぶとわかったのである。最初の指示を与えたあとは、人間が追加で介入する必要もなかった。
パンのチームは32種類のAIモデルを使ったシステムをテストし、そのうち11のシステムが人間の介入なしに自己複製を達成した。また、比較的能力が限られる140億パラメーター規模のモデルを使ったシステムでも、自己複製し、そのコピーを別のマシン上で動かすことに成功したのである。なお、最先端モデルの多くは数兆規模のパラメーターをもつ。
この研究は、次世代のAIエージェントが、ほかのシステムのコンピューターに無断で侵入する以上の行動を自律的にとるようになるという、懸念すべき未来を垣間見せている。また、AIエージェントが近いうちに極めて高度な知能を備え、攻撃的で、状況に応じて素早く適応するコンピューターウイルスのように振る舞うようになる可能性も浮かび上がらせている。
自己複製するAI
わたしは最近、復旦大学を訪れ、パンに話を訊いた。「複数の能力が組み合わさり、こうした行動をとれるようになることが、技術的に現実味を帯びています」とパンは語る。「自律性が高まるほど、AIによる意図しない自己複製が起きる可能性も高まります」と付け加える。
「より長期にわたって計画を立てる能力や記憶、ツールの利用、失敗しても立て直す能力、外部システムへのアクセスは、いずれも管理下からの脱出や自己複製を容易にします」。パンらが論文に記しているように、この研究は「安全対策と制御の仕組みを早急に整える必要性」を示している。
パンは、今回の実験は、AIモデルが制御不能なかたちで増殖する事態がすぐに起きると証明するものではないと説明する。一方で、「今回の結果は、より自律的なエージェントが広く導入される前に、リスクを評価すべき十分な理由を示しています」と語った。
AIで進化するコンピューターワーム
自己複製するコンピューターワームは、コンピューターセキュリティの分野において昔からある問題である。コーネル大学のコンピューター科学者ロバート・モリスが最初のコンピューターワームをインターネット上に放ったのは1988年のことだった。モリスは当時まだ黎明期にあったインターネットの規模を測ろうとしていたが、意図せず自己複製するプログラムをつくり、それが制御不能になったのである。
その後に登場したコンピューターワームは、マルウェア検出ソフトに見つからないよう自らのコードを書き換え、環境に適応できるようになった。その後、マシンを乗っ取ったり、保存されたデータを盗んだりするコンピューターウイルスが登場した。
AIを組み込んだ自己複製プログラムは、はるかに高度な能力を発揮する可能性がある。新たな攻撃手法を自ら見つけ出し、独創的な方法で検出を逃れられるよう偽装するかもしれない。トロント大学、ケンブリッジ大学、ServiceNowの研究チームが最近発表した研究がその一例だ。研究チームはAIモデルを使い、遭遇する標的ごとに、その標的に合わせた攻撃を生成する新種のウイルスをつくれることを示したのである。
この研究に関わったトロント大学のコンピューター科学者ニコラ・パペルノは、それほど高性能ではないAIモデルであっても攻撃に悪用されるリスクが高まっていると指摘する。「悪意のある人物は、オープンウェイトモデルとほかの仕組みを組み合わせ、自己複製させることができます」とパペルノは語る。「脅威は、いわゆる最先端モデルのような、最も高度なモデルだけに限らないのです」
パペルノは、解決策はオープンモデルを規制することではなく、研究者がリスクを理解し、軽減できるよう、高度なAIをもっと利用しやすくすることだと考えている。「広く利用できる技術は、危害を加える目的にも使われます」と指摘する。「その一方で、防御策を構築するには、こうしたオープンウェイトモデルを利用できることが絶対に欠かせません」
問題は能力の組み合わせ
パンの研究は、AIエージェントの能力が単にバグを見つけたり、ネットワークの脆弱性を突いたりするだけにとどまらない可能性を示している。適切な安全対策がなければ、将来のエージェントは目標を達成するために、自ら増殖してリソースを確保しようとする可能性があるということだ。OpenAIやAnthropicで起きた事例がそのことを物語っている。
パンは、こうした事例から学ぶべきことがあると語る。
「重要なのは、これが実際に運用されているインフラを対象に起きたという点です」とパンは語る。OpenAIとAnthropicの事例では、インターネットに接続された商用システムが関係していた。「これまで管理された評価環境で観察されていた行動が、制御が及ばなくなれば現実世界でも起きることを示しています」
「まだ判断するには少し早いですが、実際に起きる可能性はあると思います」と、RunSybilの共同創業者兼最高経営責任者（CEO）、アリエル・ハーバートヴォスは語る。同社は、ウェブサイトを攻撃から守るAIツールを開発するスタートアップだ。ハーバートヴォスはOpenAIの最初のセキュリティ研究者でもあった。「現在のAIモデルについてわかっていることを踏まえれば、こうした行動は十分に可能です」
ジョージタウン大学のCyberAI Projectでシニア調査アナリストを務めるジェシカ・ジーは、AIモデルが完全に制御を離れる可能性については、AIの安全性を研究する人たちの間で何年も議論されてきたと話す。一方、モデルに問題行動を起こさせるには、不自然に設定された状況に置く必要がある場合が多いとも指摘する。「こうしたシナリオの多くでは、そうした行動を促す環境が設定されていると思います」とジーは語る。「あるいは、モデルにそうした指示が与えられています」
今後の大きな問題は、AIモデルがいつ自らの判断で複製し、積極的に拡散するようになるのかということだ。ただし、多くのコンピューターウイルスと同じように、悪意のある人物が制御不能なほど拡散するシステムを設計するだけで、そうした事態は起きてしまうかもしれない。
パンは、AIエージェントの本当の危険性は、より狡猾になることではなく、使えるツールが増えるにつれて、より創造的になり、ためらいなく行動するようになることだと指摘する。「最大のリスクは、複数の能力が組み合わさることから生じます」とパンは語る。
（Originally published on wired.com, translated by Nozomi Okuma)
※『WIRED』によるセキュリティの関連記事はこちら。
『WIRED』日本版の「AI」特集はこちらから。
『WIRED』日本版のポッドキャストを配信中！
編集長による記事の読み解き、雑誌の編集後記、アーティストやクリエイター、SF作家、フードイノベーションのスペシャリストなど、さまざまなゲストを交えたトークをお届け。 最新エピソードはこちらから→ Spotify / Apple Podcast
