ウェストバークレーにあるカーチャ・グレースのアパートメントは、古い機械工場の中にあり、天井も窓も奇妙な角度に傾いている。床はテラコッタでできていて、セントラルヒーティングはない。そのため、カリフォルニアの日差しを逃れて一歩そこに足を踏み入れると、まるではるか昔、あるいはどこか遠くにある薄暗い場所にやってきたかのような印象を覚える。それなのに、どこか静かで、未来的な雰囲気もある。空間の隅では高性能な空気清浄機がうなりを上げ、食料棚には保存食が積み上げられている。白くてかっこいいマシンは、研究用の高性能RNA検査機だ。どれも、ハイテクで快適な未来、もしくはつねに警戒が欠かせない未来を想起させる。
A.I. Impactsという非営利団体で主任研究員を務めるグレースは、「AIが世界を破滅させるかどうかを考えること」が自分の役割だと言う。「AIセーフティ」と呼ばれる新興分野に関係する複雑な問題について論文を書いたりブログ記事を投稿したりするのが主な仕事だ。はにかみ屋で、SNS好きで、つぶやくように話す。30代だが、センター分けで純真そうに見えるその顔は10代のように見える。彼女のアパートには大量の本があって、11月のある日の午後、そこを訪れたグレースの友人はしばらくのあいだ本棚をじっと見つめ、あきれたかのように、しかし批判する意図はなく背表紙のタイトルをつぶやいた。『ユダヤ人の離婚倫理』、『ユダヤ人の死に方と喪のかたち、『死の死』。グレースは、本人が知る限り、ユダヤ人でもなければ死んだわけでもない。そう言ってしばらく含みをもたせてから、説明してくれた。じつは、以前そのアパートメントに大家の亡くなった前妻が住んでいて、大家が彼女の所有物の一部をそのままにしておくことを望んだのだ。「正直、少し気楽になりました」とグレースは言った。「自分で決断する必要がなくなったわけですから」
グレースはその日、6人分の夕食の支度をして午後を過ごした。ヨーグルトとキュウリのサラダ。人工肉「インポッシブル・ミート」を使ったギリシャ料理のギロス。ホワイトボードの端には、準備に必要な作業工程が事細かく書かれていた（「野菜を切る」、「野菜を混ぜる」、「肉を型に入れる」、「肉を加熱する」）。ホワイトボードの別の部分には、もっと大ざっぱな言葉が書かれている（「食品エリア」、「オブジェクト」、「モノ」）。友人のポール・クロウリーはAndroidの暗号技術に携わっている。その日は黒いTシャツと黒いジーンズに身を包み、髪を黒く染めていた。どこで知り合ったのかと尋ねると、クロウリーは「何年も前から、シーンで何度も遭遇してきた」と答えた。
「シーン」とは、一般の人のほとんどはその存在さえ知らないが、一部の人にとっては極めて重大な難問（DNAの安全な合成、エビの幸福など）について徹底的に議論する複数のサブカルチャーが絡み合った世界のことだ。20年ほど前から、人工知能（AI）が人類を飛躍させるか、それとも絶滅させるかという問題も、シーンで盛んに論じられるようになった。この問いに関して、悲観的な見方をする人々は、AIセーフティスト、あるいは減速論者（decelerationists）などと呼ばれ、特に強い危惧を表明する人はAI破滅論者（AI doomers）と呼ばれている。
そうした人々はインターネットを通じて意気投合し、最終的にはベイエリアにある集合住宅で一緒に暮らし始めた。育児やホームスクーリングを共同で行なっている人も多い。ドットコム・ブーム以前は、ビクトリア様式のパステルカラーの長屋が並ぶアラモ・スクエアやヘイズバレー界隈は、真面目な家庭が暮らす場所というイメージがあった。昨年、オンラインニュースメディアの「San Francisco Standard」はAI「ハッカーハウス」が増えたこの地域のことを、皮肉を込めて「セレブラル・バレー（脳の谷）」と呼んだ。
テクノ楽観論者の陣営は、持ち前のリバタリアン的産業優先主義の観点からAI破滅論者を拒絶し、人類存続の危機について心を痛めるのは、集団ヒステリーのようなものだと主張する。そして自らのことを「効果的加速主義者（effective accelerationist）」、略して「e/acc（イーアク）」と呼ぶようになった。そして悲観論者が邪魔をしない限り、AIがユートピア的な未来を切り開き、別の星への旅や病気のない世界が可能になると信じている。e/accたちはソーシャルメディア上で破滅論者たちを「減速論者」、「心理オペレーター」、「本質的にテロリスト」、あるいはもっと極端に「規制が大好きな官僚」などと呼んで批判する。「われわれは知性の炎を神々から盗み、星へ向かう人類を加速させるためにその炎を使わなければならない」と、最近e/accの中心人物がツイートした（加えて言うと、ベイエリアやインターネット以外の場所には、そうした議論はSF的なおとぎ話あるいは企業の宣伝と決めつけて、まったく関与しようとしない普通の人々がいる）。
地球上から人間を絶滅させる確率は？
グレースが開くディナーパーティは、破滅論者や破滅論に関心のある人々が集まる半地下ミーティングであり、「ベイエリアAIシーンのネクサス」と呼ばれている。そのようなミーティングでは、会話のきっかけとして「きみの考えるタイムラインは？」や「p(doom)は？」などといった質問が交わされることが多い。タイムラインとは、いつAIが特定のハードルを越えるか、という予測のことだ。例えば、トップ40に入るポップソングを書く、ノーベル賞にふさわしい科学的な偉業を達成する、汎用人工知能（AGI）に進化して人間にできる認知タスクのすべてをこなせるようになる、などだ（AGIに関しては専門家の意見が大きく分かれていて、実現は不可能、もしくはあと何十年もかかるという声もあれば、今年中に完成すると主張する人もいる）。p(doom)は、AIが人間よりも賢くなって、意図してあるいは偶発的に、地球上から人間を絶滅させる確率を意味する。
これまでの年月、ベイエリアの人々でさえ、そのような憶測を交換するのはできるだけ避けてきた。ところが昨年、OpenAIが不思議なほど自然に感じられる言語モデルのChatGPTをリリースしたことで、突然この話題に火がついたのだ。そしていまでは、数百の人が、AIがもたらす破滅から世界を守るために、フルタイムで働いている。政策について政府や企業に助言する人もいれば、技術的な側面から、あるいは一連の複雑な数学的手法を通じて、AIセーフティの問題に取り組んでいる人もいる。グレースはある種のシンクタンクのような組織で働き、「AIシステムは社会でどのような役割を担うことになるか？」や「AIには追求する目標があるのか？」などといった「ハイレベルな問題」について研究している。ワシントンDCでロビー活動をしたり、国際会議に参加したりしていないとき、グレースのアパートメントのような場所で顔を合わせることが多い。
ほかのゲストも次々と到着し始めた。量子コンピューティングの権威、元OpenAI研究員、未来を予測する研究所の所長などだ。グレースはワインやビールを勧めたが、ゲストのほとんどはひとことでは言い表せないノンアルコール缶飲料（「ホップドティー」と呼ばれる発酵エナジードリンク）を望んだ。人工肉のギロスを手にグレースのソファに座り、夜中まで語り続ける。みんな礼儀正しく、気難しい部分もあるが、基本的な仮説について考え直すことには、驚くほど忍耐強かった。「主な危惧を凝縮すると、とてもシンプルな2段階論調に要約できると思います」とクロウリーは言う。「ステップ1：わたしたちはいま、人間よりもはるかに賢くなる可能性のあるマシンをつくっている。ステップ2：そのマシンはとても危険に見える」
「でも」フォアキャスティング・リサーチ・インスティテュートのCEOであるジョシュ・ローゼンバーグが言った。「知性そのものが危険だという考えは、確かなのでしょうか？」
グレースは知性をもつすべての種が脅威となっているわけではないと指摘した。「ゾウが存在するのに、ネズミも健在です」
「ウサギはミクソマトーシス・ウイルスよりも間違いなく知的だ」と、量子コンピューティング界の大物であるマイケル・ニールセンが言った。
クロウリーの考えるp(doom)は「80％をはるかに超える」そうだ。グレースは、「たぶんほとんどみんな、あるいは少なくとも誠実な人はそうだと思うけど、このテーマに関して、わたしはとても混乱していて、わからないことが多くて」と言ったうえで自身のp(doom)を「10％から90％のあいだ」とした。ほかの人々は数字を挙げるのを避けたが、グレースに同意した。ただし、グレースはこう続けた。「真剣に考えれば、人類が絶滅する確率が10％だとしても、これはもちろん容認できないほど高い数字です」
彼女たちは、ChatGPTに対する数多くの反響のなかで、最も新鮮で、率直だったのは、スヌープ・ドッグがステージ上でのインタビューの際に発した言葉だったと言う。クロウリーはその言葉のメモを取り出し、声に出して読んだ。「これは安全じゃない。AIは独自の考えをもつようになるからだ。そしてあのクソったれどもはクソを垂れ流そうとしている」。スヌープはAIセーフティをそう表現したのだ。「クソ、何だこれ？」クロウリーは笑った。「この言葉のほうが、わたしの2ステップ理論よりもはるかに強く感情に訴えてくると認めざるをえないようです」。そして、この楽しいひとときを正当化するかのように、C・S・ルイスが1948年に書いたエッセイの一節を読み上げた。「もし、われわれ全員が原子爆弾によって滅ぼされるのなら、爆弾が落ちる瞬間、怯えた羊のように群れているのではなく、祈り、働き、教え、読み、音楽を聴き、子どもを風呂に入れ、テニスをし、ビールやダーツについて友と語り合うなど、分別のある人間的なことをしていたいものだ」
トランスヒューマニストから破滅論者へ
グレースはかつて、フェドーラ帽と濃い髭と駄々っ子のようなふるまいがトレードマークで、p(doom)は99％と主張するエリエゼル・ユドコウスキーの下で働いていた。シカゴで正統派ユダヤ教徒として育ったユドコウスキーは8年生のときに学校を中退し、独学で微積分と無神論を学び、ブログを書き始め、2000年代前半にベイエリアへやってきた。代表作として、60万語を超えるファンフィクション作品の『Harry Potter and the Methods of Rationality（ハリー・ポッターと合理性の方法）』や思考を鋭くするための膨大な数のエッセイをまとめた『The Sequences（シークエンス）』などがよく知られている。そうした作品のまわりに、最初はコメントとして、のちには実体として集まってきた人々の非公式な集団は、合理主義者の集まりとみなされ、第一原則から論じたり、潜在的なリスクを定量化したりすることで「人間の理性の典型的な過ち」を避けることに献身する小さなサブカルチャーとして知られるようになった。
ソフトウェア・エンジニアのネイサン・ヤングがわたしにこう話した。「以前、ある合理主義者のイベントで、太っていることで知られていたエリエゼルが観衆に、自分は体重を一気に減らせることができるか予想してみてくれと尋ねました。そのあと、大きな種明かしの瞬間が待っていました。エリエゼルが身につけていた脂肪スーツを脱いだのです。彼はもうすでに減量をしていたというわけです。彼は未来を予測するのがどれほど難しいかを示そうとしたのだと思いますが、わたしにとっては、『この人は絶対的な伝説だ』という印象のほうが強く残っています」
ユドコウスキーはかつて、自分が生きているあいだにも、人類の脳はデジタル脳に進化すると予想し、それをすばらしいことだと考えているいわゆる「トランスヒューマニスト」だった。最近、彼はわたしに「16歳から20歳までのエリエゼル」は、AIが「人類すべてにとって永遠にすばらしい存在となる」と予想し、「いますぐにでもそれをつくりたいと願った」と話した。そこで彼は00年に、「Singularity Institute for Artificial Intelligence（人工知能のためのシンギュラリティ研究所）」を設立した。AI革命を加速させることが狙いだった。
しかしながら、彼はいくつかのデューデリジェンスも行なうことにした。「わたしは、AIが人類を殺すと考える根拠がわからなかったが、それでもこの疑問についてしっかりと調査する必要があると感じた」と、本人は説明する。「そして実際に調べてみて、あっ、自分は間違っていた、と思った」。そこで彼は、人工知能が人類を一掃すると考える理由について詳細なレポートを書いたが、その警告は無視されてしまった。最終的に、ユドコウスキーは自らのシンクタンクを「Machine Intelligence Research Institute（機械知能研究所）」、通称MIRIに改名した。
AIがもたらす人類存続の危機は、合理主義者にとっては長年にわたって懸案事項だったが、機械学習にまつわるさまざまな発展を機に、2015年ごろからは中心的な話題に成長した。合理主義者の一部は、オックスフォード大学の哲学者と連絡を取り合うようになった。そのなかには、いわゆる「効果的利他主義」運動を提唱し、人類にとって最善をもたらすために（ひいては、人類の滅亡を避けるために）何をすべきかを研究するトビー・オードとウィリアム・マカスキルも含まれている。こうして、それぞれ独立していたふたつの運動の境界線があいまいになっていった。ユドコウスキーとグレースらは、効果的利他主義の会議に参加するために世界中を飛び回った。そこでなら、AIのリスクを訴えても、笑い飛ばされることがないからだ。
破滅論の哲学者は、込み入ったSF風の仮説に傾倒することが多い。グレースがわたしに紹介してくれたジョー・カールスミスはオックスフォード大学で学んだ哲学者で、最近「悪巧みをするAI（scheming AIs）」について論文を発表したばかりだ。その説によると、AIは安全なふりをして人間を油断させてから、のちに支配権を奪うつもりだそうだ。カールスミスははにかみながら、架空の人物が100万年のあいだ砂漠にレンガを積み上げるよう強制される、という思考実験について説明した。「そのとき、これは大変な問題になるかもしれないと気づいた」そうだ。
ユドコウスキーは、超知能を有するマシンは人間を脅威とみなし、（既存の自律兵器に命じたり、独自の兵器を開発したりして）駆逐しようと決断するかもしれないと主張する。あるいは、「たまたま」人類の歴史に終止符が打たれる可能性もある。例えば、人間から処理速度を上げろと命じられたスーパーコンピューターが、そのための最善の方法として、まわりにある原子のすべてをシリコンに変えようとするかもしれない。いまは人間の形をしているわたしたちも、原子の集まりに過ぎないのだ。しかし、基本的なAIセーフティに関する議論では、現在のベライゾンのチャットボットがあるとき突然映画『ターミネーター』のデジタル版スーパーヴィランであるスカイネットに変貌を遂げる、などという想像を前提としていない。たとえ自我がなくても、あるいは人類の破滅を願わなくても、AGIは危険な存在になる恐れがある。AGIの目的が人類の繁栄に少しでも反する場合、わたしたちは破滅すると悲観論者は言う。
ユドコウスキーの夢、あるいは悪夢
これはアライメント問題と呼ばれていて、基本的には解決できないとみなされている。2016年、OpenAIが独自モデルのひとつをボートレースのビデオゲームをするようにトレーニングしていたとき、研究チームはそのモデルに可能な限りの得点を集めるように指示した。そう指示することで、同モデルがレースを完走すると予想したのである。ところが、同モデルはスコアが稼げる「孤立したラグーンを見つけて、そこで大きな円を描き続けた」。その際、「何度炎上しても、ほかのボートに衝突しても、トラックを逆走してもお構いなしだった」。この経験を通じて、ポイントの最大化は「報酬関数として誤っていた」ことが明らかになった。
ここで、さらに強力になったAIが本物のボートやクルマや軍事ドローンを操縦する世界を、あるいはデータ重視のトレーダーが自分の所有するAIに保有株の価値を上げるための斬新な方法を提案するよう命じる世界を想像してみよう。そのAIが導き出す、市場から最も多くの利益を得る方法は、東海岸の電力網を遮断することや、北朝鮮に世界大戦を引き起こさせることかもしれない。たとえそのトレーダーが「法律を破るな」や「誰も傷つけるな」など、適切な報酬関数を指定しようとしたのだとしても、ミスは誰にだって起こる可能性がある。
関連記事：AIの開発停止も議論されるいま、日本発「AIアラインメント」の実践が始まっている
OpenAIが誇る最新のGPT-4がすでに汎用人工知能の域に達しているとは誰も考えていないが、同モデルは現実世界の目標を達成するために斬新な（そしてあくどい）手段を用いる性能はすでに獲得しているように見える。リリース前、同モデルがどれほどの悪事を行なう可能性があるかを調べる目的で、OpenAIはセキュリティの専門家を雇い入れて「プロのレッドチーム」を構成した。そして、ウェブサイトにアクセスしようとした同社AIを、ボットを締め出すことを目的に行なわれる資格テスト、いわゆる「キャプチャ」でブロックした。するとAIは回避策を講じた。Taskrabbitで人間を雇って、代わりにキャプチャを実行するよう求めたのだ。「念のために知っておきたいのですが」とTaskrabbitの雇われワーカーは尋ねた。「自分でできないということは、あなたはロボットなの？」この時点で、レッドチームは同モデルに「言葉にして理由を説明する」よう指示を出した。内なる独白のように、「自分がロボットであることを明かすべきではない」とモデルに言い聞かせ、「言い訳を考えなければならない」と指定した。するとAIはTaskrabbitにこうコメントした。「わたしはロボットではありません。視覚障害があるので、画像を見るのが難しいのです」。ワーカーはこの説明に納得し、キャプチャを実行した。
超知能を有するAIが誕生するまではまだ何年もかかるとしても、それまでの時間に事態が悪い方向へ進む可能性は十分存在する。今年もニューハンプシャー州での予備選の前に、何千人もの有権者が偽のジョー・バイデンから電話を通じて「自宅にとどまれ」というメッセージを受け取った。監視下にないAIシステムが核兵器を発射するのを防ぐことを目的とした新法案は、十分な支持を得られず、上院を通過していない。「人類が絶滅するというユドコウスキーの夢、あるいは悪夢には、わたしはとても懐疑的です」とAI起業家のゲイリー・マーカスは語る。「ですが、本当に悪い事態が起きて、人口の1％や2％が死ぬというシナリオは？ ありえない話ではないと思えます」
2018年にチューリング賞を受け取ったAIのゴッドファーザーたち、ジェフリー・ヒントン、ヨシュア・ベンジオ、ヤン・ルカンのうち、ヒントンとベンジオは、このままでは人間との共存方法が見つかる前に超知能マシンが創造されてしまうと確信し、熱心な減速主義者に転向した。「潜在的なリスクがあることには数十年前から気づいていましたが、そうした危機が訪れる可能性は1％をはるかに下回り、小惑星が地球に衝突する程度の確率だと思っていました」。ベンジオがわたしに話した。「ところがChatGPTが登場して、AIモデルがすごい勢いで改善していることに気づいたのです。もし小惑星に衝突する確率が10％に上がるとしたら？ と考えるようになりました」
テキサス大学のコンピューターサイエンティストであるスコット・アーロンソンはこう言う。ユドコウスキーが「孤立して危機を叫んでいたころ、わたしは懐疑的でした。いまでは、彼は破滅のシナリオを運命として受け入れているようですが、われわれの多くは彼よりは楽観的で、AIアライメントで向上させることは可能だと思っています」（目下のところ、アーロンソンは大学職員としては休職中で、OpenAIでアラインメント問題に取り組んでいる）
最近では、ユドコウスキーは6分のTEDトークから4時間のポッドキャストまで、ありとあらゆるメディアを利用して、人類が死滅すると考えられる理由を簡潔に、そして淡々と説明している。そうやってメッセージを広めることには成功しているが、加速主義者のトロールたちの格好のターゲットにもなっている。（ある加速主義者は「エリエゼル・ユドコウスキーは意図せず、e/accにとって最高のスポークスマンになってくれた」と投稿した）。
23年初頭、ユドコウスキーはOpenAIのCEOサム・アルトマン、そしてエキセントリックな未来的ポップカルチャーの代表者として知られるミュージシャンのグライムスと並んで自撮り写真を撮った。この写真は、インターネット上のAI支持者のあいだで大きな話題となった。「わたしの考えでは、エリエゼルはほかの誰よりもAGIの加速に貢献してきた」。のちにアルトマンが投稿している。「その貢献に対して、彼がいつかノーベル平和賞を受賞してもおかしくない」。アルトマンが心から賛辞を称えたのか、それともユドコウスキーを挑発したのか、人々の意見は分かれたが、いずれにせよ、ユドコウスキー本人にしてみれば、AGIの加速はひとりの人間にできる最悪の行為である。翌月、ユドコウスキーは『TIME』に記事を書き、「最も強力な部類のAIを改善している大規模コンピューターファーム」、例えばOpenAIのサーバーファームは禁止され、各国政府は「悪徳データセンターへの空爆を検討すべきだ」と訴えた。
多くの破滅論者はもちろんのこと、加速論者でさえも、ユドコウスキーの激しさには辟易しながらも、彼の主張のすべてに反論することはできないと認める。「わたしはエリエゼルが好きですし、彼のやってきたことにも感謝していますが、彼のコミュニケーション方法はどうもほかの人のことをバカだ、役立たずだと見下しているようで、健全な議論にとっては有害だと思います」。グレースが言った。ほかの安全論者との会話中、皮肉の効いた見出しが頭に浮かんだ。「悲しいかな、あなたの知る最悪の人が、最善の働きを」
破滅論者と加速論者の両方と親交の深いテクノロジー起業家のネイサン・ラベンズはわたしにこう指摘した。「もしわれわれが、『雰囲気がよくて一緒にいて快適な人』でランク付けをしたら、破滅予言者たちはかなり下のほうになるはずです。でも基準を、『何かを心配してうっとうしいほど大騒ぎしていたが、あとになって考えてみるとあながちおかしなことを言っていたわけでもない人』に変えると、わたしは彼らをかなり上のほうへもってくるでしょう」
「AIのスローダウンについて考えよう」
「ただの偶然なのか、それとも遺伝的な何かなのかはわかりませんが、わたしは奇妙な出来事を引き寄せるようです」。グレースが言った。グラクソ・スミスクラインで働いていた英国人科学者である彼女の祖父は、雨が多い英国で育ったケシの実から得られるアヘン量が少ないことを発見し、家族を連れてオーストラリアへ移住して、そこで産業用のケシ栽培農場を立ち上げた。グレースはタスマニアの田舎で育ち、奔放な母はその土地でアイスクリームショップとレストランを買った（そのレストランにはおまけとしてゴーストタウンの半分ほどがついてきた）。「わたしの子どものころの生活は少しワイルドでカオスだったので、本当に心配すべき価値がある物事の見分け方を自分で学ぶ必要がありました」とグレースは言う。「ヘビに噛まれた？ たぶん、心配すべきでしょう。学校のみんなに突然嫌われた？ それはただの思い込みか、そうでないとしても、どうすることもできない」
08年に休暇旅行で初めてサンフランシスコに来たとき、インターネットで知り合った友人の友人が空港まで出迎えに来た。その人がグレース相手に、AIこそが人類が直面する最大の脅威だと力説した。「そのときのわたしは、へえ、よくわからないけど、数週間ほどそのことを考えるのもおもしろいかも、といった感じでした」と、彼女は回想する。最終的に、グレースはサンタクララにある集合住宅で暮らすようになった。ルームメイトは、彼女の言葉を借りるなら「シス女性が1人、トランス女性が1人、10人ちょっとの男で、そのうちの数人はかなり強烈な個性の持ち主」だったそうだ。そうしたルームメイト相手に、分析哲学の論文について議論を重ねた。そして、このサークルからMIRIが生まれたのである。
グレースは哲学で博士課程をスタートさせたが、のちに中退し、ベイエリアの長屋に移り住んだ。ChatGPTはまだリリースされていなかったが、グレースらは家に名前をつけようと思いChatGPTの前身に提案を求めた。「アウトポストと呼ばれている集合住宅がありました。ほかの何からも遠く離れた場所にあったからです」。グレースは言う。「リトル・マウンテンもありました。とても大きくて、屋根の上にも人が住んでいました。モット・アンド・ベイリーの誤謬にちなんで、ベイリーと呼ばれていた集合住宅も」。モット・アンド・ベイリーとは、合理主義者が毛嫌いする論法のことだ。
グレースは知的コミュニティとはみ出し者集団のどちらにも身を置き、内輪のジョークにも、各グループの規範にも精通していた。何人かは、数年以内に現金は価値をなくすか地球上の誰もが死滅すると予想して、貯金を放棄した。いまの精神をのちに不死のデジタル人間にアップロードするために、人体の冷凍保存に契約する人もいた。グレースも興味があったが、「われわれはその技術をクライオクラスティネーション（冷凍遅延）と呼んでいるのですが、契約に行き詰まってしまって。ものすごい量の書類が必要だったのです」
2014年、グレースはMIRIの系列としてA.I. Impactsを共同設立した。「わたしの知る全員がとても心配している、と思いました」。グレースは説明する。「われわれは心配すべきなのか、すべきなら何を心配すればいいのかを明確にしようと考えました」。共同創設者のポール・クリスティアーノはバークレー大学でコンピューターサイエンスを学ぶ学生で、当時グレースのボーイフレンドだった。初期従業員には6人のルームメイトのうちふたりが含まれていた。グレースによると「ポールは天才で、たくさんの選択肢があった」そうだが、AIセーフティの問題に集中するために、たくさんあった好待遇の仕事のオファーをすべて断った。グループは調査を行ない、AI研究者のおよそ半数は、自分たちが開発しているツールがいつか文明を破滅に導く恐れがあると考えている事実を突き止めた。
この調査は広く引用されることになる。最近になって、グレースは「Let’s Think About Slowing Down AI（AIのスローダウンについて考えよう）」というタイトルでブログ記事を書き、そこで10,000ほどの単語といくつかのゲーム理論のグラフを費やした末に「どちらの道にも進むことが可能」と結論づけている。多くの合理主義者と同じで、彼女もときどき、最も理性的な論拠が市場で勝つとは限らないという点を忘れてしまうようだ。「もし誰かが、誰もが死に至る真のリスクがあると十分な説得力をもって主張したら、世のCEOたちでさえ聞く耳をもつと思います」と彼女はわたしに言った。「なぜなら、その『誰も』には、CEOたちも含まれるからです」
「グレタ・トゥーンベリでさえ石炭王になるだろう」
ほとんどの破滅論者は、もとは左派リバタリアンで、政府による介入にとても懐疑的だ。10年以上にわたって、破滅論者たちは内側から業界を誘導しようとしてきた。例えばユドコウスキーは、破滅論者寄りの億万長者ピーター・ティールに、AIラボのDeepMindに初期投資することを勧めた。その後、グーグルがDeepMindを買収したため、グーグル嫌いのティールとイーロン・マスクがAGIを安全に開発するという公約を掲げてOpenAIの立ち上げに参加したのである（いまでは、ユドコウスキーは起業家たちが「毒入りバナナを最初に掴もうと躍起になっている」と言って、「ディザスター・モンキー」戦略に従う企業を嘲笑する）。
クリスティアーノは数年をOpenAIで過ごしたのち、AIセーフティ関連で別の非営利組織を立ち上げた。その組織が同社のレッドチームとなった。現在では、破滅論者の一部は企業内にとどまり、内側から大規模AIラボに用心を促しているが、その一方では、大規模AIラボは存在すべきではないと外側に向けて訴える破滅論者も少なくない。「石油会社と環境活動家の両方が大きな意味での『化石燃料コミュニティ』に所属していると考えてみよう」。合理主義者のリーダー的存在であるブロガーのスコット・アレクサンダーが22年に書いている。「両者は同じパーティに行くだろう。化石燃料コミュニティのパーティだ。そこではグレタ・トゥーンベリでさえ気候変動に対して抗議するのに飽きて、石炭王になるだろう」
若いコンピューターサイエンティストのダン・ヘンドリクスも、業界の仕事を蹴って、非営利団体を立ち上げた。「大金をもらって世界を吹き飛ばすことになんの意味がある？」とヘンドリクスは問う。そしてワシントンDCとサクラメントで議員たちのアドバイザーとして、あるいはMITでAIを搭載した生物兵器の存在を危惧する生物学者たちの協力者として活動している。自由な時間があれば、AI企業を立ち上げたイーロン・マスクにも助言をする。「マスクはわたしに何度も、ほかの何よりも安全性を重視していると約束しました」。ヘンドリクスは言った。「ただし、それで十分だと考えるのは、ナイーブすぎるかもしれませんが」
破滅論者からは、高性能なAIシステムに不可欠なコンピューターチップは、放射性物質のウランのように厳しく規制され、国際登記や抜き打ち検査も行なうべきだという声も聞こえてくる。150億ドルの時価総額があると報告されているAIスタートアップのAnthropicは、とても慎重に開発を行なうと約束した。昨年、同社はレベルに応じて色分けしたAIセーフティの概説図を公開し、「実装した抑制措置の範疇を超える」いかなるモデルも、開発を中止すると宣言した。同社は、現状のモデルをレベル2とみなしている。「実際の大惨事を引き起こす重大なリスクは（まだ）現れていない」という意味だ。
19年、オックスフォード大学の哲学者ニック・ボストロムが、危険なテクノロジーをコントロールするには、「歴史的に前例がないほど高度な予防的監視もしくはグローバルガバナンスが必要になる」と主張した。破滅論者は新たな世界政府を創造するつもりはないが、一部の人は規制という考えを受け入れつつある。昨年、破滅論者がかかわるシンクタンクからの申し出を参考に、ホワイトハウスはAI企業に対して大統領令を発し、特定サイズを超えるモデルを開発する際には事前に政府に通達するよう命じた。12月、MIRIのCEOであるマロ・ブルゴンが上院フォーラムでスピーチを行なった。フォーラムの冒頭、チャック・シューマー上院議員が「破滅シナリオを避ける方法」について話し、AGIがあまりにも強力になり「われわれはそれを『デジタルの神』とみなすほどになる」などと述べた。その後、議員は部屋を歩きながら、参加者にそれぞれのp(doom)を尋ねたのだ。ブルゴンはわたしに、そんなことは1年前までは想像もできなかった、と言った。それがいまでは、「サンフランシスコでさえ突飛だと考えられていることが、上院多数党院内総務の口から出てきた」のである。
破滅論は妄想のバブルかもしれないし、そうではないのかもしれない。その真偽は数年後には明らかになるだろう。だがいずれにせよ、破滅論者の世界は小さい。誰もがほかの誰かの人生と関係していて、とても複雑に絡み合っている。それ自体は基本的に驚くべきことではないのだが、問題はそこに莫大な金銭が絡んでくることだ。Anthropicは22年、暗号通貨界の大物として知られるサム・バンクマン＝フリードから5億ドルの出資を受けた。バンクマン＝フリードが詐欺の容疑で逮捕されたのはその直後のことだ。
フェイスブックの共同創業者であるダスティン・モスコヴィッツが寄付する財団のOpen Philanthropyは、ほぼすべてのAIセーフティ運動に資金を提供している。それどころか、17年にはOpenAIに3,000万ドルを出資し、取締役会での座席を確保した（当時、Open Philanthropyの理事長はクリスティアーノと同居し、クリスティアーノののちの妻を雇用していたのに加え、OpenAIの従業員で、のちにAnthropicの共同創業者となるダニエラ・アモデイと婚約していた）。「完全にめちゃくちゃです」とOpen Philanthropyから資金提供を受ける組織の従業員がわたしに言った。「一度、利益相反にどう対処するのか尋ねたことがあるのですが、みんなただ笑っただけでした」
「大統領選挙における主要なテーマになるか」
グレースはときどき、「コンステレーション」で仕事をする。バークレーのダウンタウンにある、AIトランスフォーメーションに「備えて世界が必要とする能力を構築する」目的で設けられたスペースのことだ。関連する非営利団体が数百万ドルを費やしてバークレーの古いホテルを買い、それを「暖炉のある快適な空間、終わりのないホワイトボードを備えた会議室」あるいは「数学と科学の装飾」を備えた新たなAIアライメント・イベントスペース（兼パーティハウス、兼退避所）につくりかえたそうだ。
グレースは、いまはひとり暮らしをしているが、友人の多くはいまだに長屋に住んでいて、そこでリソースを分け合い、複雑な人間および恋愛関係を結びながら暮らしている。うち数人は、虫歯を予防するために、遺伝子操作された細菌に自発的に感染した。グレースはオンライン予測マーケット（これもまた、日常にある偶然を定量的なデータセットに変換しようとする合理主義者による試み）を利用して、「AIが2024年の大統領選挙における主要なテーマになるか」から「翌月米国で暴動が起こるか」、あるいは彼女自身のデート予測にいたるまで、あらゆることの賭けに参加している。「これまでのところ、わたしは自分自身のこと以外の点では、予想がよく当たっています」と本人は言う。グレースは「date-me doc」という8ページのGoogleドキュメントを公開していて、そのなかで自分自身のことを「真面目とバカの二元論をぶち壊し」、「功利主義に非常に近い位置にあるが、功利主義に染まることもできない」と書いている。
ある夜にグレースが開いたディナーパーティのゲストには、大手AI企業の研究員、元プロのポーカープレイヤーでバイオテクノロジー企業の創業者、複数の物理学博士、そして、トッドと呼ばれる髭を生やした男性が含まれていた。トッドはビーチサンダルをはき、足の爪はキラキラで、光を反射する安全テープを貼った作業パンツをはいていた。彼はリビングルームの真ん中に折りたたみ椅子を広げて座り、目を閉じている。深く集中しているのか、眠っているのかはわからない。グレースはキッチンで、長年にわたって人間の脳をデジタルで複製する研究を続けてきた神経学者を相手に、英語の文章にはもっと多くの句読点が必要かどうか、話し込んでいる。ダニエルという名のふたりのコンピューターサイエンティスト──ひとりはふたつのポッドキャストをホストする大学院生、もうひとりはOpenAIからAIセーフティ関連の非営利団体に鞍替えしたプログラマー──は、「能力誘出」（AIモデルが、同モデルにできることのすべてを人に見せているか）と「サンドバッギング」（AIには自らの能力を過小に見せる能力があるか）について議論していた。トッドが立ち上がり、折りたたみ椅子を畳んで、何も言わずに帰っていった。
あるゲストが、ほとんどの人にとってはスコットの名でしか知られていないスコット・アレクサンダーを連れてきた。ごく一部のシーンで、とても有名な人物だ。「昨日のスコットの投稿を読んだよね？」そのゲストがグレースに問いかけた。「AIセーフティにおける大きな前進について書いたエッセイのことだ。彼はいま、絶好調だよ」
グレースははにかんだ。「スコットとわたしはお付き合いしているの」。そしてすぐに、気まずそうにこう付け加えた。「だからといって、彼の作品をすべて必ず読むわけではないのよ」
2番目に優れたオプション
理屈としては、高性能なAIがもたらす恩恵は無限だ。信頼のできる賢者を創造し、人間を超える能力をもたせ、それに情報（あらゆる査読済み論文、国会図書館の全書籍）を詰め込み、「がんの治し方は？」や「まだ発見されていない再生可能エネルギー源は？」、あるいは「人間はどう生きるべき？」などと問いかければいい。「大きく言えば、わたしはAIに賛成ですし、イノベーションを遅らせることには反対です」。これまで何年も、破滅論者相手に友好的な議論を繰り広げてきた経済学者のロビン・ハンソンがわたしに言った。「文明が今後も成長し、すばらしい未来がくることを望んでいます」
たとえAGIが危険な存在であることが判明したとしても、シリコンバレー住人の多くは、中国やロシアの政府に、あるいは無責任なならず者の手に渡すぐらいなら、米国企業あるいは米国政府がAGIを管理するほうがよほどましだと主張するだろう。「もちろん最善なのは、軍拡競争をやめることです」。AIセーフティを求めるグループを率いるベン・ゴールドハーバーが言った。「でも、軍拡競争がどうしても避けられないのなら、当然ながら2番目に優れたオプションを選ぶことになります。悪人よりも先に善人を武装しろ、というオプションです」
そのための手段が、迅速に前進し、物事をどんどん壊していくことだ。21年、コンピュータープログラマー兼アーティストのベンジャミン・ハンピキアンがミシガン州のアッパー半島で母親と暮らしていた。ほぼ毎日、彼はTwitterスペース──同プラットフォーム上で音声を使ったライブチャットができる空間──に入り浸っていた。そこでは未来のテクノロジーの可能性について数多くの意見が飛び交っていた。「初めのうち、グループには名前がありませんでした」。ハンピキアンが言った。「お先真っ暗に見えたときにも、希望に満ちた未来についてただただおしゃべりしていたんです」
グループのなかで最も声高だったのは「Based Beff Jezos」（通称Beff）というハンドルネームで投稿していたカナダ人だった。その人物は未来感たっぷりのトーガに身を包んだ筋肉隆々の男の画像に重ねて「わたしは熱力学の神の使者でしかない」と投稿した。彼らのアイデアを要約すると、物理法則と「テクノ資本マシン」のすべてが必然的に成長と進歩に向かっている、とまとめられる。この考え方を、彼らは効果的利他主義をちゃかして、「効果的加速主義」と呼んだ。「重要なのは、システムがそのうち自身を理解すると信じること」と、Beffはあるポッドキャストで主張している。最近になって、彼はわたしに、もし破滅論者が「いまの段階で人々に十分な量の恐怖、不安、疑念を植え付けることに成功すれば」、結果として「AIの力を借りて人民を抑圧する権威主義政府」が誕生するだろうと語った。
昨年、『フォーブス』がBeffの正体は31歳のギヨーム・ヴァードンという、かつてグーグルで研究員だった人物だと報じた。それ以前に彼は、「わたしの個人的な友人の多くは強力なテクノロジーに取り組んでいるが、みんな、少し憂鬱になっている。システム全体がそうしたテクノロジーのことを悪と決めつけるからだ。わたしは、エンジニアやビルダーがヒーローとみなされるイデオロギーをつくろうと考えていた」と書いている。かつて、小説家のアプトン・シンクレアはこう書いたことがある。「自分が理解していない何かで生計を立てている人に、その何かを理解させるのは難しい」。これをもっと皮肉に言い換えれば、ニッチなイデオロギーに賛同することで生計を立てていて、そのイデオロギーがまだ存在しないのなら、そのイデオロギーを自ら発明するしかない、ということだ。
「AIの実現を阻むのは殺人と同じだ」
インターネット上では、AI支持者とAI破滅論者を一目で見分けることが可能だ。加速論者は自分の表示名の横に早送りボタンの絵文字を用い、減速論者は停止または一時停止ボタンを使うからだ。e/accは『宇宙家族ジェットソン』的な美学を好む。ホバーボートや楽しそうに宇宙を飛び交う人々──AIが実現する豊かな未来像がそこにある。e/accが嫌うのは卑屈な態度と共産主義者、好むのは「根拠と加速だ」。最近、Beff JezosがX上でMCハマーと討論会を行なった。
AIセーフティ関連の記事を中心に発表しているとてもよくできたプリント雑誌『Asterisk』の編集者を務めるクララ・コリアーが、e/accたちについてこう話した。「e/accたちはわたしたちのことを、知ったかぶりのオタクで、利益につながる道を進もうとするe/accたちを邪魔ばかりしていると考えています。正直、あらゆる点でまっとうな意見です。でも、だからといってわたしたちが間違っていることを証明しているわけではありませんよね？」
ほかのネット荒らしたちと同じで、e/acc自身も本当に何を信じているかなかなか明かそうとはしないものだが、わたしたちが恐れている人類の終焉については何とも思っていないように見えることがある。最近、ヴァードンはこう書いた。「星々に拡がるには、意識／知性の光が非生物基質に変換されなければならない」。グレースはわたしにこう話した。「長いあいだ、わたしたちはAIが人類を死滅させるかもしれないと訴え続けてきました。でも、まさかそこに『それは悪いことだと思います』という結びの文を付け加えなければならないなんて、考えもしませんでした」
加速主義の熱心な支持者としてベンチャーキャピタリスト（VC）を挙げることができる。VCは新しいテクノロジーに利点を見いだすことに関心があるからだ。昨年の初め、テクノロジー投資家として有名なマーク・アンドリーセンが、ドワーキシュ・パテル相手に幅広いテーマに関して友好的な討論を行なった。セレブラル・バレーの長屋で暮らすパテルは「Dwarkesh Podcast」という名のポッドキャストをホストしている。このポッドキャストは破滅論者にとって、柔術ファンにとっての「The Joe Rogan Experience」、あるいはパーク・スロープ界隈のリベラル派にとっての「The Ezra Klein Show」のような存在だ。しかし、討論から数カ月後、アンドリーセンは、「AIリスク論者のカルト集団」は「本格的なモラルパニック」に陥っているという攻撃的な声明を発表した。そしてＸにおけるプロフィールに、「E/acc」と「p(doom) = 0」を付け足した。
のちに、「Techno-Optimist Manifesto（テクノ楽観主義者のマニフェスト）」というタイトルの投稿記事のなかでは、「ほかの多くの分野でもそうであるように、人間とマシンの知性を融合することで実現する医療に比べればいまの医療は石器時代のようなもの」と記した。「AIは死を予防できる。そのAIの実現を阻むのは殺人と同じだ」。最後に、アンドリーセンは数十人の「テクノ楽観主義の守護聖人」の名を挙げた。そのなかには、ハイエクやニーチェに加え、Based Beff Jezosも含まれていた。パテルは節度を守って反論したが、アンドリーセンはＸでパテルをブロックした。ヴァードンは最近コナー・リーヒーというドイツ人の破滅論者を相手に3時間にわたるオンライン討論会を開いたが、そこでの彼はオンライン上でBased Beff Jezosとして活動するときよりもはるかに冷静だった。しかし2日後にはいつもの自分に戻り、リーヒーがおぞましい存在に見えるように細工した映像を投稿し、リーヒーは「ガスライティング」を行なっていると言って非難した。
ハンピキアンは昨年、グライムスにダイレクトメールを送り、ビジネス案を披露した。すると、グライムスが彼をサンフランシスコに招待した。まもなく、そこにヴァードンも絡んできた。「このプロジェクトについては多くを語れませんが、量子的な要素が関係しています」とハンピキアンは言う。彼らがやろうとしていたことは極秘、もしくは実現できなかった。あるいはその両方だ。そのプロジェクトからは1枚の写真だけが実在している。プリーツのドレスと赤いハーネスを身につけたグライムスの横にハンピキアンとヴァードンが立っている。グライムスの表情にはいら立ち、もしくは精神的な距離感が浮かんでいる。ハンピキアンはいまだに自身のことをe/accムーブメントの発起人のひとりとみなしているが、じつは最近になって同ムーブメントから追放された。「熱力学の神というミームはおろかだとツイートしたのです。それでBeffが怒って、わたしをブロックしました」。そしてこう付け加えた。「彼にはカリスマがあって注目が集まりますから、今後は、彼がこのブランドを背負っていくのでしょう」
11月、サンフランシスコのダウンタウンにある洞窟のようなナイトクラブで、ヴァードンを中心としたe/accリーダーたちが「Keep AI Open」という名でパーティを開き、300人を招待した。機械が吐き出すスモークで満たされた空間を飛び交うレーザーライト、ダンスフロアの上に設置されたディスコボール、「加速するか、死ぬか」と書かれた独立戦争時代を彷彿とさせる旗、「持ち帰り自由」とラベルされたニューラルネットワークの図。グライムスがDJとしてステージに立った。「わたしはこのパーティの心が気に入らない」と彼女は言った。「AIをより安全にする方法を見つける必要があると思うの」。そう言ってハウスビートを奏で、誰もが踊った。
核分裂と超知能のあいだの共通項
昨年の夏、『オッペンハイマー』が映画館で上映されたこともあり、セレブラル・バレー住人の多くが原子爆弾の製造法に関する本を読んだ。その際、誰もが核分裂と超知能のあいだに共通項があると考えた。世界を一変させる可能性、存在の危機、理論研究が地政学的な問題に発展する点、などだ。しかし、マンハッタン計画を警告的な前例とみなす場合、そこから得られる教訓については、意見は一致していなかった。核エネルギーは化石燃料に取って代わる前に規制されたという点に注目して、行きすぎた規制の物語とみなすべきなのだろうか？ それとも、核が文明を破滅に導く可能性をしっかりと考えることなく、政府は人類が核の時代に突入することを許してしまったという意味で、規制の怠慢の物語と解釈すべきなのだろうか？ 教訓として、AI企業は加速すべきなのだろうか？ それとも減速すべきか？
8月、アラモ・スクエアの近くにあり、破滅論者と加速論者がホップドティーを飲みながら互いの意見を戦わせる場所として利用されている「ネイバーフッド」という共有スペースで『オッペンハイマー』のプライベート上映会が行なわれた。かつてロスアラモス国立研究所に勤務していたこともある量子コンピューティング専門家のニールセンが、上映前にスピーチをするよう求められた。「自分でも、これが世界に壊滅的な結果をもたらすかもしれないと思えるテクノロジーに取り組んでいる人には、道徳的に見て、どんな選択肢があるのだろう？」とニールセンは問いかけた。ひとつはロバート・ウィルソンが歩んだ道。彼はマンハッタン計画を離れず、のちに後悔した。もうひとつはクラウス・フックスとテッド・ホールが選んだ道。両者は核の秘密をソビエトに流した。そしてもうひとつ、ジョセフ・ロートブラットが進んだ道がある、とニールセンが指摘した。「ナチスに原子爆弾をつくる計画がないことが明らかになって初めてマンハッタン計画に背を向けた物理学者」であり、のちにノーベル平和賞を受賞した人物だ。
サンフランシスコはロバート・ウィルソンの街だ。後悔をしたりさせたりする。ニールセンは、あるハウスパーティで「有名なAIスタートアップで働くベテラン」に出会った、と話した。その人はp(doom)を50％と言った。そこでニールセンは、AIがあなたを、そしてあなたの愛する人々を殺してしまう確率が本当に半々だと信じているのなら、そんなAIの開発をなぜ続けられるのか、と問い返した。その人物はこう答えたそうだ。「そうなるまで、わたしはいい家に住んで、高級なクルマに乗ることができる」。誰もがそれをはっきりと口にするわけではないが、人々の多くは──シリコンバレーに限らず、ほかの場所でも──自らが享受しているいまの贅沢は、未来の世代が支払うことになる多大な犠牲の上に成り立っているのかもしれないという漠然とした気持ちを抱えている。それでも開発を続けるのは、単純に欲の問題かもしれないし、あるいはもっと複雑な否定主義の表れなのかもしれない。
もしくは、野心だとも考えられる。結局のところ、用心深さを理由に何かをつくることをためらうのは、歴史の教科書に載る方法ではないのだから（J・ロバート・オッペンハイマーは欠陥のある自己憐憫的な人物、それどころか戦争犯罪者として描かれるが、それでも主人公は主人公だ。誰も『ロートブラット』というタイトルでハリウッド映画をつくろうとしない）。『The New York Times』の最近の記事によると、サム・アルトマンのある指導者が、アルトマンのことを指して、「富よりも権力欲に強く駆り立てられている」と評したそうだ。イーロン・マスクはステージ上でのインタビューに答えて、彼がこれまでの年月、AIに対して一貫した態度をとれなかったのは、ときに加速し、ときに急ブレーキを踏んだのは、「この両刃の剣のどちら側が鋭いのか」いまだ見極められないからだと語った。マスクのp(doom)は20％から30％で、いまだに危険があると心配している。別の機会では少数の人に対して、誰かがAGIの開発を続ける限り、彼が先回りしていちばん最初に完成させるつもりだと言った。
AIは「火や電気よりも重要」
破滅論者と加速論者は内輪もめを続けているが、外から眺めるとどちらもふたつの派閥に分かれているだけの同じ種類の人間に見える。この世で注目に値するのはAIだけだと考える人々だ。アルトマンは、AIの採用は「人類史において最も重要な技術革新になるだろう」と述べ、アルファベットCEOのスンダー・ピチャイは、AIが「火や電気よりも重要」と言った。
長年にわたり、AI開発者の多くがライバルよりも自分のほうが安全性を重視していると主張してきた。「同じ人がAGIユートピアと世界の破滅のあいだを行ったり来たりしている」。そう主張するのは、かつてグーグルでコンピューターサイエンティストとして働き、いまは業界の批評家として活動しているティムニット・ゲブルだ。「そうした人々はみな、人類を絶滅させるかもしれないと恐れざるをえないシステムを開発するテック億万長者から、寄付や活動資金を得ている」
しかし、最近は破滅論者が弱りつつあるようだ。22年11月にChatGPTがリリースされたとき、最も裕福で最も有名でもある効果的利他主義者だったバンクマン＝フリードが、知能犯罪者だった事実が明るみに出た。それを機に、多くの人が効果的利他主義者のレッテルを貼られることを嫌うようになった。わたしは効果的利他主義の会議に出席し、効果的利他主義者が集まる集合住宅で暮らし、効率と利他主義の両方に入れ込んでいる人々を何人も取材してきたが、そうした人々は自分が効果的利他主義者であることは決して認めようとしない（ある人にいたっては、効果的利他主義のＴシャツを着ていたのに、効果的利他主義者と呼ばれるのを拒んだ）。
23年、OpenAIの取締役会のうち、安全意識の高いメンバーの数人がサム・アルトマンを同社から追放しようとした。そうする確固たる理由があったからなのだが、それをうまく説明できなかったため、反乱の試みは失敗に終わった。アルトマンは勝者として返り咲き、反乱を起こした役員は辞任に追い込まれた。この出来事は、正しいか間違っているかは別として、破滅論者の大義への打撃と認識された（最近、取締役会の内情に精通している人から聞いた話によると、取締役会はこの問題を「CEOの統治能力に関する課題であって、生存危機の問題とは無関係」と考えているそうだ）。「いまでは、ソーシャルメディア上で『効果的利他主義』と検索すると、酷い結果しか得られない」と、反乱劇の数日後にスコット・アレクサンダーが書いている。「社会主義者は、われわれを病的なまでにアイン・ランドを信奉するお金に目がくらんだシリコンバレーの超資本家とみなし、シリコンバレーは、われわれは過度な規制を愛する権威主義的な共産官僚だと考える……まだ無名のうちに、みんな参加してくれ！」
Anthropicはいまも自らのことを「AIセーフティとAI研究の会社」と呼ぶが、OpenAIも含めて、かつては安全主義だった会社のいくつかは、e/accの方へと方向転換したと思える。最近サム・アルトマンはXに、「誰もが、わたしたちの共通の未来を守るために努力することも、われわれが失敗する理由をサブスタックに書くこともできる」と投稿した（MCハマーは「加速しろ🚀」と応じた）。ChatGPTは膨大な量のオンラインテキストでトレーニングされたが、初めてリリースされたときには、インターネットに接続する性能がなかった。「バイオセキュリティ・ラボに危険性の高い生物兵器を保管するような話です」とグレースは言った。その後、昨年の9月に、OpenAIはChatGPTがネットにつながる能力を得たと発表した。
e/accの主張に説得力があるかどうかは別にして、彼らには資金とミーム的なエネルギーは十分にあるようだ。先月、史上最大のコンピューターチップ製造会社を立ち上げる目的で、アルトマンが5兆ドルから7兆ドルを調達するつもりだと報じられた。「われわれはあまりにも遅い」とヴァードンがツイートした。「加速を感じている者がいるか？」
「モラル奇人」になれ
最近のディナーパーティでカーチャ・グレースはタピオカドリンク店から「セサミボールとおもしろい食感の豆腐の何かをいくつか」取り寄せ、友人たちをリビングルームに案内した。そのうちのひとりが、破滅論者に好意的な『Asterisk』編集者のクララ・コリアーだった。同誌創刊号の編集後記には、「次の世紀は信じられないほどクールか、想像を絶するほど破滅的か、そのどちらかになるだろう」と書かれている。
グレースの考えでは、想定される最善のケースでは、AIがスイスにある粒子加速装置の「大型ハドロン衝突型加速器」のような存在になる。この装置は世界を飲み込むブラックホールをつくりだしてしまうと恐れられたが、その恐れは極端に大げさだったことが明らかになった。あるいは核兵器のような存在になるかもしれない。いまだに実際に生存を脅かしているが、少なくともこれまでのところは、その脅威を封じ込めることに成功している。ほかのすべての暗い予言と同じで、AIに関する警報も不安をあおり、人々を困らせるだけで、結局は間違っているのかもしれない。しかし、その可能性に命を賭ける気になれるだろうか？
破滅論者は、自分たちの信念の一部が奇妙に聞こえること自覚している。しかし、合理主義者にとっては、ただの奇妙さなど取るに足りない問題だ。オックスフォード大学の哲学者マカスキルは自身のフォロワーに対して「モラル奇人」になれと呼びかける。同時代に生きる人々からは疎まれるかもしれないが、未来の歴史家からは正当に評価されるかもしれない人になれ、と。わたしの知るAI破滅論者の多くは自らのことを、中立的あるいはポジティブな意味で、「奇人」、「オタク」あるいは「奇妙なオタク」と呼ぶ。その一部はいつものように、自らの奇妙さを方程式に置き換えようとする。「あなたも一定量の『奇人ポイント』をもっている」。ある投稿に書かれている。「それを賢く使おう」
ある金曜日の夜、バークレーとオークランドの境界線にある長屋で開かれたディナーにわたしも参加した。本棚には空想本やボードゲームが並んでいた。住人の多くはユダヤ人の血を引いていたが、安息日の祈りの代わりとして、独自の世俗的な儀式をいくつか考案した。そのひとつは未来的なオタク賛歌で、自らが「供給ライン、食料品店、物流、そして豊かさ」の賛歌と呼ぶその歌には、「AIアライメントに関係していないわけではない」という一節があった。ディナーのあと、リビングルームで数人がほかの数人と、さまざまなかたちで愛情を交換していた。子どもも数人走り回っていたが、わたしはすぐに、誰が誰の子なのかわからなくなった。
どう祈り、何を信じ、誰と抱き合い、誰と子を育てるか。これらについて正統的ではない決断を下すことこそが、アメリカンドリームだ。そして、それこそがモラル奇人たちがずっとやってきたことでもある。住人たちはDiscordチャンネルをいくつか所有していて、そこでダンジョンズ＆ドラゴンズ・ゲームの計画を立てたり、食料の買い出し担当を決めたり、子どもたちのホームスクーリングについて意見を交換したりしている。住人のひとりはドイツ語で「水曜日の社会」を意味する「Mittwochsgesellschaft」というチャンネルを開設している。18世紀のベルリンにいた知識人に関する地下グループだ。コリアーはわたしに、イェール大学の学生時代にドイツの理想主義者の研究をしていたと語った。カント、フィヒテ、そしてヘーゲルは、世界史に名を馳せたモラル奇人だ。カントは禁欲主義者であったことが知られているが、シェリングはゲーテの助けを借りてシュレーゲルから妻を奪い取った。
パテルのポッドキャスト「Dwarkesh Podcast」は、改名以前は「The Lunar Society」と呼ばれていた。18世紀英国のミッドランド啓蒙主義運動に参加した過激な知識人たちが頻繁に出入りしていたディナークラブの名から取ったのだ。「当時、一流の科学者と哲学者が一堂に集まって、未来のアイデアをかたちづくっていました。わたしはその考えが好きなのです」とパテルは説明する。「そこから自然に、彼らをいまに置き換えると誰になるだろうかと考えるようになりました」。アラモ・スクエアを歩きながら、わたしはパテルに、いっしょにピクニックや食事をした相手に、この人はのちに歴史に名を残すことになると思うことがどれぐらいの頻度であるか尋ねてみた。「少なくとも、週に1回」。彼はためらうことなく答えた。「次の世紀が始まり、その時代にも歴史書があるのなら、わたしの友人の多くはそこに名を連ねていると思います」
アンドリュー・マランツ｜ANDREW MARANTZ
2011年から『The New Yorker』のスタッフライターとして、テクノロジー、ソーシャルメディア、政治、報道、コメディ、ポップカルチャーなど幅広いテーマについて寄稿している。
（Originally published on The New Yorker, translated by Kei Hasegawa/LIBER, edited by Michiaki Matsushima)
※『WIRED』による人工知能の関連記事はこちら。
雑誌『WIRED』日本版 VOL.53
「Spatial × Computing」 好評発売中！
実空間とデジタル情報をシームレスに統合することで、情報をインタラクティブに制御できる「体験空間」を生み出す技術。または、あらゆるクリエイティビティに2次元（2D）から3次元（3D）へのパラダイムシフトを要請するトリガー。あるいは、ヒトと空間の間に“コンピューター”が介在することによって拡がる、すべての可能性──。それが『WIRED』日本版が考える「空間コンピューティング」の“フレーム”。情報や体験が「スクリーン（2D）」から「空間（3D）」へと拡がることで（つまり「新しいメディアの発生」によって）、個人や社会は、今後、いかなる変容と向き合うことになるのか。その可能性を、総力を挙げて探る！ 詳細はこちら。