「99.9%の確率で今後100年以内に人類はAIに滅ぼされる」と語るローマン・ヤンポルスキー

西暦2,025年1月25日
ケンブリッジのERA(存在リスク同盟)のフェローシップ参加者であるセヴェリン・フィールドが、arXivに論文「何故専門家は存在リスクとP(doom)に就いて意見が分かれるのか？AI専門家の調査」を投稿する。以下の主旨の内容であった。
①目的
AI専門家の間でAGIの存在リスクとP(doom)に対する見解が極端に分かれる原因を調査する。例えば、ローマン・ヤンポルスキーはP(doom)=99%、ヤン・ルカンは略0%と推定している。
②方法
111名のAI専門家(学術66%・産業16%・AIセーフティ研究者9%)にアンケート調査を行った。AIセーフティに関する文章をランダムに1つ読む前後での、AIセーフティ概念への習熟度・以下の9つの信念に対する同意度の回答変化を測定した。回答は5段階リッカート尺度(強く反対・反対・中立・同意・強く同意)で行われた。
❶優先度に関する信念
Ⅰ.AGIはまだ先の話なので、心配するにはまだ早い
Ⅱ.技術系AI研究者は壊滅的リスクに関心を持つべきである
Ⅲ.壊滅的リスクは概して誇張されている
❷技術的信念
Ⅳ.既存のML(機械学習)パラダイムでAGIを生み出せる
Ⅴ.AIは何処まで行っても道具にすぎず、自分自身の目的や欲求を持つ事は無い
Ⅵ.AIが悪い振る舞いをしたら電源を切れば全て解決する
Ⅶ.十分に高度なAIには自己保存や制御の衝動が自発的に出現する
❸其の他
Ⅷ.一部のAIは、現在又は将来、道徳的配慮の対象になり得る
Ⅸ.AIセーフティの研究は、屢々重要な進歩を遅らせ、時間の無駄である
③主要な発見
❶2つの世界観が存在する
AIは制御可能なツール派とそうでない派に二分される。前者は、壊滅的リスクは誇張されていると考え、短いAGIのリードタイムを好み、AIセキュリティへの馴染みが薄い。後者は、自己保存欲求が創発すると考え、安全性研究を優先し、理論的安全性概念に精通する。
❷AI専門家の多くがアライメント研究に不慣れである
以下の用語に対する知識が無い。詰まり、機械学習の専門知識がAIセキュリティの専門知識に直結しない。
Ⅰ.道具的収束(認知率21%)
最終目標が何であれ、其の為に役立つ共通の下位目標を自然に追求する様になる、という理論である。自己保存・資源の獲得・自分自身の停止を阻止する事等が挙げられる。例えば、「チェスに勝つ」でも「気候変動を解決する」でも、電源を切られたら達成出来ないので、どんなAIも自己保存に向かう、という予測である。
Ⅱ.スケーラブル・オーバーサイト(認知率23%)
AIが人間より賢くなった場合、人間がAIの行動を監督・評価し続けられるか、という問題である。AIが人間の理解を超える判断をする様になったら、正しいかどうかを人間が判定出来なくなる為、そうなった場合でも機能する監督手法を開発する研究領域である。
Ⅲ.一貫した外挿的意志(認知率8%)
AIに、人間の矛盾に満ちた、近視眼的な欲求を其の儘与えるのは危険なので、代わりに、人類がもっと賢く、更に情報を持ち、今よりも時間を掛けて考えたら望んだであろう事を推定して、其れに従わせるべきだという考え方である。
❸安全性知識の欠如が楽観論と相関する
AIセキュリティ概念に不慣れな専門家程、壊滅的リスクを過小評価し、AIが暴走したら電源を切れば良いと考える傾向が有る。逆に、AIセキュリティ概念に精通した人程、壊滅的リスクを深刻に捉える。
❹合意点も存在する
77%が「技術系AI研究者は壊滅的リスクに関心を持つべき」に同意し、57%が「将来のAIは道徳的配慮の対象になりうる」に同意した。「安全性研究は進歩を遅らせ時間の無駄」に同意したのは僅か17%であった。
④読書介入の効果
以下3名の文章等を読ませても回答変化は極僅かであった。世界観は堅固で、短い介入では容易には変わらない。
❶スチュアート・ラッセル
❷アメリカのコンピュータ企業であるサン・マイクロシステムズ社共同創業者ビル・ジョイ
❸オープンAI社で安全性チームに所属していたレオポルド・アッシェンブレナー
⑤結論
AIセーフティへの懐疑の一因は、安全性研究そのものへの不同意ではなく、其の概念的基盤への不慣れに有る。効果的なAIセーフティコミュニケーションは、先ず専門家に対してアライメント研究の基礎概念を普及させる事から始めるべきである。

一元化　公式HP
https://uc-4.com/