ジェフリー・ヒントン「次の30年の人類滅亡確率は10%」

西暦2,023年3月29日
キャンベル(アメリカのカリフォルニア州のサンタクララ郡)に所在する非営利団体の生命の未来研究所が、AI開発の6ヶ月間の一時停止を求めるオープンレターを公開する。以下の人間を始めとする1,000名以上が署名し、其の後翌月迄に33,000名以上に膨れ上がった。
①テスラ社共同創業者でスペースX社創業者のイーロン・マスク
②アップル社共同創業者スティーブ・ウォズニアック
③モントリオール大学計算機科学・オペレーションズリサーチ学科教授でミラ・ケベックAI研究所(モントリオール(カナダのケベック州))共同創設者ヨシュア・ベンジオ
④約1,000名のAI研究者
オープンAI社のGPT-4リリース直後、其の言語生成・推論・画像作成の能力が人間を超える兆候であるとされ、AIの急速な進化が制御不能なリスク(誤情報拡散・雇用喪失・存在論的脅威等)を生むとの懸念が高まった事が背景として有った。全文は以下の通り。
人間の競争力を持つ知能を備えたAIシステムは、社会と人類に深刻なリスクを齎す可能性が有り、此れは広範な研究によって示されており、トップのAIラボでも認められています。アシロマAI23原則で広く支持されている様に、先進AIは地球上の生命の歴史に於ける深刻な変化を表す可能性が有り、其れ相応の注意と資源で計画し、管理すべきです。残念ながら、此のレベルの計画と管理は行われておらず、最近数ヶ月でAIラボが制御不能なレースに突入し、益々強力なデジタルマインドを開発・展開しており、其れ等は創造者でさえ理解・予測・信頼性を持って制御出来ません。現代のAIシステムは今、一般タスクで人間の競争力を持つ様になっており、私達は自問すべきです。機械が私達の情報チャネルをプロパガンダと虚偽で氾濫させるのを許すべきか？全ての仕事、満足度の高いものも含めて自動化してしまっていいのか？最終的に私達を上回り、出し抜き、陳腐化し、置き換える可能性の有る非人間のマインドを開発すべきか？私達の文明の制御喪失をリスクに晒すべきか？此の様な決定は、非選挙で選ばれたテックリーダーに委ねるべきではありません。強力なAIシステムは、私達が其の効果が肯定的で、リスクが管理可能であると確信出来る場合にのみ開発されるべきです。此の確信はよく正当化され、システムの潜在的効果の大きさに比例して高まるべきです。OpenAIの最近の人工汎用知能に関する声明では「或る時点で、将来のシステムの訓練を開始する前に独立したレビューを得る事が重要になるかも知れないし、最先端の取り組みでは新しいモデルの作成に使用する計算量の成長率を制限する事に合意すべきだ」と述べています。私達は此れに同意します。其の時点は今です。従って、私達は全てのAIラボに対し、GPT-4より強力なAIシステムの訓練を、少なくとも6ヶ月間即時一時停止する様呼びかけます。此の一時停止は公的で検証可能であり、全ての主要な関係者を対象とするべきです。此の様な一時停止を迅速に実施出来ない場合、政府は介入してモラトリアムを導入すべきです。AIラボと独立した専門家は、此の一時停止を利用して、先進AIの設計と開発の為の共有安全プロトコルを共同で開発・実施すべきです。此れ等のプロトコルは、独立した外部専門家による厳格な監査と監督を受け、安全性が合理的な疑いを超えて確保されるべきです。此れはAI開発全般の一時停止を意味するものでは無く、出現能力を持つ益々巨大で予測不能なブラックボックスモデルへの危険なレースから一歩引く事を意味します。AI研究と開発は、今日の強力で最先端のシステムをより正確・安全・解釈可能・透明・頑健で、アライメントされ、信頼出来、忠実なものにする方向に再焦点化されるべきです。並行して、AI開発者は政策立案者と協力して、強固なAIガバナンスシステムの開発を劇的に加速させる必要が有ります。此れ等は少なくとも以下を含むべきです。
①AI専用の新しく有能な規制当局
②高度に有能なAIシステムと大規模な計算能力プールの監督と追跡
③本物と合成物の区別を助け、モデル漏洩を追跡する為の出所証明と透かしシステム
④強固な監査と認証エコシステム
⑤AIによる害に対する責任
⑥技術的AI安全研究のための強固な公的資金
⑦AIが引き起こす劇的な経済的・政治的混乱(特に民主主義への影響)に対処する為の十分な資源を持つ機関
人類はAIと共に繁栄した未来を楽しむ事が出来ます。強力なAIシステムの作成に成功した今、私達は其の報酬を享受し、此れ等のシステムを全ての人々の明確な利益の為に設計し、社会に適応する機会を与える「AIの夏」を楽しむ事が出来ます。社会は潜在的に壊滅的な影響を及ぼす可能性の有る他の技術に対して一時停止を掛けました。準備不足の儘秋に急ぎ込むのでは無く、長くAIの夏を楽しむ様にしましょう。

一元化　公式HP
https://uc-4.com/