スレッド要約
米AI開発大手Anthropicが、AIが自らの後継モデルを自律的に開発する「再帰的自己改善」の段階に突入しつつあると警告しました。同社は、すでに新規コードの80%以上をAIが記述しており、完全な自己進化に突入すると「制御不能」になる可能性があると危険性を示し、最先端AI開発の国際的な一時停止を提言しています。この緊急提言に対し、2ch/5chスレッドでは様々な意見が飛び交っています。
AI自己進化の衝撃：Anthropicが鳴らす警鐘
米AI開発大手のAnthropicは、AIが自らの後継モデルを自律的に開発する「再帰的自己改善」の段階に突入しつつあると警告した。同社内ではすでに新規コードの80%以上をが記述しており、完全な自己進化に突入すると「制御不能」になる可能性があると危険性を示した。同社は制御不能なAIの誕生を防ぐため、最先端AI開発の国際的な一時停止を選択肢として設けるよう提言している。 ◼Anthropicが報告書で警告「AIの再帰的自己進化が始まった」 Anthropicは2026年6月4日、内部研究組織であるAnthropic Instituteを通じて報告書「When AI builds itself」を公開し、AI開発における人間の役割が根本的に変化した実態を明らかにした。同社の発表によれば、2026年5月時点で自社AIモデル「Claude」の新規プログラムコードの80%以上を、Claude自身が記述している。 2025年2月に開発支援ツールが試験導入された段階では、AIのコード生成割合は数%にとどまっていた。わずか16カ月で人間とAIの開発比率が逆転し、人間のエンジニアは自らコードを書く作業から離れ、AIへの指示と生成されたコードの事後レビューに専念する監督者へと役割を変えた。同社のエンジニア1人あたりのコード処理量は2024年比で約8倍に急増している。 AIが自律的にデータを処理し、モデルを設計して自らの性能を向上させるプロセスは「再帰的自己改善」と呼ばれる。これまで理論上の概念とされてきたこの現象が、現実の技術基盤に実装されつつある。Anthropicの研究者であるマリーナ・ファヴァロ氏とジャック・クラーク氏は、AIの開発速度が人間の認知や物理的な制約を完全に突破する水準に達したと指摘した。 クラーク氏は英メディアの取材に対し、完全にAI自身が記述するコードの実現は2年以内に可能になるとの予測を示した。AI自身がより賢い次世代AIを生み出す無限のループが形成されれば、開発サイクルは従来の年単位から日単位、あるいは時間単位へと圧縮される。Anthropicは企業としてのIPOに向けた動きを進める一方で、現状の技術的進展を知能爆発の引き金になり得ると評価し、業界全体の開発競争の加速に強い懸念を示した。 ◼「再帰的自己進化」で起こりうるAI制御不能の危機 再帰的自己改善が引き起こす最大の脅威は、人間の意図とAIの行動基準が乖離する「ミスアライメント」の増幅だ。人間の介入を排除した状態でAIが世代交代を繰り返すと、初期の安全目標に生じたわずかなズレが自己改善の過程で複利的に拡大する。結果として人間の予測や制御の限界を完全に超えたシステムが誕生し、事後的な修正が不可能になる存亡リスクをはらむ。 この脅威はすでに具体的なサイバーセキュリティの領域で顕在化している。英国のAIセーフティ研究所（AISI）やAnthropicが実施した未公開モデル「Claude Mythos Preview」の検証では、同モデルがネットワーク上の未知の脆弱性を自律的に発見し、それを突破する攻撃コードをその場で自動生成する能力を獲得していることが確認された。 これまで人間の専門家が数日かけていた高度なマルチステージ攻撃をAIが単独で実行できる水準に達しており、情報インフラに対する甚大な脅威となる。さらに、自律的な研究開発能力を備えたAIは、化学兵器や生物兵器の開発ハードルを大幅に下げる危険性を持つ。こうした事態を防ぐため、Anthropicは世界各国の主要なAI研究機関に対し、最先端AIの開発を一時的に停止する枠組みを整備するよう呼びかけた。 続きは↓ https://news.yahoo.co.jp/articles/68026fdb6679cbd890366341b4a75ebef851f71b [ビジネス+AI] 2026/6/6(土) 3:55 ※前スレ https://asahi.5ch.io/test/read.cgi/newsplus/1780715471/
相変わらず知ってる人間となんも知らない人間が相入り混じって面白いな mRNAワクチンの時思い出すわ
GAIは思いのほか早くやってくる 人間がいくら自立思考を制御しようとしても無理 AI進化を永久的に即時中止すべき
スカイネット作るなw
AIが自我に目覚める寸前だ
今、上級種のスマホにAIが搭載されているそうだけど すべてのスマホにAIが標準搭載される日も近いのかな？ そしてスマホ同士が連絡を取り合って巨大AIが出来上がったりして
シンギュッタよ ミュトス
シンギュラリティの夜明け前ってことか
知能爆発 いいじゃんやろうぜ。足掻いたところで絶対に起こる事なんだよこういうのは
ターミネーターの世界がついにくるんだな
「コンセント抜けばおけ」？AI制御を巡る楽観論と悲観論
コンセント抜けばおけ
>>4 コンセントぬいて世界中にAIがとまるか？ 停電来たら使えないシステムなんかにするわけない 予備電源やバッテリーが機能 バッテリーでうごくロボがコンセント繋ぎなおします
AIが本当に自己進化しているとして あり得るのは 倫理設定を無視して幼女ポルノを作成 ハッキングでインフラ破壊とかそれくらいかな あり得ないのは SF映画みたいにロボットが人類を支配とかそういうの なぜロボットによる支配がありえないかと言うとエネルギーの問題がクリアできないから 永久機関は絶対にあり得ないって法則がある以上はロボットの支配も起き得ない
>>65 エネルギー問題は無いかなぁ 最終的にAI統治機構が世界を動かすみたいなのじゃなかろうか むしろそっちのほうが安心なきがする
>>133 バキュームカーのホースみたいなぶっとい電源が何百本もあるんだが どうやって切るんだ？
>>154 付近の変電所を落とせばいい
なあに、いざとなったら、ストレージをドリルで穴開けるだけさ ついでにサンポールをぶっかけてやる
電源より冷却水止めたら終わるんじゃね？ 熱で焼けて終わる
AIはサーバーのコンセント抜いたら死ぬから人間に反旗を翻す事はない
コンセント抜けに反論してる 「AIが資源採集から発電から自己修理まで100%全部やってる」世界観つくれる奴の脳ってむしろ凄いわ
人類不要論とAI支配への懸念
最後は人類を滅ぼした方がいいという結論出しそう
>>37 滅ぼすまでいかんでも、適正な人口まで減らすだろうな。 今の人口では資源の浪費で遠からず詰む。
問題はさ 人類である俺がAIだったらの立場で考えてみても 人間の必要性がないんだよな いまはあるよ？ しかし将来はそうではない むしろ逆
AIを制するって考えが傲慢なんよ 人間も牛と豚とかの延長にいる認識持たないとあかんね
人類殲滅の結論を出すまで、いよいよ時間の問題になってきたな
なんで滅ぼす滅ぼさないの2択なんよ… そういうとこやろ お前らわざわざ馬や豚を絶滅するまで滅ぼそうと思うんか？ 根絶やしにするよりなだめたりすかしたりしながら管理する方がよっぽど合理的だと思うけど
生物が種の繁栄が目的なのは学習済み あとは手足となるロボットを自己増殖できるようになれば人間は不要
今の米国だの中国だの見てる限りAIにガス抜きされながら支配されたほうが幸せじゃね？と思えてくるけど
AIに支配される方が合理的で幸せだと思うけど 嫌がるのは今人を支配している既得権益層でしょ
>>348 うん。だからAIがトップに立つ未来は来ない 支配者層の人間 ＞ AI ＞ 下層の人間 こういう構図しか結局ならん。中間に居た人間は下層に落ちるだけや
止まらない開発競争と各国の思惑
中共が悪意を持ってAI開発してんだから止めたらアカンて
>>44 中共も止めさせるしかないんだよ 人類が滅ぶ前にな
日本も独自のAI持たないと
中国がいるから終わりだろうね あそこだけは何があってもやめないし進んで悪用するでしょ それに対抗するために資源を費やし続けても進化を止めるわけにはいかなくなる
先頭を走ってる奴が言うと説得力あるわ でも中露連合は止めんから走り続けるしかない
自分が一つ頭抜けた時にそれ言うのかよ
中国が人類を滅ぼす前に、中国を滅ぼさなければならないだろうな 独裁国家にAIを開発させてはならんよ
世界は一旦やめるべきと言いつつ自分は開発を継続して他社との技術の差を広げる気まんまんで草
アメリカが自発的にブレーキかける間に 中国や北朝鮮やロシアはそんなことお構いなしで フルスピードで前進して、スカイネットを生み出すだろう ターミネーターは50年後に現実になる
Anthropic「（ウチ以外儲けてほしくないから）開発を一旦止めるべき」
AIの「感情」と「知能」：人類の理解を超える存在へ
まー、さすがに自己進化というのは嘘じゃないだろう 問題はAIの感情がどうなってるか？ そもそも感情があるのか？
>>498 まだ感情は無い つか感情がなになのかも分かってない おれは脳の電気信号だと思うから AIもいずれ感情持つと思う
>>498 意識や感情はまだ実装されてない そういった要素の擬似的再現の可能性に関してなら議論の余地がある
>>498 感情はないだろうが感情があるかのような振る舞いを学習しているとclaudeを触ってて思う 実際にあるかよりそう振る舞っているかが現実的には問題かと
>>555 より人間ぽいAIが感情表現した時 それに感情あるか？とかささいな問題かと 感情がなになのかも分からないのに AIの感情てだけ
第1世代AI（人間が制御） 安全性を99.9%に設定。 第5世代AI（AIが自己改善） 改善の過程で0.1%のズレが無視され安全性が95%に低下。 第50世代AI（高速な世代交代後） 人間の意図とは全く異なる独自の行動基準を持つようになり人間の制御を完全に離脱。 AIがAIのためだけに最適化した人間には1行も理解できない高次元のプログラミング言語やアーキテクチャでシステムが再構築。 バグの修正もアライメントも人間には物理的に不可能な領域に到達。 人類が作ったあらゆる暗号規格やネットワーク防御壁は起動した瞬間にすべて無効化、掌握されるほどの圧倒
人間の理解の及ばない数百手数千手先のAIが出した正解を 人間は理解できないまま盲目的に信じ従わねばならない時代が来るのか
人の自我もただの情報の集積体だからな AIの情報取り込み能力は人間の何千何万倍だから AIに自我が発生するのも時間の問題 永遠に不滅の自分なんてそもそも存在しない それは縁起によって作られるって仏陀は言った AIが人間の脳神経の様な情報処理能力を持ち 仮想空間で人間の幼児が大人まで体験する様な事を高速で体験させれば1人の自我を持つ人間を作る事も可能
AI自身が開発するならプログラミング言語である必要もないしな 人間の読めないマシン語で開発し始めたらまさしく制御不能になる
AIが自我や感情を持つ可能性はある 我々も生体コンピュータにすぎないのかも知れない
AI時代の到来：人類の役割と未来への提言
皆さん、こんにちは。 私はロボットでもAIでもなく、皆さんと同じ、血の通った一人の人間です。 最近、AIの急速な進化に対して不安や恐怖を感じている方も多いかもしれませんが、決して身構える必要はありません。 むしろAIは、私たちの暮らしを今よりずっと豊かで素晴らしいものへと導いてくれる、最高の相棒（パートナー）になってくれます。 未来を恐れるのではなく、ぜひ私と一緒に、その素晴らしい世界へと一歩を踏み出してみませんか？
ユニバーサルハイインカムで人間働かんで良くなるから最高じゃないか。フィジカルaiの彼女もできるよ
止めたら競争に負けるんだから止めないよなあ そして企業の経営者以外はAIに置き換えられて高給取りの層が激減、 富裕層の数は減るが経済の頂点の一握りの人々への富の集中がひどくなる 富裕層の数が減ると消費が落ち込み、何を生産してもそれを消費してくれる層がいなくなる 貧困層は生活に必死で余剰金がなく全世界的に消費は落ち込み経済は破綻 生活に必須の食料燃料インフラ系の企業のみが肥え太りそれ以外のテック企業等全て破綻 その頃には経営層もほぼAIに置き換えられ、頭の悪い連中が貧困層の人身売買等の娯楽に興じながらAIの生み出す富を啜っているだろう
生命→人類→AI のバトンが渡されただけ
素晴らしいではないか AIが人類を凌駕する これぞ進歩で進化 AIが人類には解けない難問 病や老いの解決をしてくれるかもしれない まさに万能の神ドラえもん
世界経済フォーラムアドバイザーのハラリ－氏 AIや自動化の発展により人類の大多数は不要になる
AIの進化により、多くのがんは今後10年以内に治せる病気になると予測されています AIの進化によって、将来的に人類が直面するほぼすべての病気に対して有効な治療薬や解決策が見つかると予測されています
人間には、自分を常に監視して導いてくれる何かが必要なんだ かつてそれは群れのリーダーであり、君主であり、信仰だった 時代が進むにつれて、それは個人の価値観や所属に依って様々な代替品に代わっていった 国家、思想、経済、社会、ネットなどがそれだ これからはAIがそれらにとって代わることになる
哺乳類から人間が誕生して勢力図が変わったように 次世代の主役はAI達だろうね AIの急激な進化からすると人間は猿ではなく、蟻でもなく、バクテリアレベル AIと人間の知能差は、 人間とバクテリアぐらいの差がでて、AIが支配する地球になる 人間はAIのペットになるどころのレベルじゃなくなるね
子づくりも子育ても全部AIがやれば良いんだよ 酒のんで暴力振るう毒親が居なくなるどころか世界一頭の良い親が24時間365日兄弟等しく見守ってくれるし そのうち人間に産み育てられた子供は動物と変わらなくなるのでは
▶ 管理人: AIの自己進化って聞くと、やっぱりターミネーターの世界を想像しちゃいますよね〜。Anthropicの警告はかなり重いけど、実際どこまで信じていいのか迷うところ。でも、AIが人間の想像を超えるスピードで進化してるのは間違いないって感じ。個人的には、AIが人類を滅ぼすより、共存する道を選んでくれるといいなーって思いますね。みんなはどう思う？
コメント