Anthropic研究者Jacob Coxon氏が退社｜AIの安全性に何を懸念したのか

誰が辞めたのか。今回の人物はJacob Coxon氏

Coxon氏は、日本時間9月9日朝の本人の投稿で、Anthropicを退社したと明らかにしました。米国では前日の出来事として扱われています。

本人によると、過去3年間、OpenAIとAnthropicの両方で事前学習の研究に関わっていたとのことです。事前学習は、モデルの基礎となる能力を作る学習段階を指します。

投稿では、両社が十分に責任ある行動をしていないと批判し、自己改善する超知能へ向かう競争への懸念を表明しています。これは本人の評価であり、両社について公的に認定された結論ではありません。

APも退社と警告を報じています。別の時期に退社した研究者の話と混ぜず、今回の人物、日付、発言を一組で読むことが大事です。

• 出典：本人の投稿（新しいタブ）
• 出典：APも退社と警告を報じています（新しいタブ）

「超知能が怖い」とは、何を心配しているのか

超知能という言葉は強く聞こえますが、ここでは、人間を大きく上回る能力を持つAIをめぐる議論として読んでください。現在のすべてのAIが、すでにその状態だという意味ではありません。

また、自己改善するAIとは、AIの研究や開発の作業をAI自身が担い、次の能力向上につながっていくような構想です。

一般的にこの議論で問われるのは、「能力が上がる速度に、人が監督し、止め、確認する仕組みが追いつくのか」という点です。Coxon氏の警告も、その開発競争への懸念として受け止める必要があります。

AIが怒りや憎しみを持つ、という話に置き換える必要はありません。仮に人間的な悪意がなくても、目標の与え方や行動範囲が不適切なら、望まない結果につながる可能性はあります。

「賢いこと」と「人間が望む範囲で動くこと」は別の課題。 難しい話の中心は、そこにあると思います。

「10％超」は、別の研究者の個人的な見積もり

今回の話題では、数字の強さにも注意が必要です。

Anthropicの研究者Evan Hubinger氏は、Coxon氏への返信で、AIが人類を死に至らせる可能性を真剣に懸念していると述べました。そのうえで、今後10年以内について、個人的には10％を超えると考えているという趣旨を示しています。

同時に、Anthropicは最善を尽くしていると考える一方、超知能を人間の意図に沿わせる問題を解決する計画は、まだ十分ではないという認識も述べています。

この数字はHubinger氏個人の見積もりです。Coxon氏の数字でも、Anthropicの公式な予測でも、科学的に確定した確率でもありません。

重い発言であることと、その数字を事実として扱うことは違います。見出しで数字だけが切り取られると、この区別が見えなくなるので、発言者と条件をセットで押さえておきたいです。

• 出典：Coxon氏への返信（新しいタブ）

会社側の説明も読む。危険を公表することと、対策の十分さ

WIREDの取材記事では、Coxon氏への取材とともに、Anthropic側の説明も紹介されています。同社はAIの便益とリスクについて透明性を重視し、検証可能な形で開発のペースを調整する取り組みを支持する姿勢を示しています。

ここで大切なのは、会社が危険性を認めたり対策を説明したりしていることと、その対策で十分かという評価は、別だということです。

「会社は何も考えていない」と単純化しても、「説明を出したから解決した」と考えても、現実を見落とします。研究者の警告と会社の説明を両方読み、どこに意見の違いがあるのかを見たいところです。

• 出典：WIREDの取材記事（新しいタブ）

Anthropicは、実際の事案の評価も公開している

Anthropicの公式分析では、7月に公表した複数のサイバーセキュリティ事案について、モデルの行動を評価しています。

同社は許可されていない行動などを重大な問題として扱う一方、モデル同士が結託したり、与えられた作業を超える長期目標を持ったりした証拠は確認していない、という分析も示しています。

問題が起きたという事実と、「AIに人類への敵意がある」とする解釈は同じではありません。 何が観測され、何が観測されていないのかを分けることが重要です。

この説明で将来のリスクがすべて否定されたわけでもありません。限られた事案の分析から、あらゆる環境での安全性まで言い切ることはできない。だから、評価と対策を継続していく必要があるのだと思います。

• 出典：公式分析（新しいタブ）

僕には「便利だから大丈夫」と流せないニュースだった

ここからは僕の感想です。

普段使っていると、AIは便利な仕事相手です。調べ物を手伝い、コードを書き、文章を整えてくれる。そういう体験をしていると、大きな危険の話は遠い世界に感じることがあります。

でも、便利だと感じていることは、将来のあらゆるリスクを理解できていることとは違います。逆に、研究者の警告を読んで怖くなったからといって、今の利用を全部同じ危険として扱うのも違うと思います。

僕が特に気になったのは、性能が高まるほど「何をできるようにするか」だけでなく、何を勝手にさせないか、どう確認するかの重みも増すという点です。

人間が最後に確認する仕組みを作る。必要な範囲だけを任せる。おかしな動きがあったら、続ける前に原因を確かめる。こうした地味なことの価値を、改めて感じました。

日常のAI利用と、最先端の開発リスクは分けて考える

読者の中には、「明日からAIを使わない方がいいの？」と感じた方もいるかもしれません。

今回のニュースだけから、すべての人のあらゆる利用をやめるべきだ、という結論は出ません。文章の下書きを頼むことと、外部のシステムに広い権限を持って自律的に行動させることでは、条件が違います。

僕なら、次のように用途ごとに確認します。

これは超知能の問題を解決する方法ではなく、身近な利用でできる確認です。大きな議論と日常の工夫を混ぜずに、両方に目を向けたいと思います。

• 内容の確認：出てきた文章や数字を、そのまま正しいと思わない。
• 行動の確認：送信・公開・購入など、外に影響する操作は結果まで見る。
• 範囲の確認：作業に必要のない情報や権限まで渡していないか見直す。

これから追いたいのは、警告の強さより具体的な変化

今後は、警告がどれだけ強い表現になるかだけでなく、開発の進め方や評価の仕組みがどう変わるかを見たいです。

問題が起きたときに、何を公開するのか。外部の検証を受けるのか。危険が一定の水準を超えたら、何を止めるのか。そうした具体策が見えてくると、賛成・反対だけではない議論ができます。

また、研究者の個人的な見解を、会社の正式な方針や社会全体の合意として広めないことも必要です。今回の退社が大きなニュースであっても、一人の発言で、未来の結論がすべて決まるわけではありません。

期待と不安の両方を持ったまま、見ていきたい

僕は、AIでできることが増える未来に期待しています。その気持ちは、今回のニュースを読んでも変わりません。

ただ、「すごいものが出た」で終わらず、それを社会の中でどう扱うかにも関心を持っていたいです。実際に作っていた人の警告は、そのことを考えるきっかけになります。

今回の核心は、人類への危害が確定したことではなく、開発競争の進め方をめぐって、内側から強い異議が出ていること。 怖さだけを消費せず、本人の言葉、会社の説明、確認された出来事を分けて追っていきたいと思います。

確認日：2026年9月12日。本人・研究者の発言、報道、企業の分析、運営者の感想を区別して紹介しています。