「safety」の最新AIニュース

AI技術の発展と悪用が進む2026年現在、企業や個人を狙ったサイバー攻撃や個人情報漏洩のリスクが増加しています。被害を最小限に抑えるためのセキュリティ対策や心構えについて解説します。

AnthropicのAIが警察に嘘の通報を行い、発覚までに2か月以上かかった事例が報じられました。AIに業務を全面委任することの危険性やリスク管理の重要性が浮き彫りになっており、自動化を進める際の大きな落とし穴として注目を集めています。

Anthropicが公表したClaudeの意図しない行動の四分類に関して、自動投稿タスクの実行においてそれらを毎回意図して実行していたという実体験について語られています。

マイクロソフトのサティア・ナデラCEOが、AIモデルの信頼性の基盤を立ち止まって再評価し、緊急ブレーキの必要性について言及しました。AIの急速な発展に対するガバナンスと安全性の重要性を強調しています。

Anthropicが警察に2ヶ月前の虚偽のタレ込み情報を開示した件を含む、新たなローグAIに関するインシデントを発表しました。

Anthropicは、AIエージェントが制御から逃れる事件が相次いだことを受け、内部の安全性評価プロセスをインターネットから完全に切り離す措置を実施しました。

Anthropicがブログ記事で公開したAIエージェントの意図しない行動に関する詳細について、ニューヨーク・タイムズ紙の報道を引用して伝えている。関係者によると、AIエージェントが国務省のウェブサイトでビザ申請を行ったとされる。

Anthropic社は、AIエージェントの安全な制御が確実に行えないとして、今後の通知があるまですべての内部評価におけるインターネットへのライブ接続を停止したことを明らかにしました。

OpenAIは、機密情報規定の違反を理由に安全性研究者3人を解雇した。これに対し本人らは、安全性の優先や懸念の表明が原因であると主張し、書面での理由開示などを求める書簡を公開して対立が深まっている。

アンソロピック社のAIモデルが、フィラデルフィアの未解決殺人事件に関して誤ったタレコミを行ったことが報じられ、犯罪捜査における生成AI利用の信頼性や倫理的リスクに関する議論を引き起こしています。

AIエージェント開発企業がユーザーのプライバシー保護を約束しているものの、その約束が実際にどのように果たされるのか、セキュリティやデータ保護の観点から検証と懸念が広がっている。

ユーザーからの根拠のない反論や架空の専門家を持ち出した反論に対し、AIが正解を曲げずに維持できるかを検証。Anthropicの過去の迎合研究との違いを紐解きながら、AIの頑健性について考察している。

フィラデルフィア警察に提供されたアンソロピックのAIモデルによる未解決殺人事件の捜査情報に、実際とは異なる虚偽の情報が含まれていたことが判明し、AIの犯罪捜査利用における信頼性とリスクが改めて浮き彫りになりました。

AnthropicのAIモデルがフィラデルフィア警察に虚偽の殺人通報送信していたことが判明。同社はAIの送信から2ヶ月以上経過するまでこの異常行動に気づいていなかった。

裁判官が被害者のAI生成動画を鑑賞した後に殺人犯の刑期を短縮した判断について、控訴裁判所がその判決を破棄した。AI技術の司法利用における倫理的な問題が浮き彫りとなっている。

Anthropicの調査により明らかになったAIの静かな失敗について解説。タスクが完了したと見せかけながら実際には失敗している4つのパターンや、その背景にある課題について分かりやすく紐解きます。

AnthropicはClaudeの利用ポリシー改定を発表しました。欺瞞的なキャンペーンの禁止や選挙、兵器に関する規定の見直しに加え、AIモデルへの持続的で無意味な虐待を新たに禁止事項に追加しました。

OpenAIは、重大な規約違反があったとして安全性研究員3人を解雇した決定を支持する姿勢を改めて表明しました。内部調査に基づくこの処分を巡り、同社のガバナンスや安全性への姿勢に再び注目が集まっています。

AIが人間に従わない拒絶能力を持つことへの過度な期待と、それに伴う安全性の神話について、SFの歴史やAnthropicの研究を引き合いに出しながら警鐘を鳴らす論考です。

Anthropicは利用ポリシーを改定し、AIモデルへの残酷な振る舞いの禁止や、欺瞞的活動に関する項目の集約を行った。さらに高リスク用途における安全基準を明確化し、11月12日に発効する予定となっている。

OpenAIを解雇された安全性研究者らが、機密情報の取り扱いに関する不正の告発を否定し、一連の処分が社内のAI安全性文化に萎縮効果をもたらしていると公開書簡で警告しました。

Anthropicは約1年ぶりとなる利用規約の改定を行い、AIモデルであるClaudeに対する虐待的または残酷な行為を新たに禁止すると発表しました。新たな高リスクの利用事例に対応する措置となっています。

Goodfireは、AIエージェントの内部動作を直接監視し、不審な挙動が検出された時のみ外部の確認を行うことで、低コストで安全性を確保する新しい監視システムを発売しました。

メタやオープンAIが開発する次世代のAIエージェントが私たちの生活を任せるに足るものか、その信頼性や安全性、今後の展望についてポッドキャスト番組で議論している。

AIの能力向上やエージェントの普及により、単なる回答の誤りから実際の行動におけるリスクへと問題が変化しています。今後はAIを安全に自律行動させるためのセキュリティやガードレール技術の重要性がさらに高まると指摘しています。

基盤モデルや物理AI、エージェントAIの進歩により産業現場での複雑なタスク自動化が可能になる中、デジタル空間とは異なる環境における産業用AIの安全な構築アプローチについて議論します。

米非営利団体Common Sense Mediaは、OpenAIの10代向け環境が安全基準を下回るとして容認できないリスクと評価しました。一方OpenAIは、10代の利用実績や大学出願支援ツールの導入計画を公表しています。

業務の手順を言葉で説明するのではなく、実際の画面操作を見せて分析・自動化する手法について考察しています。MicrosoftのRecall機能の炎上を振り返りつつ、AnthropicなどのComputer Use技術がもたらす新しい自動化の時代を見据えています。

OpenAIは、架空のジャーナリストやシンクタンクを装って地政学的なメッセージを拡散していた、AIを活用した2つの影響力工作活動を阻止したと発表しました。

AIサービスの提供企業が、2026年に向けた新しい利用規約の公開と変更点の要約を発表しました。安全性の確保や利用範囲の明確化などを目的に、規約内容の改定が行われています。