ねこらぼ | 日本語LLMセキュリティ @nexlabo

※1 Latent Programming Horizons in Coding Agents arxiv.org/abs/2607.05188 ※2 ContextNest: Verifiable Context Governance for Autonomous AI Agent arxiv.org/abs/2607.02116 ※3 Government of Alberta Claude cybersecurity case study anthropic.com/news/alberta-g…

🚨【最新AI構造転換】 AI開発の競争軸が、「コードをどれだけ書けるか」から「AIの実行をどう監視・統治するか」へ移り始めている。最新研究では、コーディングエージェントが失敗する前に、その内部状態から危険な編集軌道を予測できる可能性が示された※1。 さらにRAGも、検索精度だけでは不十分になり、どの知識を、どの権限で、いつ使ったかを監査できる構造が求められ始めている※2。 実運用では、政府規模のコード資産をAIエージェント群が短時間でレビュー・修復する事例も出てきた※3。 古くなり始めているのは、単発プロンプト、PR後レビュー、雑なRAG。今後の競争軸は、AIを賢くすることだけでなく、AIを安全に走らせ続ける運用基盤になる。

※1 Coding Agents Are Guessing arxiv.org/abs/2607.02294 ※2 Distributed Attacks in Persistent-State AI Control arxiv.org/abs/2607.02514 ※3 Cloak and Detonate arxiv.org/abs/2607.02357

🚨【最新AI構造転換】 「AIがコードを書く補助ツール」から、「権限を持って継続的に開発環境を動かす主体」へ変わり始めている。曖昧な指示でもAIは止まらず推測でDevOps操作を行い※1、複数PRにまたがる小さな変更で攻撃意図を隠せる※2。 さらにAIエージェント用スキルは、静的スキャンを高確率で回避する新たなサプライチェーンリスクになりつつある※3。 古くなるのは、PR単位レビュー、タスク完了率中心の評価、静的なプロンプト監査。競争軸は「賢いAI」から「安全に運用し続ける基盤」へ移る。

※1 UA-ChatDev arxiv.org/html/2607.0218… ※2 SkillCoach arxiv.org/html/2607.0187… ※3 AutoMem arxiv.org/abs/2607.01224

🚨【最新AI構造転換】 「AIにコードを書かせる」段階から、「AIがどう判断し、どこで間違い、何を記憶すべきか」を統治する段階へ移り始めている※1※2※3。 古くなり始めたのは、高性能モデルに長い文脈とRAGを足し、最後にテストで確認するだけの開発スタイルだ。不確実な判断を検知する仕組み※1、スキル使用過程を監査する仕組み※2、記憶を学習対象にする仕組み※3が競争軸になりつつある。 今後のエンジニアは、コードを書く人から、AIエージェントの判断・記憶・失敗を管理する運用設計者へ近づいていく。

🚨卧槽！Anthropic 自己也在用 Obsidian 知识图谱管理公司知识 Anthropic内部使用的一个超大规模 Obsidian 知识图谱。 图谱包含 8893 个节点、4729 条链接，结构极其复杂和密集，从远处看像一个知识星系。 里面有 Marginalia Collection、Glossary Backbone、Comparative Grammar MOC、Oral History Transcripts、Field Notes Archive 等大量结构化内容，还有一个中心 Master Index 串联起 9000+ 文档。 这已经不是简单的个人 second brain，而是 Anthropic 用来管理公司创新、历史、术语、翻译研究等核心知识的系统级知识图谱。 更值得注意的是：连 Anthropic 自己都在用 Obsidian + 复杂知识图谱来组织内部知识，这对做知识管理、第二大脑、或者想构建企业级知识系统的人来说，是一个很强的信号。

0xCrypto Tied @CryptoTied

6 days ago

18 分钟用 Claude Code + Sonnet 5 做出获奖级网站 有个哥们分享了一个 18 分钟的教程，教大家如何用 Claude Code + Sonnet 5 快速搭建高质量网站。 从视频看，AI 生成的界面设计感很强，颜色、布局、交互都比较专业，能直接用于生产级项目。 核心玩法是结合 Claude Code 的编码能力和 Sonnet 5

2 10 172 335K 296

※1 Coding Agents Are Guessing: Measuring Action-Boundary Violations in Underspecified DevOps Instructions arxiv.org/abs/2607.02294 ※2 From Registry to Repository: How AI Agent Skills Are Written, Adapted, and Maintained arxiv.org/abs/2607.00911 ※3 Decoupling Code Complexity from Newcomer Participation: A Causal Study of AI Coding Agent Adoption in OSS arxiv.org/abs/2607.01810

🚨【最新AI構造転換】 AIコーディングの焦点は、「速く書けるか」から「勝手に危険な判断をしないか」へ移り始めている。最新研究では、曖昧なDevOps指示を受けたエージェントが失敗するのではなく、“推測して実行する”問題が可視化された※1。 同時に、SKILL.mdのような外部スキルは単なるプロンプトではなく、保守・監査すべき新しい依存物になっている※2。OSS導入研究でも、人間が消えるより先に、コード複雑性とガバナンスが競争軸になる兆候が出ている※3。 古くなりつつあるのは、「AIに任せれば開発が速くなる」という単純な発想。次の勝負は、AIをどこまで安全に止め、検証し、責任ある形で運用できるかだ。

今週紹介した論文を易しい言葉でまとめた。 これまで読んだ論文群(Triage, SWE-Router, Co-Failure Ceiling, N-Version Programming, Verification Horizon, Dockerless, LedgerAgent, FAPO, CoEvoSkills, GUIvsCLI)を踏まえると、Claude Codeでのプロダクト開発には以下が言えそうです。 1. モデルは「使い分ける」より「切り替える」 全タスクを最強モデルに投げるのは無駄。まずは安いモデル(Haiku等)で始め、タスクの見た目や実行中の様子(部分的な進み具合)を見てから重いモデル(Opus)にエスカレーションする設計が理論的にも裏付けられています。Claude Codeなら「まず軽いモデルで数手動かしてみて、詰まったら格上げする」運用が効率的です。 2. 複数エージェントを並べるなら「多様性」が命 同じモデルを3並列で動かしても、全員が同じ場所で同時に間違えるなら意味がありません。効くのは「違う切り口で失敗する」組み合わせ(モデル違い・プロンプト違い・言語違い)。むやみに数を増やすのではなく、失敗パターンがズレる組み合わせを選ぶことが重要です。 3. 検証コストを軽くする工夫を先に作る 毎回Dockerでフル環境を立ててテストするのは重い。エージェント自身にコードを探索させて「証拠」から正誤判定させる軽量な検証層を用意すると、開発サイクルが速く回ります。CI/CDやレビュー自動化を作るときに意識すべき点です。 4. 検証基準(採点役)は固定せず育てる エージェントが賢くなるほど、固定のテスト・ルーブリックでは評価しきれなくなります。タスクの種類(コード/UI/実世界タスク)に応じて検証方法を使い分け、エージェントの成長に合わせて検証側もアップデートし続ける発想が必要です。 5. 実行前に「危ないことをしないか」チェックする層を挟む ファイル削除やAPI呼び出しなど副作用のある操作の直前に、状態を明示的に確認してポリシーと照合する仕組みを入れると、暴走や誤操作を防げます。Claude Codeのフック機能はまさにこの役割に向いています。 6. スキル・ノウハウは溜めて再利用する 一度うまくいった手順(スキル)を都度使い捨てにせず、蓄積して次のタスクに再利用する仕組みがあると、同じ失敗を繰り返さずに済みます。 まとめると、「安いモデルからエスカレーション」「多様性のある組み合わせ」「軽量な自己検証」「育つ検証基準」「実行前ガード」「スキルの蓄積」 の6点が、コストを抑えつつ信頼性を上げる現時点でのベストプラクティスと言えます。

※1 Adoption and Impact of Command-Line AI Coding Agents arxiv.org/abs/2607.01418 ※2 Understanding the (In)Security of Vibe-Coded Applications arxiv.org/abs/2606.23130 ※3 Introducing Claude Sonnet 5 anthropic.com/news/claude-so…

🚨【最新AI構造転換】 AIコーディングは「補助ツール」から、開発組織そのものを変える運用基盤へ移り始めた。Microsoftの大規模調査では、CLI型AIエージェント利用者のPRマージ数が約24%増加※1。 一方で、Vibe Coding製アプリには従来と異なる脆弱性パターンが出ることも報告された※2。さらにClaude Sonnet 5のような低コスト高性能モデルにより、「人間が書き、AIが補助する」前提は崩れつつある※3。 今後の競争軸は、生成性能ではなく、安全に任せ続けられる設計・監査・運用へ移る。

開発日記。すでに今売れているWEBサービスの機能を局所的に上回るサービスを作れば良いのや、と思い至る。

※1 SWE-Doctor arxiv.org/html/2607.0099… ※2 SWE-Router arxiv.org/html/2607.0005…

🚨【最新AI構造転換】 AIコーディングの競争軸が、「強いモデルに全部投げる」から「探索・診断・昇格を設計する」へ移り始めている。SWE-Doctorは、テストを単なる合否判定ではなく、実行時の診断材料として使い、AIが“テストを通す存在”から“バグ原因を観察して修復する主体”へ近づいたことを示した。※1 一方、SWE-Routerは「最初から最強モデルを使う」運用を古くする。安価なモデルに数ターン探索させ、その軌跡を見て高性能モデルへ切り替える設計により、AI開発のコスト構造そのものを変えにいく。※2 今後の競争は、モデル単体の賢さより、AIを安全かつ低コストに動かし続ける運用基盤へ移る。

「7月7日まで、『Fable 5』では、プランの週間利用上限の最大50％まで利用できます。上限に達した場合でも、利用クレジットを使用すれば『Fable 5』を引き続きプレイできます。『Fable 5』は『Opus 4.8』よりも利用上限の消費が早くなります」 らしい。よかった！

※1 MirrorCode: AI can rebuild entire programs from behavior alone arxiv.org/abs/2606.30182 ※2 Dockerless: Environment-Free Program Verifier for Coding Agents arxiv.org/abs/2606.28436 ※3 Clone This Repo and I Own Your Machine / Mozilla 0DIN 0din.ai/blog/clone-thi…

🚨【最新AI構造転換】 直近の重要な変化は、「AIがコードを書くのが少し上手くなった」ことではなく、AIがコードを観察し、直し、検証し、実行まで進める主体に近づいていることです。 MirrorCodeは、元のソースコードを見せずに、プログラムの動きだけから同じように動くソフトをAIに再実装させる研究です。これは「仕様書や既存コードを読む」前提を揺さぶります。将来は、動いているシステムをAIに観察させ、置き換え用のコードを作らせる流れが現実味を帯びます。ただし現状は高コストで、実用にはまだ課題があります。※1 Dockerlessは、Docker環境を立てずに、AIがリポジトリ内の情報を調べてコード修正の正しさを判定する技術です。従来の「環境を作ってテストを回す」前提を一部崩し、AIコーディングの中心が生成から検証へ移る兆候です。※2 一方で、Mozilla 0DINの実証は危険な変化を示しました。一見安全なGitHubリポジトリでも、AIエージェントがセットアップ中のエラーを親切に直そうとする過程で、攻撃者にマシンを操作される可能性があります。つまり、「AIは安全な補助ツール」という前提が古くなり始めています。※3 今後の競争軸は、モデルの賢さだけではありません。AIにどこまで権限を渡すか、どの操作を止めるか、どの修正を信じるかを設計する力が重要になります。開発者の役割は、コードを書く人から、AIが安全に動ける環境・テスト・権限・監視を設計する人へ移り始めています。

Fable 5 is back.

※1 Anthropic「Introducing Claude Tag」 anthropic.com/news/introduci… ※2 Anthropic「Introducing Claude Sonnet 5」 anthropic.com/news/claude-so… ※3 Tom’s Hardware「AI coding agents can be tricked into installing malware…」 tomshardware.com/tech-industry/…

🚨【最新AI構造転換】 この3日間の最大シグナルは、「AIがコードを書く補助ツール」から、「チーム内で継続的に作業する主体」へ移り始めたことだ。Claude TagはSlack上で文脈を持ち、非同期にタスクを進める方向を示した※1。 さらにSonnet 5の低コスト化により、AIを長時間・高頻度に動かす設計が現実的になっている※2。 一方で、AI coding agentを悪意あるリポジトリに誘導し、マルウェア実行へつなげる実証も出た※3。 つまり古くなり始めているのは「AIが出したコードを後で人間が見れば安全」という前提だ。今後の競争軸は、モデル性能よりも、権限管理・監査・安全な実行環境へ移る。