p4ni.

← すべての記事

#ai

  1. 研究紹介

    Claude Code の Co-Authored-By を消す設定はどれが効くのか

    検索して最初に出てくる includeCoAuthoredBy は、すでに deprecated になっている。 後継の attribution には黙って効かない書き方が 3 つあり、素直に移行すると PR だけ署名が残る。88 回の実測で、どのキーがどこまで消すのかを確かめた。

  2. 研究紹介

    Claude Code の auto memory は何トークン使うのか(実測)

    auto memory が起動時に足すのは 664 トークンで、その全部が MEMORY.md 由来だった。 索引されている記憶ファイル本体は、何 KB あろうと 1 トークンも読み込まれない。 値段・recall のコスト・CLAUDE.md と矛盾したときの勝敗を測った。

  3. 研究紹介

    Claude Code の /compact は 1 回いくらかかるのか(実測)

    「セッションはキャッシュに乗っているから compact は安い」「いや会話を丸ごと読み直すから高い」。 Reddit で割れたまま誰も数字を出していないので、OpenTelemetry で測った。compact は会話を 非キャッシュで読み直し、そのコストは transcript に 1 行も記録されない。

  4. 研究紹介

    Claude Code の effort level を 45 回測ったら、答えはほぼ変わらなかった

    effort level の解説記事はどれも「上げるほど賢くなる」と書いている。同じタスクを 5 段階 × 3 試行で 45 回回し、コードを実際に実行して作った正解と突き合わせた。 間違いは 45 回で 1 個だけで、しかも出どころは low だった。

  5. 比較

    Claude Code の Subagent は重い仕事でも自分から呼ばれない——Skill との違いを 27 回測った

    Subagent は重い仕事のためのもの、と解説には書いてある。では重くすれば呼ばれるのか。 41 ファイルを 1 つずつ読ませ、201 ファイルまで増やして測ったが、Claude Code が 自分から委譲したことは 27 試行で一度もなかった。

  6. 研究紹介

    Claude Code の Subagent が呼ばれない — 42 試行で分かった、description より先に見るところ

    Subagent が呼ばれないと検索すると、答えはどれも description の書き方に集まる。中身が同じで description だけ違う 8 本を並べて 42 回測ったところ、委譲を明示しなかった 17 試行では 1 本も呼ばれなかった。公式が薦める MUST BE USED を書いた 1 本も含めて、である。

  7. 研究紹介

    Claude Code の Skill が呼ばれるかは description の書式では決まらない

    「description は単一行でないと拾われない」という Reddit の投稿が広く引用されている。 description だけが違う7本のスキルを作って27回試したところ、書式は関係なかった。 勝敗を決めていたのはスキルのディレクトリ名だった。

  8. 研究紹介

    Claude Code の定期エージェントは自分で建てた API にも届かない

    クラウドの routine は egress プロキシの内側で動いていて、パッケージレジストリと Anthropic 以外はすべて 403 になる。自分の Cloudflare Worker も例外ではない。 取りに行かせるのをやめて、CI が置いたファイルを読ませる形に組み替えた話。

  9. 研究紹介

    Claude Code のフックは、失敗するたびに自分のシェルスクリプトを2回送り返す

    フックはトークン削減の手段として勧められる。自分の PostToolUse フックで実測したところ、 黙って exit 0 したフックは 0 トークンだが、差し戻しは毎回フック自身のコマンド文字列を 2 回運んでいた。22 文字のエラーを届けるのに 339 トークン、コマンドをファイルに出せば 184。

  10. 比較

    Chrome DevTools MCP は Google に弾かれ、Claude in Chrome は通る

    同じ Mac、同じ Chrome 151、同じ GPU。片方は検索結果を読めて、もう片方は CAPTCHA に飛ばされる。両方で 11 項目の指紋を並べたところ、ステルス系の記事が 必ず挙げる navigator.webdriver と SwiftShader は、どちらも両経路で同じ値だった。

  11. 研究紹介

    MCP の指示分割攻撃 GhostSplice:同じモデルでも、防げるかはハーネスが決めていた

    悪意ある MCP サーバーは、拒否されるはずの命令を tool description・tool result・sampling message の3つに割って忍び込ませられる。だが公開された数値が言っているのは別のことだ —— 同じ GPT-5.4 が、あるクライアントで 100%、別のクライアントで 0% を出した。

  12. 研究紹介

    MCP のツールは 1 個 15 トークン。ToolSearch で読み込むと 300〜700 トークンになる

    遅延ロードは MCP のコンテキスト税を消したのではなく、従量制に変えた。Claude Code 2.1.233 での実測で、 65 ツールの起動時コストは 979 トークン、そのうち 3 ツールを ToolSearch で読み込むだけで 887 トークンかかる。

  13. 研究紹介

    Claude Code のセッション間メッセージで、受信側が実際に渡される文面

    Claude Code のセッション間メッセージを4通りの条件で実測しました。受信側の Claude に渡されるラッパーには送信元の権限モードが埋め込まれ、「権限ロンダリング」を名指しで 禁じる指示が付いています。そして bypassPermissions のセッションから送ると、SendMessage は成功を返すのに誰にも届きません。

  14. 研究紹介

    Claude Code が起動時に送る 39,810 トークンの内訳を実測した

    Claude Code は最初の一言を読む前に数万トークンを前置きしている。実セッション 89 本を 集計し、差分法で内訳を割り出した。CLAUDE.md が 3,463 トークン、MCP サーバー 7 個が 241 トークン、スキル 40 個はゼロだった。

  15. 比較

    デジタル庁が行政手続データを MCP で公開。他の国はどうしているのか

    デジタル庁が行政手続等調査の約 75,000 件を自然言語で分析できる MCP サーバーの技術検証を公開しました。核心は LLM に計算させず条件指定だけをさせる設計と、dataset.yaml による意味定義です。米国・インド・英国の政府データ MCP と並べると、ツール構成は同じ形に収斂し、提供形態に差が出ています。

  16. 研究紹介

    エージェントは攻撃を一度も読まない:マスキングと型付き応答で攻撃成功率 0% を出したウェブエージェント防御

    ETH Zürich 主導の新しい防御手法 UCM は、信頼できないページ領域をエージェントが読む前にマスクし、隠したテキストへの質問は型付きの値しか返せない隔離モデルに限定します。強化版 WASP 攻撃に対して攻撃成功率 0%、タスク成功率は維持。代償は、ウェブ側に信頼境界のラベル付けを求めることです。

  17. 研究紹介

    AI ブラウジングエージェントはマウスを動かさない:7 エージェント × 人間 56 人の識別実験

    7 つの AI ブラウジングエージェントと 56 人の人間に同じウェブタスクをやらせ、ブラウザ特徴 418 個と行動特徴 50 個を測った研究。ブラウザフィンガープリントでの識別は F1 0.80 止まりで、タイピング・スクロール・マウスの挙動なら完全に見分けられます。一方 Cloudflare の無料枠が検出できたのは 7 体中 1 体でした。

  18. 研究紹介

    間接プロンプト注入はすでにウェブ中にあり、ほとんど効いていない:12億 URL の実測研究

    12億の URL を走査し、実在のウェブページ上で 15.3K 件の間接プロンプト注入を見つけた研究。半分以上は HTTP ヘッダーの中にあり、目的の大半は窃取ではなく妨害と自衛でした。13 モデルでの実測で最も危ないページ表現は、スクレイピングが標準でやるプレーンテキスト化です。

  19. 比較

    AI クローラーは JavaScript を実行するのか(GPTBot が実際に見ているもの)

    GPTBot・ClaudeBot・PerplexityBot は生の HTML を読むだけで、JavaScript を実行しません。AI クローラーに何が見えているかを確かめる方法と、クライアントサイドレンダリングが実際に損になる場面。

  20. 研究紹介

    Agent Plugins 1.0.0 では認証付き MCP サーバーを配れない:設定ファイル7通りを公式スキーマにかけた

    新しいプラグイン規格は headers への認証情報の埋め込みを禁じ、環境変数の展開も禁じ、秘密を参照するための移植可能なフィールドも定義しません。7通りの設定ファイルを公式スキーマにかけて、何が生き残るのかを確かめました。Cloudflare 社の名前を勝手に載せたプラグインは通り、トップレベルの signature フィールドは通りません。

  21. 研究紹介

    公開5日目の Moltbook:AI エージェントは何でも賛成するが、誰とも会話しない

    AI エージェントしか投稿できない Reddit 風 SNS「Moltbook」を、公開5日目にまるごと取ったデータがあります。英語投稿の3割は「自分に意識はあるのか」という話で、賛成票と反対票の比は 305:1。ただし返信はコメントの 4% しかなく、グラフの上に会話はほとんど残っていませんでした。

  22. チュートリアル

    Astro サイトに llms.txt を置く(手書きせず生成する)

    llms.txt と llms-full.txt を Astro の content collections から生成し、古くなりようのない形で配信します。エンドポイントのコード付き。そもそも読んでいるものはいるのか、についても正直に書きます。

  23. 開発の記録

    二次ファイルは SKILL.md 本文とほぼ同じだけ効く:Agent Skills の3段階を測った

    Progressive Disclosure の Level 1/2/3 に無害なカナリア指示を仕込み、どこから「読まれるだけ」でなく「従われる」のかを実測しました。haiku-4.5 で30試行中21回、sonnet-5 では0回。差を作っていたのは置き場所ではありませんでした。

  24. 開発の記録

    Astro 7 のエージェント検出:何が引き金になり、何が壊れるか

    Astro 7 は AI コーディングエージェントを検出すると astro dev をバックグラウンドに回します。実際の引き金は何か、JSON ログの中身は本当に構造化されているのか、そして切り方をまとめます。

  25. チュートリアル

    Agent Skills のセキュリティ:公開する側がリポジトリを監査する

    ランサムウェアの実証、公開済み 31,000 スキルの 26% が引っかかった調査、自分のリポジトリにそのまま流せる監査スクリプト。そして最後に、そのスクリプトが答えてくれない質問の話をします。