AIのルール帳はなぜ太り続ける？——1,867リポジトリが示した「消せない指示」の問題

01 / QUICK GUIDE

まず、30秒でつかむ

01
研究者は、コーディングAIへ常時読ませるCLAUDE.mdなどの指示ファイルを、1,867の公開リポジトリで追跡しました。調べた指示の存続履歴は24万7,694件です。
02
指示量はファイルの存続期間中に平均226%増え、更新1回当たり差し引き4.9件ずつ増加しました。古い指示ほど削除されにくい傾向も確認されました。
03
指示に『なぜ必要か』というコメントを添える実験では、余分な指示の増加を+211.3%から+1.4%へ抑え、別の実験で指示に従う成績が最大23.1%改善しました。

02 / KEY WORDS

ここだけ押さえれば、残りの本文はスムーズに読めます。

CLAUDE.md: コーディングAIへ、プロジェクトの構成、禁止事項、テスト方法などを伝える文章ファイルの一例です。人間向けのREADMEに似ていますが、主な読者はAIです。
リポジトリ: プログラム本体、設定、変更履歴をまとめて管理する保管場所です。研究では公開されたソフトウェア開発の保管場所を対象にしました。
破滅的記憶: 古い知識を失う『破滅的忘却』とは逆に、不要になった指示を消せず、記憶が増え続ける現象を著者が表した言葉です。
IFEval: AIが複数の文章指示を守れるかを測る評価方法です。研究では正解となる指示の組み合わせが分かる形へ組み替え、不要なルールを見分けられる環境を作りました。

03 / THE FACTS

著者は、エージェント型コーディングで使われる指示ファイルの変更履歴を調べました。エージェント型とは、AIが質問へ答えるだけでなく、ファイルを読み、編集し、テストまで複数段階で進める使い方です。

1,867リポジトリにある24万7,694件の指示履歴を見ると、指示は存続期間中に平均で3倍を超える量へ増えていました。増加率は+226%、更新1回当たりの純増は4.9件と報告されています。

さらに、指示が古くなるほど削除される確率が下がりました。著者は、理由が分からない指示を消した結果、昔の不具合が戻る危険を完全に調べるには、指示の組み合わせが増えるほど確認量が急激に膨らむと説明します。

そこで、指示本文とは別に『このルールは何を防ぐためか』というコメントを残す方法を試しました。正解が確認できる実験では、余分な指示の増加が+211.3%から+1.4%へ縮小しました。

現実に近い別の指示追従テストでは、コメントを使った方法で成績が最大23.1%改善しました。これは特定の実験条件での最大値であり、開発速度が23.1%上がるという意味ではありません。

THE CONCLUSION

この研究が示したのは、AIが記憶し過ぎる性格というより、人間側の運用が『追加は簡単、削除は怖い』形になっていることです。失敗のたびに対策だけを足すと、理由を忘れた後も指示だけが残ります。

改善の鍵は、ルールと一緒に目的、根拠、見直し条件を残すことです。ただし結果は公開リポジトリと設計された評価環境で得たもので、あらゆる現場で同じ改善率が出るとは限りません。

04 / THE CONTEXT

企業では、コーディングAIへ社内規約、命名、セキュリティ、テスト方法を覚えさせる動きが広がっています。AIが長い作業を担うほど、最初に読むルールの品質が結果へ直結します。

失敗を見つけた直後は、新しい禁止事項を足すのが最も早い対策です。しかし担当者が替わり、製品構成も変わると、その禁止事項が今も必要か判断できなくなります。

人間の手順書でも同じ問題はありますが、AIは毎回すべての指示を同じ文脈へ入れて処理します。矛盾や重複が増えると、大切な指示が埋もれ、処理量や確認コストも増えます。

05 / WHAT IT MEANS FOR YOU

AI活用の初心者にとって重要なのは、良い指示を一度書けば終わりではない点です。ルールには作成日、理由、責任者、見直す日を添えると、後から消す判断がしやすくなります。

チームでは、同じ内容を言い換えた指示、古いツール名、すでに自動テストで防げる注意を定期的に探す必要があります。文章で守らせるより、機械的な検査へ移した方が確実な項目もあります。

研究の99.3%や23.1%は万能な処方箋ではありません。単著の査読前研究で、対象は公開リポジトリです。非公開の大企業開発、異なるAI、短い指示では効果が変わる可能性があります。

07 / NEXT ACTION

BOTTOM LINE