文書を毎回読み直さないAIへ。端末内の検索待ちを約27秒から6ミリ秒未満にした研究

THE CONCLUSION

先に結論から。

2026年8月3日公開の査読前論文は、状態空間モデル向けの検索方法PRECOGを提案しました。文書を質問のたびに読み込ませず、事前に作った内部状態を選んで直接注入します。

1.2B、つまり約12億の設定値を持つ研究用モデルでは、著者らが約27秒としていた読み込みを6ミリ秒未満へ短縮し、約4,500倍になったと報告しています。大きな数字ですが、特定構成での比較として読む必要があります。

01 / QUICK GUIDE

02 / KEY WORDS

ここだけ押さえれば、残りの本文はスムーズに読めます。

RAG: 検索拡張生成の略で、AIが回答する前に関係する文書を探し、その内容を読ませる方法です。社内資料へ質問するAIでよく使われます。
プリフィル: AIが回答を書き始める前に、質問や参考文書を読み込む処理です。資料が長いほど待ち時間と計算量が増えやすくなります。
状態空間モデル: 過去に読んだ情報を固定サイズの内部状態へまとめながら処理するAI構造です。論文では英語のState Space Modelを略してSSMと呼んでいます。
エッジ端末: 大規模なクラウド設備ではなく、利用者のパソコン、スマートフォン、小型機器など手元に近い計算環境を指します。

03 / THE FACTS

一般的なRAGは、質問に関係する文書を検索し、その文章を質問と一緒にAIへ渡します。AIは毎回その文章を読み直すため、文書が長いほど答え始めるまでの時間が伸びます。

PRECOGは、文書を事前にAIへ読ませ、その結果できる内部状態を保存します。質問が来たら、内容に近い状態を探してモデルへ渡すため、元の長文をもう一度処理する手間を省きます。

さらに論文は、短期の会話記憶を長期の意味記憶へまとめるStructured Memory Consolidationも提案しました。情報を分野別に整理し、保存容量と細かさのバランスを調整する考え方です。

実験には、TENNs-LLMという12億規模の状態空間モデルと、192キロバイトの内部状態が使われました。著者らは、従来の文書読み込みと同程度の回答品質を保ちながら待ち時間を大幅に減らしたとしています。

この仕組みは、一般的なTransformer型AIが使うKVキャッシュにはそのまま適用できないと論文は説明します。つまり、ChatGPTなど既存サービスの全モデルへ即座に導入できる汎用高速化ではありません。

04 / THE CONTEXT

AIを社内文書へつなぐ企業が増えるほど、同じ規程や手順書を何度も読み込む計算費用が問題になります。クラウド利用料だけでなく、回答を待つ数十秒も利用体験を悪くします。

端末内AIには、通信せず使える、機密文書を外へ送りにくいという利点があります。一方で手元の機器は計算能力やメモリが限られるため、長文の読み込みを減らす工夫が特に重要です。

身近なたとえなら、質問のたびに分厚い取扱説明書を最初から読むのではなく、あらかじめ作った索引付きの要点カードを取り出す方法です。ただし要点化の段階で情報を落とす可能性は残ります。

05 / WHAT IT MEANS FOR YOU

もし別のモデルや文書でも効果が再現されれば、オフラインの業務支援、工場端末、現場機器など、通信や計算資源に制約がある場所で文書AIを使いやすくなります。

一方、約4,500倍という数字を一般化してはいけません。比較対象、端末、文書長、モデル構造が変われば差も変わります。今回は研究チームが選んだ条件での結果です。

回答品質が同程度という主張も、すべての質問で情報が失われないことを意味しません。契約、医療、安全手順のように一文の違いが重要な用途では、元文書の引用と確認経路が必要です。

企業が注目すべきなのは速度だけではなく、文書更新時の扱いです。保存した記憶状態が古くなれば、速くても古い回答を返します。更新検知と再作成の運用が欠かせません。

07 / NEXT ACTION

BOTTOM LINE