01 / QUICK GUIDE
まず、30秒でつかむ
- 01
PolicyGuideは、顧客対応AIが社内ルールに沿って仕事を進めるため、規則を手順図へ変え、会話の節目で次に必要な行動を示す研究です。
- 02
航空、小売、通信の評価で、GPT-5.4を使った著者指標Pass^4の平均は0.42から0.62へ上がりました。通信では0.19から0.61でした。
- 03
数値は研究環境の指標で、実際の顧客対応が62%成功する意味ではありません。現場導入では、ルール更新、例外処理、人への引き継ぎを別に検証する必要があります。
02 / KEY WORDS
専門用語を、やさしく。
ここだけ押さえれば、残りの本文はスムーズに読めます。
- 手順図（ワークフローグラフ）
- 本人確認、希望の確認、条件判定、実行承認など、仕事の順番と分岐を線でつないだ設計図です。AIが次に何をすべきか判断する地図になります。
- AIエージェント
- 会話するだけでなく、予約変更や返金など外部システムの操作まで進めるAIです。便利な分、操作前の確認と権限管理が必要です。
- Pass^4
- この研究で使われた、複数回の試行でも安定して課題を通過できるかを見る指標です。一般の顧客満足度や成功率と同じ数字ではありません。
03 / THE FACTS
何が起きたのか
論文初版は8月20日10時13分19秒UTC、同日19時13分19秒JSTにarXivへ投稿されました。8月21日分の新着一覧に載った査読前研究です。
研究者は、社内規則を手順図へ変換しました。利用者から発話を受ける節目ごとに検証役が現在位置を確認し、未完了の依頼と次に必要な確認を示します。
対象はtau2-benchという顧客対応の研究環境にある航空、小売、通信の3領域です。GPT-5.4を担当AIと検証役に使って比べました。
著者指標Pass^4の平均は、PolicyGuideなしの0.42から、ありの0.62へ上がりました。最も手順が明確な通信では0.19から0.61へ伸びました。
同じ手順図は、Claude Sonnet 4.6とGemini 2.5 Proを担当AIにした場合にも転用できたと報告されています。モデルごとの詳しい値は要旨にありません。
悪意ある利用者への評価では、著者らが比べた中で攻撃成功率が最も低かったとしています。ただし、評価方法の一部は著者自身が設計したものです。
つまり、何が重要なのか
PolicyGuideは、禁止された一操作を監視する方式から、会話全体を正しい手順へ戻す方式へ広げました。本人確認や承認の抜けも、次の行動として案内します。
研究環境では平均指標が0.20ポイント上がりました。ただし、実企業の規則や例外、顧客の感情、システム障害を含む運用で同じ効果が出るとはまだ確認されていません。
04 / THE CONTEXT
なぜ、今これが重要なのか
顧客対応AIは、質問へ答える段階から、予約変更、返品、解約、返金を実行する段階へ進んでいます。間違いが文章ではなく取引として残るため、安全基準も変わります。
従来の安全装置は『この返金は規則違反』と一操作を止めるのが得意です。しかし、本人確認や最終承認のように、実行前に必要な工程の抜けは見落としやすくなります。
手順図なら、禁止事項だけでなく、やるべき確認を順番として表せます。カーナビが通行止めを警告するだけでなく、目的地まで別の道を示すのに似ています。
一方、規則が古ければAIも古い道を案内します。手順の更新責任、例外の扱い、迷ったとき人へ渡す条件は、別に運用しなければなりません。
05 / WHAT IT MEANS FOR YOU
私たちには、何が変わる？
たとえば解約受付では、契約者の確認、対象契約、違約金の説明、最終意思、処理の順番が必要です。最後の処理だけ安全でも、途中が抜ければ苦情につながります。
導入企業は、規則文書をAIへ読ませるだけでなく、よく使う業務を手順と分岐へ分解すべきです。どの段階で外部システムを操作できるかも明記します。
0.42から0.62は20ポイントの上昇ですが、この研究のPass^4という条件付き指標です。問い合わせ解決率や顧客満足度が20ポイント上がると読み替えてはいけません。
現場では、正常な依頼だけでなく、本人確認失敗、二つの依頼が混ざる会話、規則にない例外、途中切断を試し、人へ引き継げるか確認します。
07 / NEXT ACTION
今日から、どう動くか
- 01
返金、解約、予約変更から一つ選び、開始条件、本人確認、承認、完了通知を手順図にする。
- 02
各段階でAIが読める情報、実行できる操作、人へ渡す条件を明記する。
- 03
正常例だけでなく、確認失敗、複数依頼、規則外の例外を含む20件で公開前に試す。