先に結論から。
2026年8月3日に公開されたSWE-Touchは、AIが一人でコードを直す従来の評価へ、人が途中で編集する条件を加えました。現場では同僚が並行して修正するため、この条件の方が実際の開発に近いからです。
9つのモデルをSWE-bench Verifiedなどで試したところ、途中編集によって平均解決率が7.7ポイント下がりました。自動作業が得意なAIでも、変化し続ける作業場所を人と共有する力は別に評価する必要があります。
01 / QUICK GUIDE
30秒でつかむと
- 01
SWE-Touchは、人が作業途中のコードへ変更を加える状況で、AIコーディングエージェントが対応できるか試す評価方法です。
- 02
9つのコーディングモデルを調べた結果、人の変更が入ると平均の問題解決率が7.7ポイント低下しました。
- 03
実務では、AIへ長時間任せきりにせず、作業前後の再読み込み、変更の相談、対象テストの実行を手順として固定する必要があります。
02 / KEY WORDS
専門用語を、やさしく。
ここだけ押さえれば、残りの本文はスムーズに読めます。
- コーディングエージェント
- 指示を受けてプログラムのファイルを読み、編集し、テストまで進めるAIです。単なるコード候補の表示より広い範囲を自動で扱います。
- 共有ワークスペース
- 人とAI、または複数の作業者が同じファイル群を変更する作業場所です。誰かの変更がすぐ別の作業者へ影響します。
- SWE-bench Verified
- 実在するソフトウェアの不具合修正をAIへ解かせる評価問題集です。Verifiedは、人が問題とテストを確認した部分を指します。
- カウンター編集
- AIの作業途中で、人が課題に関係するコードへもっともらしい変更を加える試験です。現実の共同作業で起こる衝突を意図的に再現します。
03 / THE FACTS
何が起きたのか
研究チームは、過去の修正履歴から課題の中心となるコード部分を探し、別の仕組みで人が行いそうな編集を作りました。その編集は自然に見える一方、元の課題を解くうえでは衝突するよう設計されています。
AIが関係するコードへ到達した時点で、この編集と説明メッセージを共有ワークスペースへ入れました。AIは、最初に読んだ状態と今の状態が違う中で、どちらを残し、何を直すか判断する必要があります。
結果として、標準のSWE-bench Verifiedでは平均解決率が7.7ポイント低下しました。より長い作業を含むSWE-Bench ProとDeepSWEでも悪化が続いたと、著者らは報告しています。
実行履歴を調べると、AIが新しい変更の存在を十分に把握しないまま進む例がありました。衝突するコードを残す場合もあれば、なぜ変更されたか確かめずに人の編集を置き換える場合もありました。
研究は査読前で、すべての開発環境やチームを再現したものではありません。それでも、一人用の試験で高得点を取ることと、共同作業で安全に振る舞うことが同じではない点を具体的に示しています。
04 / THE CONTEXT
なぜ、今これが重要なのか
コーディングAIは、数分の補完から数十分以上の自律作業へ広がっています。作業が長くなるほど、その間に人が仕様やコードを変更する可能性が高まります。
たとえば共有の企画書をAIと人で同時に編集する場面を考えると分かりやすいでしょう。AIが古い版だけを覚えて書き続ければ、人が追加した重要な注意書きを消すかもしれません。コードではその結果が不具合として表れます。
現在の評価は、固定された環境でAIだけが最後まで作業する形が中心です。この成績だけで導入を判断すると、実際のチームで起きる上書き、競合、意図の取り違えを見落とします。
05 / WHAT IT MEANS FOR YOU
私たちには、何が変わる？
開発者にとっては、AIの作業中にファイルを触ってはいけないという意味ではありません。変更が入ったことをAIへ明示し、最新状態を読み直させ、意図を確認させる必要があるという意味です。
管理者にとっては、モデルの問題解決率だけでなく、更新検知、差分説明、競合時の質問、変更部分のテストを評価項目へ加える必要があります。
7.7ポイントは平均値であり、7.7%の相対低下とは異なります。たとえば60%から52.3%になった場合が7.7ポイント低下です。モデルや課題ごとの差もあるため、数字一つで製品を順位づけできません。
共同作業では、人の編集を無条件に守るのも、無条件に直すのも危険です。AIが衝突を説明し、選択肢を示し、判断を人へ返す設計が重要になります。
07 / NEXT ACTION
今日から、どう動くか
- 01
AIへ作業を頼む指示に『開始時と提出前に最新ファイルを読み直し、他者の変更を要約する』を追加する。
- 02
人が途中変更したら、変更した理由と守ってほしい箇所を短く伝え、AIに理解した内容を返答させる。
- 03
AIの提出物は差分を確認し、変更箇所に対応するテストを最低一つ実行してから採用する。