01 / QUICK GUIDE
まず、30秒でつかむ
- 01
研究チームは、主要な大規模言語モデルにイタリアの弁護士、裁判官、公証人の本試験形式の答案を書かせ、人の答案と区別できない形で専門家へ匿名採点を依頼しました。
- 02
一部のモデルは、対立する主張を組み立てる弁護士課題や法理を分析する裁判官課題で上位の人に並ぶか上回る一方、すべてのモデルが公証人課題で失敗しました。
- 03
結果は法律職の代替を証明せず、AIが得意な文章と、形式・目的・将来効果を同時に満たす専門的な計画を分けて考える材料です。
02 / KEY WORDS
専門用語を、やさしく。
ここだけ押さえれば、残りの本文はスムーズに読めます。
- ブラインド評価
- 採点者へ答案の作成者を知らせずに評価する方法です。AIだから厳しく、または甘く見る先入観を減らし、文章そのものを比べやすくします。
- 法理分析
- 法律の条文、判例、原則を整理し、具体的な事実へどのルールが当てはまるかを筋道立てて説明する作業です。
- 法的計画
- 望む結果を実現するため、契約、登記、手続、形式要件を順番に組み合わせる作業です。一文の正しさだけでなく、全体が矛盾なく効く必要があります。
- 公証人
- 国によって制度は異なりますが、イタリアでは重要な契約や会社・不動産手続などを法的に整え、厳格な形式で文書化する高度な専門職です。
03 / THE FACTS
何が起きたのか
弁護士試験では、依頼者の立場から事実と法律を結び、反対意見を予想しながら主張を組み立てます。裁判官試験では、法的な争点を整理し、中立な立場で理由と結論を書く力が問われます。どちらも長い文章と法知識の活用が中心です。
公証人試験は性質が違います。複数当事者の目的、財産、会社、相続などの条件を読み、許される手段を選び、厳格な形式と実体法を満たす文書へまとめる必要があります。小さな欠落が全体の効力を損ないます。
研究チームはAI答案へ特別な追加道具や専門データベースを与えず、出荷状態のモデルを比較しました。そのため、検索、専用テンプレート、法律家のレビューを組み合わせた実務システムの上限を測った研究ではありません。
匿名採点では、モデル間と課題間に大きな差が出ました。一部のAIは対立的な法的議論と教義的な分析で高い評価を得ましたが、公証人課題ではすべてが必要な計画と制約の統合に失敗したと著者らは報告しています。
論文は、単純な順位表ではなく、どの種類の失敗が繰り返されたかを質的に分析することを重視しています。対象はイタリア法と特定の試験であり、日本の司法試験や日本の実務へ点数をそのまま移すことはできません。
つまり、何が重要なのか
2026年8月6日に公開された査読前論文は、市販状態の主要LLMに、イタリアの弁護士、裁判官、公証人の3種類の専門職試験で完全な答案を書かせました。答案は人の提出物と見分けられない形にし、実際の採点基準に沿って専門家が匿名評価しました。
著者らによると、一部モデルは弁論と法理分析で上位の人に並ぶか上回りましたが、全モデルが公証人試験に失敗しました。法律知識の再生と、制約の多い法的な仕組みを目的に合わせて設計する能力は別だという結論です。
04 / THE CONTEXT
なぜ、今これが重要なのか
法律分野では、AIが判例検索、契約要約、文案作成へ入り始めています。文章が流ちょうになるほど、利用者は『法律家と同じように考えた』と感じやすく、能力の種類を分ける評価が必要です。
多くのベンチマークは、正解を選ぶ問題や短い回答を使います。しかし実務では、抜けのない手順を作り、当事者の目的を守り、後で争われても説明できる文書を完成させます。長い答案試験はその差を見せやすい材料です。
また、高性能モデルの比較が数点の差へ集中する一方、仕事の失敗は課題の種類で大きく変わります。ある試験で人を超えたという見出しだけでは、任せてよい工程を判断できません。
05 / WHAT IT MEANS FOR YOU
私たちには、何が変わる？
一般の人が法律AIを使うなら、事情の整理、質問事項の洗い出し、初稿作りには役立つ可能性があります。一方、不動産、相続、会社設立のように形式と将来効果が重要な場面は、専門家の確認を外せません。
企業の契約業務では、AIへ『この条項を要約して』と頼む作業と、『事業目的を満たす契約全体を確定して』と頼む作業を分けるべきです。後者には税務、会計、許認可、相手方との関係まで含まれます。
高得点は、責任を引き受けられることを意味しません。AIは資格を持たず、依頼者へ説明義務を負わず、誤りが出ても法廷で責任を取れません。能力の評価と責任の仕組みは別に設計する必要があります。
研究結果はAIを法律から締め出す理由でも、専門家を置き換える証拠でもありません。得意な下書きを速くし、人が計画、例外、最終判断へ集中する工程を作れるかが実務上の論点です。
07 / NEXT ACTION
今日から、どう動くか
- 01
法律AIへ相談するとき、事実関係、目的、期限、地域を分けて入力し、未確認の前提を一覧で返させる。
- 02
契約業務を論点整理、初稿、形式確認、最終承認へ分け、AIを使う工程と資格者が確認する工程を明記する。
- 03
重要な契約や手続では、AIの回答を出典付きで保存し、最新法令と個別事情を日本の専門家へ確認する。