“no one was focusing on the primary task: monitoring”
15
秒 警告到触地
AF447 · 2009
228
人遇难
长期自动驾驶之下,手动飞行能力整体退化
PARC 报告 · FAA
28 项发现
>60%
的事故报告涉及手动操作错误
洋红线之子:线一消失,他们不会飞了。
承认自动化,用制度保住手动能力
FAA
2013
SAFO
安全建议:“手动飞行操作”
2017
SAFO
“手动飞行是根基”
2022
咨询通告 · 现行
把这套要求延续下来
EASA
2025 年仍在修订
ICAO
手动控制飞机路径 · 独立胜任力
CAAC 中国民航局
对应的实施方案
手动飞行不是情怀,是执照的一部分。
身边的对照与类比边界
中国程序化交易
报备急停开关
可跳
境外 · 医疗
SEC 15c3-5券商交易前风控
MiFID II算法交易系统控制 + 年度自评
EU AI Act §14高风险 AI 系统配置“人类监督”
跑算法的、开飞机的、做诊断的——都在被要求“留一个人在环里、留一双手在手动上”。
类比边界
飞机出错会坠毁,文书出错大多可以补救——
制度可以比民航轻,但不能没有。
回应前场组织变革 × 个人判断力工程化负责效率,制度负责保住人的能力
风险四:能力认知偏差
把 AI 的能力,记在自己的账上——三项研究
01
《计算机与教育》 2024
高估自己作品的质量与原创性
越觉得 ChatGPT 好用,高估得越厉害
02
AI GHOSTWRITER EFFECT
“AI 幽灵写手效应”
不觉得是自己写的,却照样以作者自居
03
CHI 2025 · n = 155
同等贡献,功劳系统性记给人
更少记给 AI
记功劳的时候,手是偏的。
换标尺,建校准
对策一 · 换标尺
我能不能产出?
没有 AI,还能不能做对?
对策二 · 师徒改稿救回来
“看起来不错”的稿子,让师傅看不出你差在哪——主动暴露差距:
“这是我不用 AI 写的版本,请照这个改。”
责任方向警示“我的错,不是 AI 的错”出了事,“这是 AI 写的”当不了挡箭牌
自检清单 03手头这个案子,如果关掉 AI,你还剩几分把握?
风险五:黑箱化
“把活交给我,成果给你”
Grok Bot“simply message a Bot and it gets it done”
Muse云端虚拟机里干活;页面不标注底层模型
dots“work towards your goals 24/7”
审批按钮 ≠ 可审查的推理
动作清单 ≠ 思考过程
黑箱,不止一层
“黑箱”是个大概念:技术看不透、自己看不清、产品不让你看。
01
技术本身的黑箱
可解释性弱
模型规模变大后,会“突然”出现小模型没有的能力——“涌现”
涌现是真跳变,还是评测指标造成的错觉,学界仍有争论
这种能力无法从小模型的表现提前推算出来
学术研究
02
内心的黑箱
认知有限
不了解原理,就不知道它会错在哪
误判结果的可靠程度
夸大它带来的收益
讲者观点
03
商业趋势的黑箱
封装降低门槛
产品越做越“傻瓜”,过程越藏越深
好用的趋势,本身就在制造一个又一个黑箱
讲者观点
三层叠在一起,就有了下一页的三个误区。
黑箱里的三个误区
产品越封装、越好用,本身就越是一个黑箱——很多误解,都从这里来。
01
幻觉,是对错问题,还是对齐问题?
对的和错的答案,走的是同一套“逐词按概率生成”
训练和评测只奖励“答对”,不奖励“不知道”,模型被训练成会猜
偏好对齐还会让模型迎合用户(sycophancy)
→ 本质是对齐问题
02
接了法律数据库的 MCP,就能精准检索了吗?
返回几条、给摘要还是全文,由服务端的工具自己定义
客户端对单次返回有上限:如 Claude Code 默认 25,000 token
检索怎么排序、库覆盖多全、调不调、调几次,全在黑箱里
→ 以为全部拿到了:拿回来的 ≠ 库里有的
03
交给 AI 的案件材料,它真的都读了吗?
律师材料大量是二进制:扫描合同、印章图片、Excel、CAD、邮件、音视频、压缩包
预处理走哪条解析 / OCR 路线带随意性,处理不好就丢信息,且不提示
佐证:Claude API 单次 PDF 32 MB、通常 100 页;Word 内嵌图片不读;长材料中段易被忽略
→ 以为全读了:丢了信息也不提醒
我们的开源项目 ADG(Agent Data Gateway)就为此而做
机制可以去弄清楚;在自己的信任上建一个错误前提,后果才严重。
降低验证成本才有效
OpenAI 官方原文 · dots 发布页
“Dots can still make mistakes, so always review consequential work”
dots 仍可能犯错,重要成果请务必人工复核
回应前场
活交给 Agent, 责任不随之交接。
选工具硬标准 · 过程看得见
01
来源
给不给引用来源?
02
日志
给不给工作日志?
03
中间步骤
能不能点开看?
2023 年实验:自动附带解释,不能减少过度依赖;降低验证成本,才有效。
自检清单 04你现在的主力工具,过程看得见吗?
全球案例梯度
2023 · 纽约联邦法院
Mata v. Avianca
1:22-cv-01461
$5,000
两位律师和律所 · 各罚
2025.02 · 怀俄明州
Wadsworth v. Walmart
Morgan & Morgan
8 / 9
九个引注,八个是假的
一人被撤销出庭资格
可跳
2023 · 英国
同类案
Harber v HMRC
会丢执照级别的职业事故。
中国:规则成型的第一代
执业风险类
通州案:虚构案号被点名
查无此案
验伪四特征
案号规律化案情过度贴合当事人甲乙丙丁文书网查不到
宜昌:AI 收集材料未核实 → 当庭训诫,责令重新提交
内容治理类
杭州互联网法院
(2025)浙0192民初18143号
AI 承诺“赔偿十万”不构成真实意思表示 · 入最高法工作报告
南京
谁产出,谁负责
最高法意见(上个月):惩治利用 AI 的虚假诉讼
现状尚无中国律师因 AI 虚假引用被处分的公开案例别做第一个。
规范锚点
01 · 《律师法》(2026 修正)
保密义务 第
3841
条
条号漂移 = 核验义务的现场教学
02 · 《律师执业管理办法》第 32 条
保证所出具意见的 真实性、合法性
AI 辅助起草的文书,出具人是你
03 · 深圳指引第 20 条 + 贸仲指引
责任不因 AI 减免
04 · 郑志峰:“辅助型 AI”
再判断,是产品定义的一部分
复核不是额外成本,是使用前提
判断力的三道门
判断力的操作定义 = 三个可验收的标准
三道门全过,才轮得到签名。
人负责
定义问题定义价值承担责任
行业底线共识 · 汤森路透
96%
反对 AI 代客出庭
83%
反对 AI 直接给法律意见
90%
要求可解释、可辩护
AI 拿走的是练习题, 不是判断力——
判断力必须刻意训练。
民航没有禁止自动驾驶,它用制度保住了手动能力。
杭律学院青训班(三道站) · 2026.10.25
谢谢大家
当 AI 什么都能“答”,律师凭什么被信任
个人主页
chenshi.ai
扫码添加微信
操作说明 →空格PageDown 下一页 ←PageUp 上一页 Home/End 首页 / 末页 R 重播本页动画 S 跳过动画 P 自动播放(动画播完并停留阅读时间后自动翻页) O 目录总览(按段落跳转) F 全屏 Esc 关闭
右上角:五盏“风险灯”(R1–R5)、当前段落与页码;底部洋红细线为全片进度,其上灰线为本页动画进度。