← 返回框架

SPEF 指导手册

在低效度反馈环境中校准人类判断的工作流方法

一句话主张:最危险的错误从不触发报警,自我评估在原理上不可靠,所以判断必须被外置成可证伪、带时间戳、由现实结算的痕迹。


如何使用本手册

本手册分三部分,对应三种使用场景:

生产时不要读整本手册——那是反模式。生产时只看随附的《生产卡片》(文本速查 + 视觉卡片)。本手册是卡片背后的”为什么”,供你怀疑某条规则时回查。

一条贯穿全书的纪律:本手册的每条结论都标了强度——(只依赖借来的定理)、条件硬(定理 + 已声明的经验之桥,桥真则结论硬)、(纯经验断言,可被数据推翻)。读时请始终带着这把尺子,不要把”条件硬”当”硬”用,更不要把”软”当”硬”用。


第一部分 为什么:必然存在一个只能由人闭合的环

1.1 三个让”凭经验优化”失灵的盲区

Agent 工作流难以系统优化,根源在于它缺乏一个独立于操作者主观判断的验收标准。三个盲区叠加,使”凭手感优化”系统性失灵:

  1. 显著性 ≠ 风险。注意力扑向”看起来可疑”之处,而最致命的故障全程亮绿灯。〔认知科学:salience bias / WYSIATI〕
  2. 检查过的地方没有回声。“检查后未发现问题”与”确实无问题”在主观体验上无法区分,操作者永远收不到”你看漏了”的信号。
  3. 勤奋本身在加害。前两条叠加:你努力审查的恰是低风险的显眼处,漏掉高风险的隐蔽处,并因”已尽责”获得虚假安心。

1.2 核心困境:自指

要判断”我的工作流是否变好”,最终都要过一道主观评估,而测量者(你)与被测量者(你的判断)是同一主体。这一自指结构是全书轴心:任何当下的自我评估在原理上不可信。

它还有一个常被忽略的推论:任何”是否该继续/终止本方法”的当下裁断,也过这道门。因此终止条件不能交给当下的你判,必须预先钉死(见 §2.5)。

1.3 三线论证总图

本手册的核心证明分三路推进,在 §1.7 汇合:

1.4 线A:Scan 层失真对任何自动守门员不可观测

最致命的错误埋在 Scan 层——对任务现实的建模失真。两条控制论引理在此叠加:

术语纠偏:不可观的代价不是”测不准”,而是收不到误差信号、因而无法由输出反馈纠正。要的是”不可纠正”,不是与能观对偶却独立的”不可控”。

由此分两步、两种强度得到基石命题,两步硬度不同,不可混同

精确表述:开环不是会否发生的问题,而是结构上必然存在一个不可被当前自动守门员闭合的环(硬);在当前条件下,该环只能卸载于人(软);且该环全程亮绿灯,因而最危险。

1.5 线B:人闭此环会因增益衰减而假闭

人作为外环传感器,其有效增益随负荷下降:误差仍在产生,却被乘以趋近零的增益。回路名义闭合、实质开环,系统缓慢漂移而仪表显示”一切受控”。

依据须谨慎选:若挂靠 ego depletion(自我损耗),经验地基薄弱(近十年预注册复制近乎归零,不宜承重)。本手册转而挂靠〔认知科学:vigilance decrement(持续注意的警觉衰减)〕——持续监控任务中检出率随时间稳定下降,是证据扎实的经典发现。前提 E3 的硬度系于此处的依据选择

破解之道不是”更努力”(均摊带宽,必然衰减),而是押注:把有限带宽集中到双高节点——既”产出回流下一轮 Scan”(高耦合)、又”失真对内环色盲”(高不可观)——其余交给编译器/测试这类不知疲倦的廉价传感器。只闭那个只有人能闭的环。

把”押注而非均摊”变成可事后核对的量,用比值而非差值:

L=RLϕL = \frac{R_L}{\phi}

其中 RLR_L 为注意力覆盖的真实风险占比,ϕ\phi主观估计的押注覆盖率。三个区制:L>1L>1 押对(风险占比跑赢覆盖占比);L1L\approx1 橡皮图章(与风险无关,含全覆盖式昂贵均摊);L<1L<1 显著性陷阱(专看不出事之处,勤奋反受害)。

LL 须明确三点:(1) 它是分布/周期聚合量,不是单次评分,只能按区制读,不能按数值线性比;(2) ϕ0\phi\to0 处的发散是单样本下 LL 不可识别,须在周期上聚合后读;(3) LL 本质是一个分辨力(resolution)度量——这条线索在 §2.4 会再回来。

L<1L<1 是一个有引力的吸引子:高风险节点的外观恰恰低显著性。这是线B的最终结论——不是”更努力”能解决的问题,而是结构性的。但它暗藏更深的问题:你能看见自己正落入这个吸引子吗?

1.6 线C:押注直觉本身会偏,且自校准不可能

不能。〔认知科学:bias blind spot(偏差盲点)〕表明,人能识别他人的偏差,却系统性低估自身的。所以你无法通过内省发现自己已落入 L<1L<1 吸引子,校正必须外包。

但外包给谁?校准注意力的传感器与被校准对象是同一主体,无量程差,故自校准在原理上不可能。“唯一”须带限定:空间上的另一个人往往与你共享对同一模型的显著性偏置,无法校准你的 Scan;但另一个模型/对抗角色有不同失效模式、真有量程差,那是在另一个轴上扩张覆盖(见附录 D)。

能校准”你对同一现实模型之判断”的唯一外环,不是空间上的他人,而是时间上的未来的你——后者已知何处出事,且不被此刻的显著性偏置绑架。

外包之所以必须在判断当下落地:〔认知科学:hindsight bias〕使事后回忆系统性重构为”我早知道”,〔认知科学:记忆为重建而非读取〕使决策当时的心理状态不被痕迹保存且快速衰减。因此校准信号必须在判断当下捕获——事后补写,等于没写。

1.7 三线汇合

线A 要求有人参与(自动守门员永远覆盖不了那个维度);线B 要求押注而非均摊(人的有效带宽有限且衰减);线C 要求在判断当下捕获信号(事后回忆系统性失真)。三者交集,精确规定了闭合该环的动作形式——这就是第二部分要落地的五秒赌注。

1.8 重新归属:能观只是元认知的侧影

控制论把困境表述为”主体感知不到某些状态”(能观)。但真正的主犯不在此:即便把所有状态摆到你眼前,困境依旧——因为你对”自己感知得准不准”的二阶判断本身系统性失真,且无法内省地触及。这是〔认知科学:metacognition〕的领域。五秒赌注与”外包给未来的自己”,本质上是一具元认知支架——它把失真的自我监控外置成一个可被现实结算的痕迹。

这带来一对直接裁决可行性的结果:〔Kahneman–Klein 直觉专长的条件〕与〔Ericsson 刻意练习〕都要求高效度、快反馈的环境,而 Agent 工作流恰是低效度、延迟且被删失的。双刃:其一,解释了本方法为何必要(你身处直觉无法自我校正的环境);其二,警告本方法自身的反馈可能太慢太噪,难以练出真专长。

直接的命名后果:既然环境结构上练不出真专长,§2.4 那条校准曲线就几乎只可能显示”未退化”、极少显示”已进步”。因此它叫防退化镜,不叫”成长镜”——名实相符。


第二部分 怎么做:操作章节

2.1 SPEF 四阶段 SOP

不问”如何让 AI 少出错”(不可达),而问”如何让该工作流稳定闭环”。把工作切为四段,各司其职、出错可定位:

环节动作边界(不做什么)
Scan读准系统/任务的真实状态只读现实,不出方案
Plan基于扫描制定方案只出意图,不动手
Execute实施方案只忠实施加,不夹带判断
Feedback验证、闭合循环必须有人参与

理想配置:S/P/E 由三个 Agent 承担,F 由人负责。

操作要点

论证根:线A(§1.4)证明 F 必须有人;§1.7 三线汇合规定了 F 的具体动作。

2.2 五秒赌注(核心动作)

把三线汇合的要求落地为一个五秒动作:

在押注一个高风险点”应该没问题”的当下,写一句: 「我赌此处无误,因为 ___」 写成事后无法抵赖的硬陈述,并在看到结果前以带时间戳的方式落盘(如 git 提交)。

它的价值来自两条可独立成立的通道,承重不同、抗腐蚀性不同,必须分清(这一切分在应对 confabulation 时是决定性的,见 §3.2):

优雅降级:即便内省完全不可信的极端,通道一仍作为纯预测打分器有效——只丢掉 self-explanation 那份奖金。这就是为什么承重要尽量挪到通道一。

⚠️ 不要用”要求两个一致的’因为’来抓 confabulation”——人能流畅编出自洽却非真实的理由,结果是奖励最会圆话的人。两个”因为”的真实价值在扩大可证伪面、提升分辨力(进 §2.4),不在抗 confabulation。

2.3 押注判据:只押双高节点

破解”显著性陷阱”的操作规则:

深浅分流(见附录 B):浅问题重押直觉(错了不亏);深问题早转扫描(深 bug 不显眼、直觉胜率最低)。最危险情形:扫描时间远超预期、概率却不升 → 不是”还没扫够”,而是 bug 在边界外 → 跳出去重扫边界假设本身。

论证根:线B(§1.5)。

2.4 验证协议:死/活量分床

方法论须接受它自己设定的标准。把故障视为带时间戳的事件流,让统计合法进入——但只进分析端,不进录入端

三类变量分床

类别内容性质
死量故障时间戳 tit_i、commit 元数据、命令历史自动记录,零判断
前置冻结量is_fault(按规则 RR 判定)、is_seen(接 git 可降为死)规则钉死后变死
活量五秒赌注 bib_i + 自信度三档主体产生,承重诚实

工艺要点:活量中的赌注在看到结果前即以带时间戳的提交落盘,使”事后不可抵赖”由提交顺序强制,而非靠自律。

输出指标(仅作触发器,不作看板)

指标主语周期行动触发
N(t)=a(1ebt)N(t)=a(1-e^{-bt})系统发现率>90%→可收尾;bb 低且远未达成→止损重扫
CV=σ(Δt)/μ(Δt)CV=\sigma(\Delta t)/\mu(\Delta t)系统变更点后跳升→回退该变更
Hawkes α^\hat\alpha系统显著 >0>0→停打补丁、重扫被污染区
判断校准曲线主体季/年高自信档命中率下滑→在过度自信,调高审查增益

校准曲线的三处修正(否则它会系统性谎报你比实际更校准):

  1. 删失偏置 → 单向使用。最毒的错潜伏最久、最晚暴露,所以”赌对”是右删失且偏乐观的。把曲线当作只信坏消息的报警命中率下滑是真信号,命中率维持不可据以判定”我已校准良好”;并按存活时长加权(活得越久才暴露的错,扣分越重)。
  2. 校准 ≠ 分辨力。〔Brier 的 Murphy 三分解〕:永远报基率的预测者可以完美校准且毫无用处。须补分辨力第二根轴——LL(§2.3)即其实现入口。要求赌注写**两个独立的”因为”**可提升分辨力(价值在扩大可证伪面,不在抗 confabulation)。
  3. 难度漂移 → 扣除。〔hard-easy effect〕:曲线”朝对角线靠拢”可能只是任务在变简单。须把任务难度漂移与判断力提升分离。

动机别从校准信号上榨(自指陷阱):对一个已被宣布无信息量的信号(“命中率维持”)做正强化,等于重建它本要消除的自欺。正确做法是把动机燃料挂到当下、非删失的吞吐量上:

这是吞吐量层面的正反馈(“流程在产出东西”),不是自我提升层面的(“我变好了”——后者结构上慢且删失)。

2.5 红线与终止条件(开工前冻结)

开工前付一笔一次性活账,三项同时冻结,事后一律不得回调

  1. 故障判定规则 RR——钉死”算不算一次故障”,禁止看着数据反向调 RR
  2. 自我终止触发器(kill-switch)——预先承诺一组停做条件。必须在此刻、看任何数据之前冻结(理由见 §1.2:任何”我觉得不值得做了”都过自指之门)。
  3. 诚实崩溃触发器——一旦检测到回填时间戳、或看过数据后反调 RR,则判定 E5 已塌,直接终止本方法

预承诺的终止线

若到预承诺的第 XX 月,N(t)N(t)bb 仍低于阈值(连”止损工具”这个真组件都不成立),台账中找不到一个”当下的我本会漏掉、仅靠记账才捞回”的故障——则终止。两条件都满足,意味着既无真工具价值、又无防自欺战果,继续只是仪式。

唯一能下的经验判决(拟合一个月台账的 N(t)N(t)):

一个诚实的方法论应当包含自我终止条件——否则它就在”不给自己开免死金牌”这点上自我豁免了。


第三部分 边界与残洞(诚实声明)

3.1 适用边界

3.2 两处不可证明的残洞

残洞 R1:诚实的递归无底。下游结论条件性依赖 E5(使用者诚实记录)。校验诚实,需要一个比受校验者更诚实的视角,递归无底。缓解:凡能接客观痕迹的环节尽量替换(“看没看过”→git;“有没有效”→故障率;赌注→揭晓前的时间戳提交);不可缓解的剩余(如”算不算一次故障”)最终承重于 E5。声明为不可证明。

残洞 R2:confabulation,在 R1 之下、更深。〔confabulation / Nisbett–Wilson〕指出人对自身判断的真实依据缺乏可靠内省通道。于是”因为 ___“可能是真诚的、却是错误的。R1 假设”诚实能救”,R2 表明诚实不充分。

但 R2 的破坏被精确定位(借 §2.2 两通道切分):

因此在极端,五秒赌注优雅降级为一台纯预测打分器:仍有效,只丢 self-explanation 那份奖金。本手册不假装解决 R2,但给出了它能与不能破坏的精确分界,并据此把承重尽量挪到通道一。

3.3 本方法究竟证成了什么

严格地说,本手册证成的是”若经验前提为真,则本方法提升效率”,而非”本方法提升效率”。前提之真伪尚未触及数据。

它无法给出”你已进步”的客观证明(原理上不存在);它能做的,是让每一次自欺都更贵、更难、更易被未来的现实当场戳穿。它不消除人类幻觉,它给幻觉装一份迟到、但赖不掉的账单

最大实际风险:终结本方法的,大概率不是逻辑错误,而是纪律流失——成本全压在前期(每日写注、记账),收益全在后期。最可能的结局不是”被证伪”,而是数周后你停止记录。本版两处应对正对着它:动机改由当下、非删失的吞吐量供给(§2.4),并预先冻结一个诚实的终止条件(§2.5),使”停下”成为体面的、预定的选项,而非无声的弃守。上审判席的,是人,不是逻辑。


附录

附录 A:强度核算表

强度图例 硬=仅依赖借来的定理;条件硬=定理+已声明的软前提(前提真则结论硬);软=纯经验。凡过 M 桥者,最高只能”条件硬”。 软前提另标稳健度:=复制扎实;=复制存疑、不宜承重。

引理(控制论):L1 能观性(xkerHx\in\ker H\Rightarrow 不可纠);L2 Conant–Ashby(良好调控器必含模型);L3 时标分离(级联各层之间,非单趟 S/P/E/F 内部)。

映射前提(软桥):M1(Scan 失真 ≈ kerH\ker H 内分量);M2(“工作流+人”= 调控器);M3(校准级联构成可分离时标)。三者皆无形式化证明,声明为软。

经验前提(认知科学):E1 不可观〔稳〕;E2 当前唯一覆盖者是人〔稳,带”当前”〕;E3 增益随负荷下降〔须选 vigilance(稳),不选 ego depletion(脆)〕;E4 决策时心理状态不被痕迹保存〔稳〕;E5 使用者诚实记录〔不可证明,承重 R1〕。

推论依赖强度可证伪点
P1 必存在不可由自动守门员闭合的环L1+L2+M1+M2条件硬(不含 E2)出现验证”预期对不对”的自动机制
P2 该环当前只能卸载于人P1+E2条件硬(叠 E2)出现覆盖该维度的新传感器
P3 高负荷下人闭的环假闭E3+L1+M1软-条件高负荷下纠错率不降
P4 须押注不可均摊P2+P3+B2软-条件均摊故障漂移 ≤ 押注
P5 自校准不可能,外环只能是时间L1+M1+B3条件硬事后无新信息
P6 信号须当下捕获P5+E4条件硬事后回忆可靠重建
P7 五秒赌注(落地动作)P4+P6条件硬·可执行台账长期无改善
P8 调策略频率须低于信号沉淀L3+M3+P3条件硬高频调策略故障率方差不增
P9 故障时序可客观计算(分析端)时间戳硬(分析端)录入完整性仍承重 E5

附录 B:调试场景落地(笨办法即理论的实现)

笨办法框架对应机制
打日志/断点给不可观测状态装传感器skerHs^\perp\in\ker H 拽到可观测
注释无关代码二分缩小扫描边界全注释问题仍在 = bug 在边界外
预测分支五秒赌注(通道一为主)看结果前先押,押错即暴露心智模型裂缝
画流程图外化重建 Scan 层把脑内失真模型逼成可审查的纸面

附录 C:四级级联与组织映射

带宽逐级递减、周期逐级拉长、维度逐级升高:编译器/测试(秒)→ 台账校 θ\theta(周)→ 重选分类法(季)→ 市场/用户行为数据(版本)。贯穿判据:能定符号的传感器,必须对显著性免疫(编译器/台账/行为数据可定符号;经验/论坛只配当诊断线索)。组织层级(junior→高管)几乎完美对应这条速度链;单人工作流则用时间轮流扮演四个自己。

附录 D:变异度扩充

〔控制论:Ashby 必要变异度律〕——控制器变异度须 ≥ 被控系统扰动变异度。应对:多模型并联(并联不同量程的传感器);对抗性指派(明确指派一方当红队、专挑其最可能崩处,而非问”这方案怎么样”——后者会得到虚假共识)。空间多级扩张的是覆盖维度,与 §1.6 时间外环校准的同一判断互补、不冲突。

附录 E:外部理论锚点(正式参考文献待补)

用处学科借用的理论/效应承重状态
§1.4 现实模型错不可被自动检出控制论能观性定理硬,过 M1 后条件硬
§1.4 Scan 失真即调控注定坏控制论Conant–Ashby定理硬,过 M2 后条件硬
§1.5 负荷下增益衰减(E3)认知科学vigilance decrement(采用软/稳
§1.5 反例警示认知科学ego depletion(弃用软/脆
§1.1 显著性≠风险认知科学salience bias / WYSIATI软/稳
§1.6 看不见自身偏差认知科学bias blind spot软/稳
§1.6 事后回忆不可信认知科学hindsight bias、记忆重建软/稳
§2.2 赌注·通道一认知科学预测校准训练(Brier、Tetlock)软/稳(confabulation 不影响)
§2.2 赌注·通道二认知科学self-explanation 效应软/稳(confabulation 严重时失效)
§1.8 问题本质是元认知认知科学metacognition(Nelson–Narens、Flavell、Dunlosky)比能观更精确的归属
§1.8 能否练出真专长认知科学Kahneman–Klein;Ericsson双刃:既证必要,又警告反馈太弱
§2.4 校准≠分辨力认知科学Brier 的 Murphy 三分解给防退化镜补第二轴
§2.4 曲线靠拢可能是任务变易认知科学hard-easy effect删失之外第二重乐观偏置
§3.2 真诚但错误的理由认知科学confabulation / Nisbett–WilsonR1 之下的残洞,破坏限于通道二
§1.6 / 附录D 扩张覆盖控制论Ashby 必要变异度律定理硬,按覆盖使用
附录A 时标分离控制论级联时标分离定理硬,过 M3 后条件硬

本手册借控制论的结构照亮自身形状、借认知科学的机制承其重量,不借任一者的权威为结论背书。所有”硬”来自引用的定理,所有”软”来自明确声明的前提。要反驳,请指一条。

来源:本手册由 SPEF_paper_v3.md 重组而来,保留全部论证主线与承重关系,增补第二部分操作章节与导读。论证结构、推论强度、附录承重未做实质改动。