框架

健康评分细则

每个维度必须写:满分、扣分项、判断规则、证据ID、实际得分、扣分计算、总分公式。

audit_evidence · 资产·规范 · audit_evidence/scoring_rubric.md · 10563 B

健康评分细则

每个维度必须写:满分、扣分项、判断规则、证据ID、实际得分、扣分计算、总分公式。

评分公式

总分 = Σ (维度得分)
维度得分 = max(0, 满分 - Σ 扣分项得分)

1. 数据真实性 (满分 25)

基础分:08-27→09-08 回填后与 LBMA PM Fix 逐日一致,给 +6 分 基础分(非满分,因为仅覆盖 12 个交易日)。

扣分项权重判断规则证据ID实际扣分计算依据
08-19→08-26 六交易日仅贴 partial 标签,未回填也未重算结论5存在 partial 文件且其 L0/L1/A-B-C/验证状态均未重算A2, recompute_map:A256 个交易日偏离 LBMA −1.81%~−5.83%,结论仍按错误价输出
08-26 同日双价(本尊 4,397.20 vs 序列 4,631.50)5同一交易日在不同文件出现两个收盘价A1, recompute_map:A15序列字段应等于收盘价列表,不等即为伪造
留档目录 /var/minis/workspace/duckerry_data 不存在33 处引用为复核依据,实测 No such fileA4, recompute_map:A43原始响应无法定位,"可复核"为不实声明
《真实数据重估》表 3/10 行数字错误(>0.15%)208-18 +0.22%、08-19 +0.33%、08-20 +0.92% 偏离 LBMAA5, recompute_map:A52权威源文件自身有误,会被二次传播
14 份复盘仍声明 Yahoo 为主源2主源声明与实际取值(LBMA)不一致A18, recompute_map:A182来源声明过时,未来复现会走向不可达源
无交易日历表(§三 "假日表待补")209-07 美国劳动节被标 verified 交易日,实为美股休市A13, recompute_map:A132跨源交易日定义不一致,日度相关被污染
小计1919
得分25 - 19 = 66

验证:运行 python3 recompute.py 可复现上述所有偏差与双价。


2. 风险防御能力 (满分 20)

扣分项权重判断规则证据ID实际扣分计算依据
L0 现行阈值在 19 个真实交易日触发 0 次5gold/美同跌>2% + VIX>50% 两项均 0 命中A9, recompute2.py 输出5保命层长期空转,极端行情无保护
L0-3 结构上无法评估(缺 SPX/NDX 数据)3线上 L0-3 长期写"无法评估",回测却用金+SPX同跌触发 10 次A7, recompute_map:A73两套 L0 定义不一致且不可复现
无仓位/最大回撤/连续亏损降权规则4终极决策框架.md 无明确数值化仓位规则—4仅有"锁定3天"、"硬止损-15%",无风险预算
回测 L0 ≠ 线上 L0 且不可复现3回测读 /mnt/agents/output/*.csv 路径不存在,L0-3 定义不同A7, recompute_map:A73被验证的风险模块与部署的不是同一个
建议的 3σ(4.88%) 仍无法覆盖 09-01(−4.59%=−2.82σ)2需 2.5σ(4.07%) 才能捕获,3σ 同样漏判A9, recompute2.py 输出2上轮建议的修复方案经复核同样无效
小计1717
得分20 - 17 = 33

验证:运行 python3 recompute2.py 可复现 60d sigma=1.63%、09-01 z=-2.82、L0 hits=0。


3. 预测可证伪性 (满分 15)

扣分项权重判断规则证据ID实际扣分计算依据
Agent 日度验证率 100% 指标仍在 MOC/数据库说明4未删除,仍作为模型有效性依据A10, MOC 系统概览415 条预测全部为"观望/等待",方向覆盖率 0%
方向覆盖率 0%(23 条预测全为观望/等待)3无一条给出 up/down/左侧/右侧 等方向A10, recompute3.py 输出30/23 = 0%
可证伪口径下命中率 33% < 无条件基准率 44%3±0.5% 口径 5/15=33%,±0.3% 口径 4/15=27%,基准 P(|Δ|<0.5%)=44%A10, recompute3.py3指标低于"什么都不预测"水平
无 Brier/校准度/错误成本指标3框架/Agent预测系统.md 验证代码含不可证伪逻辑且 bash 非法A16, recompute_map:A163[[ =~ "震荡"|"小幅" ]] 语法错误,函数恒返回"错误"
小计1313
得分15 - 13 = 22

验证:运行 python3 recompute3.py 可复现 23 条预测、0 方向、33%/27% 可证伪、44% 基准。


4. 状态判定稳定性 (满分 15)

扣分项权重判断规则证据ID实际扣分计算依据
C 模式门槛硬跳变:第 9 日与第 10 日证据相同、结论相反3双腿 corr > -0.20 最大连续 8 日,门槛 10 日 → 永不达标recompute2.py 输出3硬阈值导致结构性不可达
无滞回/冷却期3A/B/C 评分制无 L2_thr_gap/L2_thr_cool 参数§6.3, A-B-C框架3频繁切换风险无缓冲
A 状态真实基率 0%(67 交易日 0 次满足"美元↑且TIPS↑且金↓ 连续2日")367 日样本中 A 进入条件 0 天,B 37.3%,观望 63%A11, recompute3.py3状态机三态中两态(A、C)事实不可达
观望占比 63% 且"最长 2 日强制归类"从未执行3观望长期默认,无强制归类落地证据A11, MOC 记录3叙事惯性一旦形成极难打破
小计1212
得分15 - 12 = 33

验证:运行 python3 recompute2.py 可复现最大连续 8 日;recompute3.py 可复现 A 基率 0%、观望 63%。


5. 因子解释与预测能力 (满分 10)

扣分项权重判断规则证据ID实际扣分计算依据
四因子页各 30 行,无数据源/频率/滞后/计算口径/方向性/强度评分/失效条件/历史贡献4每因子缺 9 字段,MOC 却标绿"运行中·核心分析模型"因子目录, recompute_map4无法实际计算因子得分
A 基率 0% vs C 基率高 → 状态机基率严重不对称3A 进入条件需三变量同日反向联动(低概率),C 只需相关走弱(高概率)A11, recompute3.py3结构性偏向 C,迫使解释力下降被读作"新因子"
34 条验证记录中 11 条建立在失真/周末数据上308-16/22/23 周末 + 08-19~08-26 partial 共 11 条仍计入分母A2, A12, MOC 明细表3验证率分母被污染
小计1010
得分10 - 10 = 00

验证:ls -l 因子/*.md 确认行数;recompute3.py 确认 67 日 A=0、B=25、观望=42。


6. 流程自动化与可执行性 (满分 10)

扣分项权重判断规则证据ID实际扣分计算依据
上游取数失败被下游静默外推兜底(08-27 等差数列)4data_verified: false + 75 行固定模板 + 等差数列特征A1, 勘误报告 §二4自动化最典型失效模式已复现
无每日硬闸门 G1–G8(未脚本化)3标准化复盘生成流程.md 仅文档,无可执行校验脚本§5.9, 标准化复盘生成流程3校验失败不拦截生成
系统停更 3 个交易日(09-09/10/11 有真实数据无复盘)3最后复盘 09-08,真实数据已至 09-10A15, 复盘目录3决策盲盒,无法实时验证
小计1010
得分10 - 10 = 00

验证:ls 复盘/2026-09-0*.md 确认无 09-09/10/11 文件;勘误报告 §二 确认等差数列。


7. 文档一致性与知识治理 (满分 5)

扣分项权重判断规则证据ID实际扣分计算依据
双库分叉:mounts 97 文件 vs shared 64 文件,11 同名不同内容2diff -r 可见差异,MOC 准确率分别为 79.3% vs 68.4%A6, recompute_map:A62"口径唯一来源"名不副实
重名 H1 / 薄文件 / frontmatter 位置错误2终极决策.md 与 终极决策框架.md H1 同为"框架/终极决策框架";四因子模型总纲.md 仅 4 行;黄金主导因子切换(A-B-C).md frontmatter 在文件中部A19, 文件系统2权威来源不唯一、元数据失效
61% 复盘无可信度标签(36/59)1其中 25 份为标签制度前(6/7 月)文件A17, 复盘目录统计1读者无法区分真/假数据
小计55
得分5 - 5 = 00

验证:find mounts shared -name '*.md' | wc -l 确认数量差异;head -5 框架/四因子模型总纲.md 确认 4 行。


总分汇总

维度满分得分关键扣分
数据真实性256双价、partial未重算、留档缺失、权威表错、Yahoo声明、无日历
风险防御能力203L0 0触发、L0-3不可评估、无仓位规则、回测≠线上、3σ仍漏判
预测可证伪性152100%指标存留、方向覆盖0%、可证伪33%<基准44%、无Brier
状态判定稳定性153C门槛硬跳变、无滞回、A基率0%、观望63%未执行强制归类
因子解释与预测能力100四因子页仅索引、A/C基率不对称、验证记录污染
流程自动化与可执行性100外推兜底、无硬闸门、停更3日
文档一致性与知识治理50双库分叉、重名/薄文件、61%无标签
合计10014

结论:按可复算细则,总分为 14/100(原报告 21/100 差异来自因子/流程/文档三维度按细则归零)。此分数反映"外壳完整、内核断裂"的严重程度。


可复核性自检

检查项状态说明
每个扣分项是否有 evidence_id?✔全部映射到 manifest.json
每个 evidence_id 是否可在 manifest 定位?✔E001-E021 全覆盖
关键数字是否有复算命令?✔recompute*.py 逐项给出
健康评分是否可复算?✔本表即为细则
建议参数是否标 [待验证]?✔见第二部整改方案
红队是否独立?✔见 redteam_independent.md
未覆盖范围是否明确?✔见审计声明
未能复核项是否标注?✔A4、A7、A13 标 [未能复核]
无引用不存在路径?✔/mnt/agents/output/ 标注不可用
无推断写成事实?✔标签体系严格执行