框架

量化交易数据库 · 统一说明

依赖通道实况(2026-09-27 实测):pip 不通(proxy 拒绝连接);

顶层 · 资产·规范 · 数据库说明.md · 22338 B

量化交易数据库 · 统一说明

整合版:合并原「数据库README.md / 数据库索引.md / 数据库统计.md」三份文档

数据库:DUCKERRY_Warehouse(Obsidian 量化交易 Vault)

统计截至:2026-09-30(v5.2 · 驾驶舱统一管理 + 架构自检;见 00 驾驶舱(投资MOC) §〇·五)

⚠ 行情可信度:08-27→09-08 已回填真实数据 ✔;但黄金失真起点为 08-19,08-19~08-26 黄金标记 partial、7 个周末文件标记 invalid。详见 复盘/数据治理/真实数据重估_2026-09-09

口径唯一来源:框架/数据口径定义(单位、实际利率、交易日、动量、验证率、A-B-C 判定、数据可信度)


〇、数据可信度分级(全库强制)


〇·五、数据来源(2026-09-09 起生效)

旧版各复盘正文声明的主源为 Yahoo 期货历史页,但 Yahoo 在本采集环境网络不可达,已无法复现。下表为现行来源。每日采集由 scripts/fetch.py 执行,原始响应与面板持久化在 数据/(不再依赖会话间会被清空的 /var/minis/workspace/)。

指标主源交叉源可信度
黄金LBMA PM Fix (USD)LBMA AM Fixverified
黄金(备用/回填)World Gold Council 授权转发 fsapi.gold.org/api/goldprice/v13/chart/main(lbma_am/pm_usd/gbp/eur,2023-10 起)本地 LBMA 重叠期逐位比对(am 380 / pm 377 日,差异 0)+ LBMA 官网页面渲染值verified(仅回填/交叉核验用途,不可当主源;2026-10-02 启用,写入前须硬断言重叠一致,主文件回填须显式 DK_GOLD_BACKFILL=1;见 复盘/数据治理/黄金主源403与备用源验证_2026-10-02)
10Y 名义美国财政部 par yield curveFRED DGS10verified
10Y TIPS(=实际利率)美国财政部 real yield curveFRED DFII10verified
VIXFRED VIXCLS(权威)CBOE 延迟报价 T+0 / CBOE 官方 CSV(二级源,仅权威源缺目标日值时启用,标来源与 [待验证])single_source(v5.2 起可消盲区,数据/vix_daily.json)
DXYECB 午盘汇率公式重构FRED 5pm 汇率重构single_source(重构值,约 −1 点水平偏移)
WTIFRED DCOILWTICO缺(发布滞后)single_source(有缺日,缺日不填充)
股指 SPX/NDXFRED SP500 / NASDAQ100(权威)东财 100.SPX / 100.NDX100(二级源,仅权威源缺目标日值时启用;与 FRED 重叠 80 日逐日一致)single_source;数据/index_aux.json;已接入 L0-3 股票腿
债券 AGG/TLT纳斯达克官网 historical(未复权真实收盘)东财 fqt=0(未复权)single_source;数据/bond_{tlt,agg}.json + 数据/bond_xcheck.json 交叉验证;v5.2 起改用未复权真实收盘,用于 L0-3 债券腿
  • 原始响应留档:数据/(可复核;raw_manifest.json 记录抓取时间、URL、字节数与 sha256;audit_evidence/data/ 为冻结的 v2 审计快照,不被日常更新覆盖)
  • 不可达源清单与影响:见 复盘/数据治理/真实数据重估_2026-09-09#一、实际可达的数据源(及不可达的)
  • 黄金主源变更前后对照:8 月上旬 Yahoo 口径与 LBMA 仅差 −0.1%,可衔接;08-19 起库内值系统性低于 LBMA(−2.3%→−5.8%),属数据失效而非源差异

〇·五·一 二级源与机械证据文件(v5.2 新增)

文件口径 / 优先级用途
数据/index_aux.json东财 100.SPX / 100.NDX100 日线;FRED 权威优先,二级源仅补目标日缺失;与 FRED 重叠 80 日逐日一致L0-3 目标日 SPX/NDX 二级源
数据/vix_daily.jsonVIX 优先级 fred > cboe_csv > cboe_delayed > 反推;CBOE 延迟报价 T+0L0-2 VIX 消盲区;反推前值标 [待验证]
数据/bond_xcheck.json纳斯达克官网 + 东财 fqt=0 未复权真实收盘交叉验证;单日差异 [待验证]债券腿口径审计
数据/pattern_abc.jsonA 连续日数 / A 退出观察 / C 相关性门槛;B 固定「不可判定」A/B/C 机械证据(latest.json.pattern)
数据/econ_calendar.jsonNasdaq 经济日历;窗口 = 滚动 7 自然日回溯 → 当日(工作日),默认不含前向覆盖;前向需显式设 DK_ECON_FORWARD_DAYS=N(v5.2.2 新增开关)盘前简报「事件—价格」段与事件登记
数据/portfolio_state.jsonA1 并行组合记录(v5.3 新增):虚拟净值 / 当前权重 / 目标权重 / 上次调仓日;规则 = 逆波动率(60 周)· 周数据 W-FRI · 季调仓 · 5% 偏离带 · 6bps 单边A1 状态(scripts/portfolio.py,只算权重不下单)
数据/portfolio_ledger.jsonl同上,按周 bar 追加台账:动作(bootstrap/rebalance/hold)、偏离、换手、净值;字段 no_order: trueA1 台账(A2 决策前的流程与纪律证据,不是收益证据)

二级源只补当日缺失值、不覆盖权威源已有值;反推值/未完成长期核对项一律标 [待验证]。

机械证据文件只做计数与门槛比对,不宣布因果、不升级为交易规则。

事件日历口径:默认窗口只能回溯(含当日)、不能前向,因此盘前简报 §六 若缺目标日事件,一律标 [待补] 而非留空白;需要提前覆盖 T+N 日事件时,抓取前设 DK_ECON_FORWARD_DAYS=N 并重新跑收集器。

外部思路源(非运行时依赖,禁止 import):武器库 fixed-income-mcp-main(久期/曲线工具的接口分层思路)与 trace-data-pipeline-main(取数→校验→留痕分层思路)可复用于债券腿第三源设计与二级源交叉验证流程设计;两者均未安装、无 pip 网络,只作设计参考,不接入、不 import。

〇·五·二 外部量化资源挂载:/var/minis/mounts/量化策略/(v5.3.1 登记,只作设计参考)

仓库判定说明
quantstats-main✔ 可调用(研究层)绩效指标交叉验证;缺失可选依赖 seaborn/yfinance/tabulate 用 no-op 替身顶替(→ 回测/perf_audit/sns_stub.py)
PyPortfolioOpt-main📖 只读源码需 cvxpy(装不上)→ 读 risk_models.py(收缩估计)/ hierarchical_portfolio.py(HRP),抄算法不引依赖
Riskfolio-Lib-master📖 只读源码需 cvxpy;内含 vendored Eigen C++(2101 个文件中约 2000 个),Python 侧仅 21 个文件
machine-learning-for-trading-main📖 只读源码书配套代码,requires-python >=3.14(现役 3.12);读 regime detection 与回测陷阱章节
bt-master📖 只读源码缺 Cython,且 __init__.py 首行 import ffn(ffn 不在清单)
cvxportfolio-master · vectorbt-master📖 只读源码分别缺 cvxpy / numba
pysystemtrade-develop⛔ 只读,禁止安装钉死 pandas==2.1.3,现役 2.2.3 → 任何 install 会降级 pandas 并直接打断 fetch.py 生产管线。唯一会造成实际损害的红线。

依赖通道实况(2026-09-27 实测):pip 不通(proxy 拒绝连接);apk 的 search/--simulate 可用,但下载同样不通(仅有本地 APKINDEX 缓存;实测 apk add py3-seaborn 84 个包全部 could not connect to server,且事后复核 numpy/pandas/scipy 版本未变、无残留)。网络恢复时可补:py3-seaborn / py3-scikit-learn / py3-statsmodels;补不了:cvxpy / numba / cython(Alpine 仓库无)。

文件完整性体检(2026-09-27):2093 个 .py 逐个 AST 解析 0 失败;102 个零字节文件中 96 个是合法空 __init__.py(另 py.typed / eigen 测试头 / 3 个未引用叶子模块);README/LICENSE 均在,只是扩展名 .rst/.txt/.md → 无损坏文件,问题只在依赖。

红线分层(v5.3.1):

  • 研究层(回测/ 或独立脚本)可用 —— 以 PYTHONPATH 挂载目录(例:回测/perf_audit/)。
  • 生产链(scripts/)一律不 import —— 包括 scripts/portfolio.py(它只用 numpy,用不着)。
  • pysystemtrade 只读禁装(理由见上表)。

〇·五·三 多资产 / 组合策略现状(v5.3.2 统一表述 · 与驾驶舱 §九 v5.3.2 措辞一致)

一句话:三处并存、零生产接入。

层位置性质 / 边界
① 回测层回测/engine_multi/只读 数据/、零联网;engine_v1 与 perf_audit 同属研究层
② A1 并行虚拟记录scripts/portfolio.py → 数据/portfolio_state.json + 数据/portfolio_ledger.jsonl只算权重、不下单、不接账户、不写 数据/paper/(逆波动率·周数据·季调仓·5% 偏离带·6bps)
③ 决策依据optimization/决策备忘_核心底仓是否改为金加纳指_2026-09-27.md v1.1已拍板 A1;不得据此更换核心底仓
  • 生产链 paper_engine 仍是单资产卫星(v5.3 卫星降权 SATELLITE_CAP=0.20 后);组合策略 未接入任何生产流程,也不得写入生产流程描述。
  • 升级门槛(A1 → A2)= 经历过一次组合 ≥15% 回撤且没动手;在此之前组合记录只验流程与纪律、不是收益证据。
标签含义可否驱动决策
verified已从主源+交叉源双确认✔
extrapolated脚本线性外推,非真实行情✘
unverified单源/未复核⚠ 仅观察

〇·五·四 日常 SOP 基础设施脚本(v1.8.0 新增 · 只读/非阻断)

脚本用途性质
scripts/preflight.py管线前源可用性预检(≤30s):探测核心源(LBMA gold_pm/am、美国财政部 10Y 名义/实际)与二级源(FRED / 东财指数 / 纳指 ETF);输出单行 JSON core_ok/failed/suggest_skip_pipeline只探测、不写数据;core_ok=false → SOP 跳过完整管线走「数据缺失占位」;逃生 --force-pipeline
scripts/selfcheck.py自检三合一(单进程):import 调用 moc_index + arch_check + doc_sync_check,输出单行 JSON + 汇总 rc不改变三者各自判定口径;--check 只读
scripts/daily_summary.py复盘素材摘要(≤40 行):一次读 latest.json + state/current.md + 复盘文件 + open 预测,输出 target/gate/publish/L0/L1/regime/pattern/brier/paper/portfolio 三态/aux/fetch_failures/doc_sync只读,取代多次散读 JSON
scripts/tests_gate.py内容寻址测试门控:指纹 = sha256(scripts/*.py + tests/test_pipeline.py);未变→只跑快类、跳过重类;变了必须整类跑(禁止逐项);结果写 state/tests_cache.json只写 state/;逃生 --all/--only/--bisect/--status;门控只在代码未变时跳过

四个脚本均不参与 G1 / 发布判据,不改 fetch.py / paper_engine.py / portfolio.py 的判定逻辑。

技能正文(9 步 SOP)见 框架/技能/duckerry-daily-review SKILL,口径细节见 框架/技能/reference。

一、数据库概述

本数据库是量化交易自动化系统的核心知识库,记录市场数据、框架分析、用户行为与风险监控,支撑黄金主导因子切换(A-B-C)与四因子决策框架。

目录结构(2026-10-05 实测;逐文件用途见 分区/02 全库文件地图)

DUCKERRY_Warehouse/
├── 00 首页(从这里开始).md   # ★ 全库入口(薄首页:状态 + 8 入口 + 我要做X→去Y)
├── 00 驾驶舱(投资MOC).md     # ★ 机器索引页:AUTO:INDEX 全量表 / 目录声明数 / 版本索引 / 工具箱
├── 分区/ (6)                  # 01 系统架构与脚本 · 02 全库文件地图 · 03 框架·资产·因子·概念 · 04 验证追踪与Agent系统 · 05 复盘导航与里程碑 · 06 版本记录
├── 数据库说明.md / 图谱导航图.md / 图谱配置指南.md / 模拟盘看板.md(.html)
├── 复盘/                       # 收盘复盘 99 · 快照 32 · 盘前简报 25 · 备忘 1 · 占位 3 = 160(按月分层,机械校验见 doc_sync_check 第 13 项)
│   ├── 2026-06/ (21) · 2026-07/ (22) · 2026-08/ (20) · 2026-09/ (41) · 2026-10/ (56)   # 日产物按月分层
│   ├── 复盘索引.md + 总汇/专题/状态总览/长期记忆 (6 直属)
│   ├── 数据治理/ (3)           # 真实数据重估 / 数据勘误报告 / 黄金主源403与备用源验证
│   └── 历史原始记录/ (44)      # 冻结归档区(只修链接)
├── 框架/ (10) + 框架/模板/ (2) + 框架/技能/ (2)   # 决策框架、数据口径定义、A-B-C、四因子、生成流程;技能正文 + reference.md
├── 因子/ (4) · 资产/ (6) · 概念/ (4)
├── 回测/ (10)                  # 量化策略回测脚本与结果(README 含重命名映射)
├── optimization/ (34)          # 报告/ (20) · 提示词/ (12) · 待办与交接/ (1) · 优化工作区索引.md (1) + evidence/
├── audit_evidence/ (6 md)      # 审计证据包(非日常决策用)
├── 数据/                       # panel.csv / latest.json / logs/ / runs/ / paper/ / predictions/
└── scripts/                    # fetch.py 管线 + 自检三件套(doc_sync_check / arch_check / moc_index)+ SOP 基础设施(preflight / selfcheck / daily_summary / tests_gate,**只读/非阻断**)

数据目录保留策略(数据/,只增不删)

子目录内容保留策略
数据/panel.csv latest.json面板与最新运行摘要覆盖式更新(当日最新)
数据/logs/日志与归档元数据(删除失效文件清单_*.json 亦在此)只增不删;归档触发条件:> 300 个文件或 > 500 MB 时,另开任务把 >30 天者 cp 备份后移入 数据/logs_archive/
数据/runs/每次运行归档(当前 77 个,2026-09-26 实测)只增不删;归档触发条件:> 120 个目录或 > 200 MB 时,另开任务把 >30 天者 cp -r 备份后移入 数据/runs_archive/
数据/predictions/ 数据/paper/预测日志 / 模拟盘状态只增不删(重置需 reset_paper_state.py + 备份)
**/__pycache__/(scripts/ 等 4 处)Python 运行时字节码产物运行时产物,可再生,不参与统计与自检;运行脚本即再生,不反复清理
数据/** 内 *.bak*(含 *.bak_YYYYMMDD* 与 bak_* 目录,当前 13 处)改动前备份(含 .obsidian/snippets/*.css.bak)保留、不自动清理(回滚证据);如需收敛,另开任务统一移到 数据/backup/,先备份后移动

二、数据类型与结构

1. 市场数据

字段描述单位示例
gold_price黄金价格USD/oz4363.74
dxy_price美元指数指数点98.41
vix_priceVIX指数指数点15.26
nominal_yield10Y名义收益率%4.61
tips_yield10Y TIPS收益率 = 实际利率%2.39
*_chg变动价格类=%,利率类=pp+0.08% / +0.01pp

旧版示例曾把 VIX 的指数点差写成 %(VIX 16.85→16.56 标注 -2.89%,实际 -1.72%),已修正。

2. 框架分析

字段描述示例
regime_modeA-B-C模式(判据见 概念/A-B-C阈值)C模式
dominant_factor主导因子周期
factor_weights四因子权重,合计恒等于 100宏观40/情绪10/价格10/周期40
gold_dxy_corr金-美元相关性0.991(异常正相关)
gold_yield_corr金-实际利率相关性0.911(异常正相关)

旧版示例为 宏观50/情绪30/价格80/周期100,合计 260 而非 100——既不是占比也不是标准化分值,无法横向比较,已按"合计=100"重写。

3. 用户行为

字段描述示例
user_prediction用户预测周度宏观
verification_status验证状态已证实/已证伪
trading_style交易风格左侧思维者

4. 风险监控(L0-L4五层体系)

下表为字段结构示意,"当前"列不代表实时状态;真实状态以 00 驾驶舱(投资MOC) 与最新一期 verified 复盘为准。

层级含义取值域
L0应急断路器正常 / 触发
L1动量过滤器up / down / neutral(中性强制优先)
L2框架状态A / B / C / 观望
L3特殊事件触发未触发 / 触发
L4价格验证正常 / 背离

L0 执行说明(2026-09-23 起):以 框架/数据口径定义#九、L0 断路器阈值(分级,强制) 为唯一口径。每日 scripts/fetch.py 机械填入 L0-1/L0-2/分布型阈值;SPX/NDX 已由 FRED 公开序列接入 L0-3 股票腿;债券腿自 v4.3 起为 AGG/TLT 真实价格(eastmoney 单源 [待验证]),L0-3 状态升级为「可评估(含真实债券价格)」,仅在债券腿数据未追平目标日时回退「10Y 收益率代理(部分可评估)」。分布型参数仍为 [待验证],不得作为实盘唯一风控依据。


三、查询方法

按日期查询

grep "2026-08-17" 复盘/*.md

按模式查询

grep "C模式" 复盘/*.md

按因子查询

grep "周期因子" 复盘/*.md

统计模式分布

grep -o "模式:[^)]*" 复盘/*.md | sort | uniq -c

查看所有复盘

ls 复盘/

四、当前统计(截至 2026-10-02 实测)

注:本表由人工随版本同步;机械校验见 scripts/doc_sync_check.py(v5.2.x 起覆盖本表面板行数/交易日数/Brier)。

数据规模:复盘/ 日产物 160 份(收盘复盘 99 + 收盘数据快照 32 + 盘前简报 25 + 非交易日备忘 1 + 数据缺失占位 3),按 复盘/YYYY-MM/ 分层;复盘/ 直属导航/总汇/专题 6 份(含 复盘/复盘索引);数据治理 3;归档区(冻结)44。 ✔ 2026-06-01 → 2026-10-06 的价格由真实原始源机械复算(09-30 起 LBMA 主源 403 期间黄金经 WGC 授权转发回填,重叠期逐位一致);旧外推复盘已隔离,不计入任何统计。 ⚠ 因子主导验证率与 Agent 日度验证率已重置:旧记录缺乏一致的事前预测、可证伪区间或完整证据链,不能继续使用原先的 79.3%/100% 数字。

当前可用统计

统计项状态说明
价格/收益率数据已重建面板 109 行 / 104 交易日(06-01→10-29);面板与原始文件在 数据/
因子主导验证率已重置旧版分子、分母和事前证据链不再满足统一口径,暂不输出百分比
Agent 日度验证率已重置旧版“观望即正确”不可证伪,暂不输出百分比
A/B/C 模式待人工证据机械相关性统计已生成,但不自动宣布模式
L0-3可评估(含真实债券价格)SPX/NDX + AGG/TLT 均已接入;债券腿未追平目标日时回退收益率代理
Regime / Brier运行中 [待验证]Regime Trending-Down 0.837;Brier 0.08273(基准 0.13226,n=11)
模拟盘运行中(样本不足,不接真实账户)净值 0.976677 / 现金 0.824930 / 持多 15.17%(10-06 因 regime 切为 Range 而开多,entry 4,156.40;止损 4,031.708 / 止盈 4,405.784;10-07 金价 -1.47% 触发盯市回撤,L1=down 但 min_hold 未满 → 拦为 hold)→ 完整账户视图见 模拟盘看板

市场最新状态(目标交易日:2026-10-07)

指标数值变化数据日可信度
黄金 PM4,095.40-1.47%2026-10-07verified(WGC 授权转发回填)
DXY(ECB重构)102.4089+0.59%2026-10-07single_source
VIX15.01-3.29%2026-10-06single_source(源滞后 1 日;10-07 仅 CBOE 延迟报价 15.08,非权威)
10Y 名义5.28+0.01pp2026-10-07verified
10Y TIPS(=实际利率)2.92+0.01pp2026-10-07verified
债券腿 AGG / TLT94.31 / 77.145-0.05% / -0.17%2026-10-07single_source(未复权真实收盘双源)
L1down(弱)5日累计 -1.94%2026-10-07—

L0 当日为「正常(L0-3 可评估)」——金 -1.47% / SPX -0.22% / NDX -0.21% 均未达 1.5% 同跌阈值,AGG -0.05% 未触发;断路器未触发。

SPX -0.22% / NDX -0.21%(FRED 权威源);AGG -0.05% 真实价格回报(纳指官网 + 东财 fqt=0 双源)。

⚠ 10-07 黄金经 WGC 授权转发源回填(LBMA 主源自 2026-10-01 起持续 403);重叠期 379/382 日逐位一致,主源恢复后须复核。

自动数据见 00 驾驶舱(投资MOC) AUTO:DATA 区块(fetch.py 每次运行覆盖)。

五、数据维护

备份

cp -r 复盘/ /var/minis/workspace/backup_优化_20260819/

完整性检查

find . -name "*.md" -size 0 # 空文件检查(应为空)
ls 复盘/*.md | wc -l # 复盘文件计数

清理原则

  • 删除 0 字节空文件
  • 删除重复草稿(保留权威版)
  • 修复 .md.md 错误命名
  • 保持两仓库(mounts / shared)文件对齐

*整合自:数据库README / 数据库索引 / 数据库统计(2026-08-17)| 复核日期:2026-10-08(黄金 WGC 备用源沿用;目标交易日更新至 10-07)*