量化交易数据库 · 统一说明
依赖通道实况(2026-09-27 实测):pip 不通(proxy 拒绝连接);
量化交易数据库 · 统一说明
整合版:合并原「数据库README.md / 数据库索引.md / 数据库统计.md」三份文档
数据库:DUCKERRY_Warehouse(Obsidian 量化交易 Vault)
统计截至:2026-09-30(v5.2 · 驾驶舱统一管理 + 架构自检;见 00 驾驶舱(投资MOC) §〇·五)
⚠ 行情可信度:08-27→09-08 已回填真实数据 ✔;但黄金失真起点为 08-19,08-19~08-26 黄金标记
partial、7 个周末文件标记invalid。详见 复盘/数据治理/真实数据重估_2026-09-09口径唯一来源:框架/数据口径定义(单位、实际利率、交易日、动量、验证率、A-B-C 判定、数据可信度)
〇、数据可信度分级(全库强制)
〇·五、数据来源(2026-09-09 起生效)
旧版各复盘正文声明的主源为 Yahoo 期货历史页,但 Yahoo 在本采集环境网络不可达,已无法复现。下表为现行来源。每日采集由
scripts/fetch.py执行,原始响应与面板持久化在数据/(不再依赖会话间会被清空的/var/minis/workspace/)。
| 指标 | 主源 | 交叉源 | 可信度 |
|---|---|---|---|
| 黄金 | LBMA PM Fix (USD) | LBMA AM Fix | verified |
| 黄金(备用/回填) | World Gold Council 授权转发 fsapi.gold.org/api/goldprice/v13/chart/main(lbma_am/pm_usd/gbp/eur,2023-10 起) | 本地 LBMA 重叠期逐位比对(am 380 / pm 377 日,差异 0)+ LBMA 官网页面渲染值 | verified(仅回填/交叉核验用途,不可当主源;2026-10-02 启用,写入前须硬断言重叠一致,主文件回填须显式 DK_GOLD_BACKFILL=1;见 复盘/数据治理/黄金主源403与备用源验证_2026-10-02) |
| 10Y 名义 | 美国财政部 par yield curve | FRED DGS10 | verified |
| 10Y TIPS(=实际利率) | 美国财政部 real yield curve | FRED DFII10 | verified |
| VIX | FRED VIXCLS(权威) | CBOE 延迟报价 T+0 / CBOE 官方 CSV(二级源,仅权威源缺目标日值时启用,标来源与 [待验证]) | single_source(v5.2 起可消盲区,数据/vix_daily.json) |
| DXY | ECB 午盘汇率公式重构 | FRED 5pm 汇率重构 | single_source(重构值,约 −1 点水平偏移) |
| WTI | FRED DCOILWTICO | 缺(发布滞后) | single_source(有缺日,缺日不填充) |
| 股指 SPX/NDX | FRED SP500 / NASDAQ100(权威) | 东财 100.SPX / 100.NDX100(二级源,仅权威源缺目标日值时启用;与 FRED 重叠 80 日逐日一致) | single_source;数据/index_aux.json;已接入 L0-3 股票腿 |
| 债券 AGG/TLT | 纳斯达克官网 historical(未复权真实收盘) | 东财 fqt=0(未复权) | single_source;数据/bond_{tlt,agg}.json + 数据/bond_xcheck.json 交叉验证;v5.2 起改用未复权真实收盘,用于 L0-3 债券腿 |
- 原始响应留档:
数据/(可复核;raw_manifest.json记录抓取时间、URL、字节数与 sha256;audit_evidence/data/为冻结的 v2 审计快照,不被日常更新覆盖) - 不可达源清单与影响:见 复盘/数据治理/真实数据重估_2026-09-09#一、实际可达的数据源(及不可达的)
- 黄金主源变更前后对照:8 月上旬 Yahoo 口径与 LBMA 仅差 −0.1%,可衔接;08-19 起库内值系统性低于 LBMA(−2.3%→−5.8%),属数据失效而非源差异
〇·五·一 二级源与机械证据文件(v5.2 新增)
| 文件 | 口径 / 优先级 | 用途 |
|---|---|---|
数据/index_aux.json | 东财 100.SPX / 100.NDX100 日线;FRED 权威优先,二级源仅补目标日缺失;与 FRED 重叠 80 日逐日一致 | L0-3 目标日 SPX/NDX 二级源 |
数据/vix_daily.json | VIX 优先级 fred > cboe_csv > cboe_delayed > 反推;CBOE 延迟报价 T+0 | L0-2 VIX 消盲区;反推前值标 [待验证] |
数据/bond_xcheck.json | 纳斯达克官网 + 东财 fqt=0 未复权真实收盘交叉验证;单日差异 [待验证] | 债券腿口径审计 |
数据/pattern_abc.json | A 连续日数 / A 退出观察 / C 相关性门槛;B 固定「不可判定」 | A/B/C 机械证据(latest.json.pattern) |
数据/econ_calendar.json | Nasdaq 经济日历;窗口 = 滚动 7 自然日回溯 → 当日(工作日),默认不含前向覆盖;前向需显式设 DK_ECON_FORWARD_DAYS=N(v5.2.2 新增开关) | 盘前简报「事件—价格」段与事件登记 |
数据/portfolio_state.json | A1 并行组合记录(v5.3 新增):虚拟净值 / 当前权重 / 目标权重 / 上次调仓日;规则 = 逆波动率(60 周)· 周数据 W-FRI · 季调仓 · 5% 偏离带 · 6bps 单边 | A1 状态(scripts/portfolio.py,只算权重不下单) |
数据/portfolio_ledger.jsonl | 同上,按周 bar 追加台账:动作(bootstrap/rebalance/hold)、偏离、换手、净值;字段 no_order: true | A1 台账(A2 决策前的流程与纪律证据,不是收益证据) |
二级源只补当日缺失值、不覆盖权威源已有值;反推值/未完成长期核对项一律标
[待验证]。机械证据文件只做计数与门槛比对,不宣布因果、不升级为交易规则。
事件日历口径:默认窗口只能回溯(含当日)、不能前向,因此盘前简报 §六 若缺目标日事件,一律标
[待补]而非留空白;需要提前覆盖 T+N 日事件时,抓取前设DK_ECON_FORWARD_DAYS=N并重新跑收集器。外部思路源(非运行时依赖,禁止 import):武器库
fixed-income-mcp-main(久期/曲线工具的接口分层思路)与trace-data-pipeline-main(取数→校验→留痕分层思路)可复用于债券腿第三源设计与二级源交叉验证流程设计;两者均未安装、无 pip 网络,只作设计参考,不接入、不 import。
〇·五·二 外部量化资源挂载:/var/minis/mounts/量化策略/(v5.3.1 登记,只作设计参考)
| 仓库 | 判定 | 说明 |
|---|---|---|
quantstats-main | ✔ 可调用(研究层) | 绩效指标交叉验证;缺失可选依赖 seaborn/yfinance/tabulate 用 no-op 替身顶替(→ 回测/perf_audit/sns_stub.py) |
PyPortfolioOpt-main | 📖 只读源码 | 需 cvxpy(装不上)→ 读 risk_models.py(收缩估计)/ hierarchical_portfolio.py(HRP),抄算法不引依赖 |
Riskfolio-Lib-master | 📖 只读源码 | 需 cvxpy;内含 vendored Eigen C++(2101 个文件中约 2000 个),Python 侧仅 21 个文件 |
machine-learning-for-trading-main | 📖 只读源码 | 书配套代码,requires-python >=3.14(现役 3.12);读 regime detection 与回测陷阱章节 |
bt-master | 📖 只读源码 | 缺 Cython,且 __init__.py 首行 import ffn(ffn 不在清单) |
cvxportfolio-master · vectorbt-master | 📖 只读源码 | 分别缺 cvxpy / numba |
pysystemtrade-develop | ⛔ 只读,禁止安装 | 钉死 pandas==2.1.3,现役 2.2.3 → 任何 install 会降级 pandas 并直接打断 fetch.py 生产管线。唯一会造成实际损害的红线。 |
依赖通道实况(2026-09-27 实测):pip 不通(proxy 拒绝连接);apk 的 search/--simulate 可用,但下载同样不通(仅有本地 APKINDEX 缓存;实测 apk add py3-seaborn 84 个包全部 could not connect to server,且事后复核 numpy/pandas/scipy 版本未变、无残留)。网络恢复时可补:py3-seaborn / py3-scikit-learn / py3-statsmodels;补不了:cvxpy / numba / cython(Alpine 仓库无)。
文件完整性体检(2026-09-27):2093 个 .py 逐个 AST 解析 0 失败;102 个零字节文件中 96 个是合法空 __init__.py(另 py.typed / eigen 测试头 / 3 个未引用叶子模块);README/LICENSE 均在,只是扩展名 .rst/.txt/.md → 无损坏文件,问题只在依赖。
红线分层(v5.3.1):
- 研究层(
回测/或独立脚本)可用 —— 以PYTHONPATH挂载目录(例:回测/perf_audit/)。 - 生产链(
scripts/)一律不 import —— 包括scripts/portfolio.py(它只用 numpy,用不着)。 pysystemtrade只读禁装(理由见上表)。
〇·五·三 多资产 / 组合策略现状(v5.3.2 统一表述 · 与驾驶舱 §九 v5.3.2 措辞一致)
一句话:三处并存、零生产接入。
| 层 | 位置 | 性质 / 边界 |
|---|---|---|
| ① 回测层 | 回测/engine_multi/ | 只读 数据/、零联网;engine_v1 与 perf_audit 同属研究层 |
| ② A1 并行虚拟记录 | scripts/portfolio.py → 数据/portfolio_state.json + 数据/portfolio_ledger.jsonl | 只算权重、不下单、不接账户、不写 数据/paper/(逆波动率·周数据·季调仓·5% 偏离带·6bps) |
| ③ 决策依据 | optimization/决策备忘_核心底仓是否改为金加纳指_2026-09-27.md v1.1 | 已拍板 A1;不得据此更换核心底仓 |
- 生产链
paper_engine仍是单资产卫星(v5.3 卫星降权SATELLITE_CAP=0.20后);组合策略 未接入任何生产流程,也不得写入生产流程描述。 - 升级门槛(A1 → A2)= 经历过一次组合 ≥15% 回撤且没动手;在此之前组合记录只验流程与纪律、不是收益证据。
| 标签 | 含义 | 可否驱动决策 |
|---|---|---|
verified | 已从主源+交叉源双确认 | ✔ |
extrapolated | 脚本线性外推,非真实行情 | ✘ |
unverified | 单源/未复核 | ⚠ 仅观察 |
- 旧版本文件与 MOC 出现过
数据更新:实时字样。"实时"一词已废止——无抓取时间戳的一律视为unverified。 - 全库现状(复核后):08-18 及以前 =
verified| 08-19 → 08-26 =partial(黄金偏离 LBMA −2.3%~−5.8%) | 08-27 → 09-08 交易日 =verified(真实回填)| 7 个周末 + 08-31 =invalid。 - 详见 复盘/数据治理/真实数据重估_2026-09-09 与 复盘/数据治理/数据勘误报告_2026-09-09。
〇·五·四 日常 SOP 基础设施脚本(v1.8.0 新增 · 只读/非阻断)
| 脚本 | 用途 | 性质 |
|---|---|---|
scripts/preflight.py | 管线前源可用性预检(≤30s):探测核心源(LBMA gold_pm/am、美国财政部 10Y 名义/实际)与二级源(FRED / 东财指数 / 纳指 ETF);输出单行 JSON core_ok/failed/suggest_skip_pipeline | 只探测、不写数据;core_ok=false → SOP 跳过完整管线走「数据缺失占位」;逃生 --force-pipeline |
scripts/selfcheck.py | 自检三合一(单进程):import 调用 moc_index + arch_check + doc_sync_check,输出单行 JSON + 汇总 rc | 不改变三者各自判定口径;--check 只读 |
scripts/daily_summary.py | 复盘素材摘要(≤40 行):一次读 latest.json + state/current.md + 复盘文件 + open 预测,输出 target/gate/publish/L0/L1/regime/pattern/brier/paper/portfolio 三态/aux/fetch_failures/doc_sync | 只读,取代多次散读 JSON |
scripts/tests_gate.py | 内容寻址测试门控:指纹 = sha256(scripts/*.py + tests/test_pipeline.py);未变→只跑快类、跳过重类;变了必须整类跑(禁止逐项);结果写 state/tests_cache.json | 只写 state/;逃生 --all/--only/--bisect/--status;门控只在代码未变时跳过 |
四个脚本均不参与 G1 / 发布判据,不改
fetch.py/paper_engine.py/portfolio.py的判定逻辑。技能正文(9 步 SOP)见 框架/技能/duckerry-daily-review SKILL,口径细节见 框架/技能/reference。
一、数据库概述
本数据库是量化交易自动化系统的核心知识库,记录市场数据、框架分析、用户行为与风险监控,支撑黄金主导因子切换(A-B-C)与四因子决策框架。
目录结构(2026-10-05 实测;逐文件用途见 分区/02 全库文件地图)
DUCKERRY_Warehouse/
├── 00 首页(从这里开始).md # ★ 全库入口(薄首页:状态 + 8 入口 + 我要做X→去Y)
├── 00 驾驶舱(投资MOC).md # ★ 机器索引页:AUTO:INDEX 全量表 / 目录声明数 / 版本索引 / 工具箱
├── 分区/ (6) # 01 系统架构与脚本 · 02 全库文件地图 · 03 框架·资产·因子·概念 · 04 验证追踪与Agent系统 · 05 复盘导航与里程碑 · 06 版本记录
├── 数据库说明.md / 图谱导航图.md / 图谱配置指南.md / 模拟盘看板.md(.html)
├── 复盘/ # 收盘复盘 99 · 快照 32 · 盘前简报 25 · 备忘 1 · 占位 3 = 160(按月分层,机械校验见 doc_sync_check 第 13 项)
│ ├── 2026-06/ (21) · 2026-07/ (22) · 2026-08/ (20) · 2026-09/ (41) · 2026-10/ (56) # 日产物按月分层
│ ├── 复盘索引.md + 总汇/专题/状态总览/长期记忆 (6 直属)
│ ├── 数据治理/ (3) # 真实数据重估 / 数据勘误报告 / 黄金主源403与备用源验证
│ └── 历史原始记录/ (44) # 冻结归档区(只修链接)
├── 框架/ (10) + 框架/模板/ (2) + 框架/技能/ (2) # 决策框架、数据口径定义、A-B-C、四因子、生成流程;技能正文 + reference.md
├── 因子/ (4) · 资产/ (6) · 概念/ (4)
├── 回测/ (10) # 量化策略回测脚本与结果(README 含重命名映射)
├── optimization/ (34) # 报告/ (20) · 提示词/ (12) · 待办与交接/ (1) · 优化工作区索引.md (1) + evidence/
├── audit_evidence/ (6 md) # 审计证据包(非日常决策用)
├── 数据/ # panel.csv / latest.json / logs/ / runs/ / paper/ / predictions/
└── scripts/ # fetch.py 管线 + 自检三件套(doc_sync_check / arch_check / moc_index)+ SOP 基础设施(preflight / selfcheck / daily_summary / tests_gate,**只读/非阻断**)数据目录保留策略(数据/,只增不删)
| 子目录 | 内容 | 保留策略 |
|---|---|---|
数据/panel.csv latest.json | 面板与最新运行摘要 | 覆盖式更新(当日最新) |
数据/logs/ | 日志与归档元数据(删除失效文件清单_*.json 亦在此) | 只增不删;归档触发条件:> 300 个文件或 > 500 MB 时,另开任务把 >30 天者 cp 备份后移入 数据/logs_archive/ |
数据/runs/ | 每次运行归档(当前 77 个,2026-09-26 实测) | 只增不删;归档触发条件:> 120 个目录或 > 200 MB 时,另开任务把 >30 天者 cp -r 备份后移入 数据/runs_archive/ |
数据/predictions/ 数据/paper/ | 预测日志 / 模拟盘状态 | 只增不删(重置需 reset_paper_state.py + 备份) |
**/__pycache__/(scripts/ 等 4 处) | Python 运行时字节码产物 | 运行时产物,可再生,不参与统计与自检;运行脚本即再生,不反复清理 |
数据/** 内 *.bak*(含 *.bak_YYYYMMDD* 与 bak_* 目录,当前 13 处) | 改动前备份(含 .obsidian/snippets/*.css.bak) | 保留、不自动清理(回滚证据);如需收敛,另开任务统一移到 数据/backup/,先备份后移动 |
二、数据类型与结构
1. 市场数据
| 字段 | 描述 | 单位 | 示例 |
|---|---|---|---|
| gold_price | 黄金价格 | USD/oz | 4363.74 |
| dxy_price | 美元指数 | 指数点 | 98.41 |
| vix_price | VIX指数 | 指数点 | 15.26 |
| nominal_yield | 10Y名义收益率 | % | 4.61 |
| tips_yield | 10Y TIPS收益率 = 实际利率 | % | 2.39 |
| *_chg | 变动 | 价格类=%,利率类=pp | +0.08% / +0.01pp |
旧版示例曾把 VIX 的指数点差写成
%(VIX 16.85→16.56 标注-2.89%,实际-1.72%),已修正。
2. 框架分析
| 字段 | 描述 | 示例 |
|---|---|---|
| regime_mode | A-B-C模式(判据见 概念/A-B-C阈值) | C模式 |
| dominant_factor | 主导因子 | 周期 |
| factor_weights | 四因子权重,合计恒等于 100 | 宏观40/情绪10/价格10/周期40 |
| gold_dxy_corr | 金-美元相关性 | 0.991(异常正相关) |
| gold_yield_corr | 金-实际利率相关性 | 0.911(异常正相关) |
旧版示例为
宏观50/情绪30/价格80/周期100,合计 260 而非 100——既不是占比也不是标准化分值,无法横向比较,已按"合计=100"重写。
3. 用户行为
| 字段 | 描述 | 示例 |
|---|---|---|
| user_prediction | 用户预测 | 周度宏观 |
| verification_status | 验证状态 | 已证实/已证伪 |
| trading_style | 交易风格 | 左侧思维者 |
4. 风险监控(L0-L4五层体系)
下表为字段结构示意,"当前"列不代表实时状态;真实状态以 00 驾驶舱(投资MOC) 与最新一期
verified复盘为准。
| 层级 | 含义 | 取值域 |
|---|---|---|
| L0 | 应急断路器 | 正常 / 触发 |
| L1 | 动量过滤器 | up / down / neutral(中性强制优先) |
| L2 | 框架状态 | A / B / C / 观望 |
| L3 | 特殊事件触发 | 未触发 / 触发 |
| L4 | 价格验证 | 正常 / 背离 |
L0 执行说明(2026-09-23 起):以 框架/数据口径定义#九、L0 断路器阈值(分级,强制) 为唯一口径。每日
scripts/fetch.py机械填入 L0-1/L0-2/分布型阈值;SPX/NDX 已由 FRED 公开序列接入 L0-3 股票腿;债券腿自 v4.3 起为 AGG/TLT 真实价格(eastmoney 单源[待验证]),L0-3 状态升级为「可评估(含真实债券价格)」,仅在债券腿数据未追平目标日时回退「10Y 收益率代理(部分可评估)」。分布型参数仍为[待验证],不得作为实盘唯一风控依据。
三、查询方法
按日期查询
grep "2026-08-17" 复盘/*.md按模式查询
grep "C模式" 复盘/*.md按因子查询
grep "周期因子" 复盘/*.md统计模式分布
grep -o "模式:[^)]*" 复盘/*.md | sort | uniq -c查看所有复盘
ls 复盘/四、当前统计(截至 2026-10-02 实测)
注:本表由人工随版本同步;机械校验见
scripts/doc_sync_check.py(v5.2.x 起覆盖本表面板行数/交易日数/Brier)。
数据规模:复盘/ 日产物 160 份(收盘复盘 99 + 收盘数据快照 32 + 盘前简报 25 + 非交易日备忘 1 + 数据缺失占位 3),按 复盘/YYYY-MM/ 分层;复盘/ 直属导航/总汇/专题 6 份(含 复盘/复盘索引);数据治理 3;归档区(冻结)44。 ✔ 2026-06-01 → 2026-10-06 的价格由真实原始源机械复算(09-30 起 LBMA 主源 403 期间黄金经 WGC 授权转发回填,重叠期逐位一致);旧外推复盘已隔离,不计入任何统计。 ⚠ 因子主导验证率与 Agent 日度验证率已重置:旧记录缺乏一致的事前预测、可证伪区间或完整证据链,不能继续使用原先的 79.3%/100% 数字。
当前可用统计
| 统计项 | 状态 | 说明 |
|---|---|---|
| 价格/收益率数据 | 已重建 | 面板 109 行 / 104 交易日(06-01→10-29);面板与原始文件在 数据/ |
| 因子主导验证率 | 已重置 | 旧版分子、分母和事前证据链不再满足统一口径,暂不输出百分比 |
| Agent 日度验证率 | 已重置 | 旧版“观望即正确”不可证伪,暂不输出百分比 |
| A/B/C 模式 | 待人工证据 | 机械相关性统计已生成,但不自动宣布模式 |
| L0-3 | 可评估(含真实债券价格) | SPX/NDX + AGG/TLT 均已接入;债券腿未追平目标日时回退收益率代理 |
| Regime / Brier | 运行中 [待验证] | Regime Trending-Down 0.837;Brier 0.08273(基准 0.13226,n=11) |
| 模拟盘 | 运行中(样本不足,不接真实账户) | 净值 0.976677 / 现金 0.824930 / 持多 15.17%(10-06 因 regime 切为 Range 而开多,entry 4,156.40;止损 4,031.708 / 止盈 4,405.784;10-07 金价 -1.47% 触发盯市回撤,L1=down 但 min_hold 未满 → 拦为 hold)→ 完整账户视图见 模拟盘看板 |
市场最新状态(目标交易日:2026-10-07)
| 指标 | 数值 | 变化 | 数据日 | 可信度 |
|---|---|---|---|---|
| 黄金 PM | 4,095.40 | -1.47% | 2026-10-07 | verified(WGC 授权转发回填) |
| DXY(ECB重构) | 102.4089 | +0.59% | 2026-10-07 | single_source |
| VIX | 15.01 | -3.29% | 2026-10-06 | single_source(源滞后 1 日;10-07 仅 CBOE 延迟报价 15.08,非权威) |
| 10Y 名义 | 5.28 | +0.01pp | 2026-10-07 | verified |
| 10Y TIPS(=实际利率) | 2.92 | +0.01pp | 2026-10-07 | verified |
| 债券腿 AGG / TLT | 94.31 / 77.145 | -0.05% / -0.17% | 2026-10-07 | single_source(未复权真实收盘双源) |
| L1 | down(弱) | 5日累计 -1.94% | 2026-10-07 | — |
L0 当日为「正常(L0-3 可评估)」——金 -1.47% / SPX -0.22% / NDX -0.21% 均未达 1.5% 同跌阈值,AGG -0.05% 未触发;断路器未触发。
SPX -0.22% / NDX -0.21%(FRED 权威源);AGG -0.05% 真实价格回报(纳指官网 + 东财 fqt=0 双源)。
⚠ 10-07 黄金经 WGC 授权转发源回填(LBMA 主源自 2026-10-01 起持续 403);重叠期 379/382 日逐位一致,主源恢复后须复核。
自动数据见 00 驾驶舱(投资MOC) AUTO:DATA 区块(
fetch.py每次运行覆盖)。
五、数据维护
备份
cp -r 复盘/ /var/minis/workspace/backup_优化_20260819/完整性检查
find . -name "*.md" -size 0 # 空文件检查(应为空)
ls 复盘/*.md | wc -l # 复盘文件计数清理原则
- 删除 0 字节空文件
- 删除重复草稿(保留权威版)
- 修复
.md.md错误命名 - 保持两仓库(mounts / shared)文件对齐
*整合自:数据库README / 数据库索引 / 数据库统计(2026-08-17)| 复核日期:2026-10-08(黄金 WGC 备用源沿用;目标交易日更新至 10-07)*