P0 语料归一报告

阶段三 P0：在阶段二"注意力时间序列"全链路之上，先厘清语料真实规模与可用性，为 P1 知识图谱抽取提供准确、去重、无盲区的输入清单。
硬约束不变：raw 只读；产出只写 tools/output/ + reports/；镜像/冗余/加密语料按用户决定处理。
2026-08-11 更新：用户已删除整文件夹"区块链研究资料"(原加密，放弃解密)。本报告按删除后状态修订。

一、关键结论(先说人话)

真实语料 = 6,229 个唯一 md。16,544 文件里近一半是 mirror/ 副本，另有加密附件已删除。
mirror/ 已确认 100% 冗余并清理(2026-08-11，用户授权"保留一份即可")，移至备份，释放 vault 内重复。
加密深度语料(白皮书/思想家/文章 1,129 个)用户决定删除而非解密——整块放弃。现存加密仅 178 个"已转音频"残留(内容大概率已进 md)。
转换管线就绪(convert_nonmd.py)，已转 54 个未加密书籍 docx。
向量库升级为双索引结构 + 失效路径过滤(已删除研究资料的 2,154 个死块查询时跳过)。

二、去重结果(全库 md,删除后)

项	数值
articles md 总数(研究资料删除后)	6,269
articles 唯一 md	6,229
articles 内部副本	40(Obsidian 移动残留:已读/新书等)
~~区块链研究资料 md~~	~~101~~ 已删除(2026-08-11 用户决定)

清理动作：raw/mirror/(3.1G,8,128 文件)整体移至 ~/文档/区块链wiki-mirror-removed-20260811/;raw/articles/blockchain/区块链研究资料/(1,353 文件,加密)由用户删除。均可确认后手动释放空间。

三、非 md 语料盘点与转换(删除后)

非 md 现存 512 个(研究资料 1,117 个非 md 已删)。转换工具齐全,pdg 无工具跳过。现存可转换:区块链书籍 316(部分加密,54 个未加密已转)、融资项目 docx 107、每日动态 70(均"已转音频"残留,内容大概率已进 md,优先级低)。

转换管线 wiki/tools/convert_nonmd.py:断点续跑、加密检测、Office 临时文件过滤、只读 raw、输出 vault 外 ~/文档/区块链wiki-extract/。已转 54 个未加密书籍 docx(丛书笔记、读书笔记系列,17MB),入 extract 索引 12,606 块。

四、加密语料处置(已解决:删除)

原 1,307 个 Obsidian 加密附件(%TSD-Head):其中区块链研究资料下 1,129 个用户已删除(整文件夹,放弃解密)——白皮书/思想家/深度文章整块从方案移除,不再回填。现存加密 178 个均为"融资项目/每日动态 - 已转音频"残留(107+70+1),内容大概率已进对应 md,无需转换。~/文档/区块链wiki-extract/encrypted_files.json 已更新为磁盘现存清单。

五、向量库双索引 + 失效过滤(工程调整)

问题：主索引增量方案在 Clash 代理下模型联网检查挂起(0% CPU),已根治为 HF_HUB_OFFLINE=1 强制离线。研究资料删除后,主索引仍含其 2,154 个死块(98 个 md 的白皮书/EOS 文档等)——不重建(3-4h 不值),在 wiki_search.py 加失效路径前缀过滤(blockchain/区块链研究资料 及 extract 同前缀),查询时直接跳过。已验证"EOS 白皮书"查询不再命中死块。

结构：

~/文档/区块链wiki-vectordb/
  wiki_flat.index        # articles 主库(现有效 ~6,229 唯一 md 内容,过滤死块后)
  extract_flat.index     # extract 转换库(54 文件,12,606 块,独立小索引)
  extract_meta.jsonl

wiki_search.py 双索引各自 top-k 合并排序 → 失效前缀过滤 → 跨库同名去重(extract 优先)。新增转换文件只需重建 extract 小索引(几分钟),不碰主索引。

六、对 P1 图谱抽取的影响(删除后)

维度	可抽取(唯一 md)	状态
每日/周度动态(注意力)	1,275 ✓	注意力时间序列主料
融资项目研究(项目实体)	4,189 ✓	项目/融资实体主料
AI 分析报告(融资/项目)	654 ✓	项目/赛道
读书笔记/书籍	54 转换 ✓	概念/思想补充
稳定币/RWA/比特币储备	28 ✓	专题
~~白皮书/思想家/深度文章~~	—	已删除,放弃

结论：项目/人物/链/融资/叙事骨架(6,229 唯一 md)完整可抽。思想层(白皮书/思想家)作为深度文本来源已不可用,但 P1 图谱抽取的实体-关系骨架不依赖它——注意力动态、融资项目、AI 报告已提供足够项目/人物/链/叙事信号。P1 按 6,229 md 启动,不阻塞。

七、交付物清单

产物	位置
去重清单	`tools/output/dedup_manifest.json`(含删除说明)
mirror 核对	`tools/output/mirror_dup_check.json`
加密清单(现存 178)	`~/文档/区块链wiki-extract/encrypted_files.json`
转换管线	`tools/convert_nonmd.py`
extract 索引构建	`tools/build_extract_index.py`
查询工具(双索引+失效过滤)	`tools/wiki_search.py`
转换产出 md	`~/文档/区块链wiki-extract/`(54 个)
废弃脚本	`tools/add_extract_to_index.py`(标注 DEPRECATED)

八、下一步

启动 P1 图谱抽取管线(LLM 抽取实体六类/关系九类 → SQLite+networkx),输入 = 去重后 6,229 唯一 md
向量库双索引已验证(失效过滤生效)
P3 待办之一"稳定币/RWA 采用率"仍可独立推进(不依赖删除的语料)