语义搜索向量索引:构建与验证报告

[类型/基建报告 meta/工具链 技术/向量检索 技术/语义搜索]
201 字

语义搜索向量索引:构建与验证报告

给 8,000+ 原始语料建的本地语义索引已建成并验收。本篇记录构建参数、验证结果与使用方式。
工具:wiki/tools/build_vector_index.py + wiki/tools/wiki_search.py(详见 WIKI_SEARCH 说明)。

一、构建结果

指标 数值
索引文件数 6,353 个 markdown
分块数 117,411 块(600 字 + 80 重叠)
嵌入模型 BAAI/bge-small-zh-v1.5(512 维,中文优化)
索引体积 240 MB(faiss FlatIP)
构建耗时 153 分钟(纯 CPU,i7-1185G7,8 线程)
查询耗时 <1 秒(索引加载 0.8s + 嵌入 0.04s)
存储位置 ~/文档/区块链wiki-vectordb/(vault 外)

覆盖说明:6,353 = 全部可读 md 文件(占 raw/articles/ 的 78%)。剩余为 PDF/docx/pdg 等二进制,需转换后才能编入(见文末"后续可选")。

二、召回质量验证(4 条演示查询)

1. 「稳定币监管新进展」

前 4 条全部命中稳定币文件夹的深度专题:
- PA News Lab 稳定币新闻汇总、panews 稳定币内容、Cointelegraph 稳定币网站分析、稳定币领域关键洞察(得分 0.76-0.78)

2. 「Celestia 数据可用性层」

准确召回 Celestia 专题研究(N1318 项目研究)+ 2026 年 6-7 月最新周报(得分 0.64-0.68)

3. 「代币化美国国债 RWA 收益」

语义跨词命中:RWA 专题 + OpenEden(代币化国债代表项目)+ Metafyed/ZOTH(得分 0.77-0.78)——搜索词不含任何项目名,纯靠语义关联召回

4. 「AI 代理 自主交易」

命中 Aura(AI 交易竞争)、Axal(32,000 代理)、ATXP(AI 代理跨平台交易)、Skyfire(AI 代理支付)——均为项目研究页,含可读片段(得分 0.72-0.78)

结论:语义检索工作正常,能召回关键词搜不到的关联文件(这是相对 Obsidian 全文搜索的核心增量)。

三、使用方式

# top 8 结果
python3 ~/文档/我的区块链wiki/wiki/tools/wiki_search.py "L2 扩容方案对比" --top 8

# 显示命中片段
python3 ~/文档/我的区块链wiki/wiki/tools/wiki_search.py "Celestia 数据可用性" --show-text
  • 用户说 "结合知识库" 时:先 wiki_search.py 召回候选 → 回原文精读 → 综合回答。
  • 向量召回是候选生成,不是结论——命中片段需回原文核对(分块截断、可能脱离上下文)。

四、对知识库工作流的意义

  1. 打破关键词天花板:Obsidian 全文搜索命中"字面",这套索引命中"语义"。搜「代币化国债」能拉到 OpenEden,搜「AI 代理」能拉到项目研究页。
  2. 让融资项目库可被"提问":2,683 个项目研究页(此前只能按目录浏览)现在可以按主题/能力/赛道提问召回。
  3. 为下一步铺路:向量库 + 已建好的 2026-08-10-blockchain-5year-timeline-narrative 趋势雷达,是"活情报系统"的两个引擎。每月新语料进库后重跑增量即可。

五、诚实声明与限制

  • 只索引 md 文件;2,000+ 二进制文件(PDF/docx/pdg)未编入
  • 分块 600 字会截断长文上下文,个别片段可能语义孤立——召回用于定位,精读必须回原文
  • 纯 CPU 构建 2.5h/次;增量重跑(新语料)通常仅需几分钟(断点续跑自动跳过已完成文件)。
  • 索引是内积余弦,不做阈值过滤——得分仅供参考相对排序,0.64 以下命中需人工判断。

六、后续可选

  • PDF/docx 提取文本后编入(覆盖剩余 22% 语料)
  • wiki/concepts/wiki/entities/wiki/reports/ 页面也编入("知识库内的语义导航")
  • 把查询工具接到自动化周报流程(每周问"本周什么最热?")

相关工具: WIKI_SEARCH
相关报告: 2026-08-10-blockchain-5year-timeline-narrative2026-08-10-ai-reports-funding-project-panorama