语义搜索向量索引:构建与验证报告
语义搜索向量索引:构建与验证报告
给 8,000+ 原始语料建的本地语义索引已建成并验收。本篇记录构建参数、验证结果与使用方式。
工具:wiki/tools/build_vector_index.py+wiki/tools/wiki_search.py(详见 WIKI_SEARCH 说明)。
一、构建结果
| 指标 | 数值 |
|---|---|
| 索引文件数 | 6,353 个 markdown |
| 分块数 | 117,411 块(600 字 + 80 重叠) |
| 嵌入模型 | BAAI/bge-small-zh-v1.5(512 维,中文优化) |
| 索引体积 | 240 MB(faiss FlatIP) |
| 构建耗时 | 153 分钟(纯 CPU,i7-1185G7,8 线程) |
| 查询耗时 | <1 秒(索引加载 0.8s + 嵌入 0.04s) |
| 存储位置 | ~/文档/区块链wiki-vectordb/(vault 外) |
覆盖说明:6,353 = 全部可读 md 文件(占 raw/articles/ 的 78%)。剩余为 PDF/docx/pdg 等二进制,需转换后才能编入(见文末"后续可选")。
二、召回质量验证(4 条演示查询)
1. 「稳定币监管新进展」
前 4 条全部命中稳定币文件夹的深度专题:
- PA News Lab 稳定币新闻汇总、panews 稳定币内容、Cointelegraph 稳定币网站分析、稳定币领域关键洞察(得分 0.76-0.78)
2. 「Celestia 数据可用性层」
准确召回 Celestia 专题研究(N1318 项目研究)+ 2026 年 6-7 月最新周报(得分 0.64-0.68)
3. 「代币化美国国债 RWA 收益」
语义跨词命中:RWA 专题 + OpenEden(代币化国债代表项目)+ Metafyed/ZOTH(得分 0.77-0.78)——搜索词不含任何项目名,纯靠语义关联召回
4. 「AI 代理 自主交易」
命中 Aura(AI 交易竞争)、Axal(32,000 代理)、ATXP(AI 代理跨平台交易)、Skyfire(AI 代理支付)——均为项目研究页,含可读片段(得分 0.72-0.78)
结论:语义检索工作正常,能召回关键词搜不到的关联文件(这是相对 Obsidian 全文搜索的核心增量)。
三、使用方式
# top 8 结果
python3 ~/文档/我的区块链wiki/wiki/tools/wiki_search.py "L2 扩容方案对比" --top 8
# 显示命中片段
python3 ~/文档/我的区块链wiki/wiki/tools/wiki_search.py "Celestia 数据可用性" --show-text
- 用户说 "结合知识库" 时:先
wiki_search.py召回候选 → 回原文精读 → 综合回答。 - 向量召回是候选生成,不是结论——命中片段需回原文核对(分块截断、可能脱离上下文)。
四、对知识库工作流的意义
- 打破关键词天花板:Obsidian 全文搜索命中"字面",这套索引命中"语义"。搜「代币化国债」能拉到 OpenEden,搜「AI 代理」能拉到项目研究页。
- 让融资项目库可被"提问":2,683 个项目研究页(此前只能按目录浏览)现在可以按主题/能力/赛道提问召回。
- 为下一步铺路:向量库 + 已建好的 2026-08-10-blockchain-5year-timeline-narrative 趋势雷达,是"活情报系统"的两个引擎。每月新语料进库后重跑增量即可。
五、诚实声明与限制
- 只索引 md 文件;2,000+ 二进制文件(PDF/docx/pdg)未编入。
- 分块 600 字会截断长文上下文,个别片段可能语义孤立——召回用于定位,精读必须回原文。
- 纯 CPU 构建 2.5h/次;增量重跑(新语料)通常仅需几分钟(断点续跑自动跳过已完成文件)。
- 索引是内积余弦,不做阈值过滤——得分仅供参考相对排序,0.64 以下命中需人工判断。
六、后续可选
- PDF/docx 提取文本后编入(覆盖剩余 22% 语料)
wiki/concepts/、wiki/entities/、wiki/reports/页面也编入("知识库内的语义导航")- 把查询工具接到自动化周报流程(每周问"本周什么最热?")
相关工具: WIKI_SEARCH
相关报告: 2026-08-10-blockchain-5year-timeline-narrative | 2026-08-10-ai-reports-funding-project-panorama