P1 图谱抽取交付报告

阶段三 P1:在 P0 语料归一(6,229 唯一 md)基础上,用 L0 确定性底座 + L1 DeepSeek 增量抽取构建区块链知识图谱。
硬约束不变:raw 只读;产出只写 tools/output/ + reports/;融资额取文档原值不追求精确。

一、关键结论(先说人话)

6,269 个文件全部抽取成功(0 失败)。2 个极端超密文件(LLM 输出超 8K token 截断)已用 800 字符输入单独抢救回。
图谱规模:31,748 实体 / 54,707 关系(去重清洗后),建成 29,909 节点 / 54,139 边的 networkx 有向图。
质量门全部通过:实体六类、关系八类全在枚举内;赛道全在白名单;投资方方向 0 反;自环 0。
三大资本枢纽:Coinbase Ventures(141)/ Pantera(88)/ LD Capital(85);研究焦点 Dune Analytics / Uniswap / Messari。

二、管线架构

P0 去重清单(6,229 md)
        │
        ├─ L0 确定性底座: projects_master.json(3,138 项目) → 实体 + 链/赛道/投资方关系
        │   (无 LLM, 可离线, 秒级)
        │
        └─ L1 增量抽取: DeepSeek deepseek-chat(非推理模型) 按类别 prompt 抽
            ├─ 输入截断: 按文件大小自适应(2K/1.4K/1K 字符, 超密文件头部含核心信息)
            ├─ 并发: 8 workers, ~90 文件/min
            └─ 输出: 六类实体(项目/机构/人物/链/赛道/事件) + 八类关系
        │
        └─ cleanup 后处理归一(导出前)
            ├─ 实体名清洗(剥文章序号/括号组/尾部标点)
            ├─ 类型中英归一 + 枚举外类型归 project
            ├─ 赛道别名映射 + 白名单过滤
            ├─ 投资方方向修正(项目→机构)
            ├─ "A 和 B" 合并机构拆分
            └─ 自环兜底 + 非枚举关系删除
        │
        ├─ tools/output/kg.db (SQLite) + kg_entities.json + kg_relations.json
        └─ kg_graph.py → 图 + 统计报告

模型选择:deepseek-chat(非推理)——v4-pro/flash 是推理模型,token 全耗在 reasoning_content,返回空 content。deepseek-chat 快而稳,JSON 抽取可靠。

三、抽取结果

项	数值
处理文件	6,269 / 6,269(0 失败)
耗时	~97 分钟(含失败重跑+补救)
实体	31,748
关系	54,707
图节点/边	29,909 / 54,139

实体类型构成:

类型	数量
project	12,728
institution	9,167
person	6,554
event	612
sector	616
chain	232

关系类型构成:

关系	数量
投资方	16,780
项目关联	10,854
属于赛道	7,755
人物关联	7,537
部署在	5,951
融资事件	3,187
创始人	2,360
重大事件	221

四、质量门与关键修复

试点 80 文件质量门(全部通过):赛道白名单、投资方方向 0 反、自环 0、类型归一、实体名清洗。

批量中发现并修复的 3 个工程 bug(详见记忆):

relations 表无唯一约束 → INSERT OR IGNORE 形同虚设,重跑文件整批重复插入(80 文件曾爆到 41K 关系)。修复:init_db 先按 (source,relation,target) 去重再建唯一索引。
投资方方向修正 UPDATE 撞唯一索引 → 库中同时存在 A→B 与 B→A 时,交换产生重复行直接 IntegrityError(第一次批量崩在 cleanup)。修复:逐行 DELETE + INSERT OR IGNORE。
超密文件输出截断 → 月度/年度融资汇总头部就有几十个项目,LLM 输出超 max_tokens 被截成半截 JSON(确定性失败,重试无用)。修复:输入按文件大小自适应截断 + 极端文件 800 字符单独抢救。

残余噪声:2 个文件曾失败(0.03%),已用 800 字符输入救回;单文件 LLM 偶发把"项目+创始人"合并成一个名字(如"Thesis和Matt Luongo"),evidence 保留原文无信息丢失。

五、图谱初步洞察(数据驱动, 非结论)

赛道集中:AI+区块链(1,492)远高于其他,基础设施(808)/稳定币(690)次之——与阶段二注意力趋势互证。
资本枢纽:Coinbase Ventures(141 个项目)/ Pantera(88)/ LD Capital(85)/ Polychain(74)/ Binance Labs(71)是图谱中连接项目最多的机构。
研究焦点:Dune Analytics(78 条关系)/ Uniswap(56)/ Messari(52)是语料中最常被深度论述的对象(语料自带倾向,非行业排名)。
连通性:最大弱连通分量 24,226 节点(含 11,041 项目 / 6,991 机构),即"融资-投资-赛道"主网络;另有 5,279 个孤立小分量(多为单项目研究)。

六、交付物清单

产物	位置
抽取管线(含清洗)	`tools/kg_extract.py`
图谱构建+统计	`tools/kg_graph.py`
SQLite 图谱库	`tools/output/kg.db`(entities/relations/processed)
实体导出	`tools/output/kg_entities.json`
关系导出	`tools/output/kg_relations.json`
图数据(下游 Agent)	`tools/output/kg_graph.json`
图谱统计报告	`reports/2026-08-11-P1图谱统计.md`
抽取日志	`tools/output/kg_batch.log`
L0 底座数据	`tools/output/projects_master.json`

七、下一步

P2 图谱洞察:在图上做中心性/社区发现/时序演化,结合阶段二注意力数据出洞察报告
P3 Agent 应用:基于图谱 + 向量库的问答/研报 Agent(图检索增强)
可选项:人物/机构的跨文件聚合研究(如"某机构 2023 年投了哪些赛道")

P1 图谱抽取完成 · 2026-08-11 · 6,269 文件 0 失败 · 31,748 实体 / 54,707 关系