- 负责核心检索与证据链路开发、测试与回归验证。
- RAG · Hybrid Retrieval · Rerank · FastAPI
- 0.993 Recall@5 · 2200 个测试用例通过 · 89% 行覆盖率
问题
Overview
面向设备调试资料查询与新人培训的 RAG 系统:四路混合检索 + Rerank,回答必须引用原文证据;证据不足时宁可拒答或追问,也不编造。
系统只输出知识与建议,不具备任何设备控制能力。
Context
公司内部的设备调试资料分散,技术文档查询效率低;新人培训周期紧,常见问题依赖老员工答疑。
系统用于调试资料查询和新人培训辅助。
Problem
- 设备调试资料分散,技术文档查询效率低。
- 新人培训周期紧。
- 常见问题依赖老员工答疑。
My Role
负责核心检索与证据链路的开发,以及系统的测试与回归验证。
Developed the core retrieval and evidence chain, and owned testing and regression verification.
构建
Solution
知识入库与溯源:解析 PDF / DOCX 手册(含表格、内嵌表格文件、截图 OCR),重建章节树与稳定页码,切分为 600 多个可溯源知识单元,每个单元记录文档、章节、页码与风险等级。入库前做规则脱敏,外部模型只接收脱敏文本,图片不外发。
混合检索:trigram 精确匹配、BM25、字符 n-gram、向量四路召回,经加权 RRF 融合后再做 Rerank 重排,并保留逐阶段的检索轨迹。
Evidence Gate:相关度不足判为无依据;缺少产品线、版本等关键条件时先追问;按 L0–L3 风险分级限制高风险内容的展示;要求绕过审批的问题一律拒答。
Citation Validation:引用必须属于本次证据集;答案中的数值、路径、命令须在被引原文中完整出现。任一校验失败即 fail-closed,降级为只列原文证据。
知识来源
- PDF 手册PDF manuals
- DOCX 手册DOCX manuals
- 表格与内嵌表格文件Tables & embedded table files
- 截图 OCRScreenshot OCR
Architecture
- Knowledge Ingestion
- Trigram ExactBM25 (jieba)Char n-gramVector
- Weighted RRF
- Rerank
- Evidence Gate
- LLM Generation
- Citation Validation
- Answer / Evidence-only Fallback
四路召回的结果经加权 RRF 融合后再 Rerank 重排,每个阶段的检索轨迹都会保留下来。
Evidence Gate 或 Citation 校验任一失败,都走 fail-closed:不输出生成的答案,只列出原文证据。云端服务故障时熔断,降级为本地检索。
- Query
- 4-way Recall
- RRF + Rerank
- Evidence Gate
- Generate
- Citation Check
- 03› 加权 RRF 融合,Rerank 重排
- 04› 相关度足够 → 进入生成
- 05› 基于证据集生成回答
- 06› 引用校验通过 → 输出回答,附原文引用
Query
Q:设备启动后出现 XX 报警怎么办?
4-way Recall
trigram / BM25 / 字符 n-gram / 向量 四路召回
RRF + Rerank
加权 RRF 融合,Rerank 重排
Evidence Gate
相关度足够 → 进入生成
Generate
基于证据集生成回答
Citation Check
引用校验通过 → 输出回答,附原文引用
Q ›设备启动后出现 XX 报警怎么办?
检索到的证据
- PDF 手册
- 截图 OCR
- DOCX 手册
answerable→ LLM 生成带引用的回答
Key Decisions
- 01
四路召回,而不是只靠向量Four recall paths, not vectors alone
检索消融显示:纯向量 Recall@5 为 0.755,本地多路达到 0.976,多路 + 向量 + Rerank 达到 0.993。
- 02
暴力余弦,而不是 FAISSBrute-force cosine, not FAISS
知识单元只有 600 多个,数据量小,直接计算余弦相似度即可,不需要引入 FAISS 索引。
- 03
多路一致保送Multi-path agreement bypass
Rerank 会压低字面命中,所以加入多路一致保送机制,避免多路召回一致命中的结果被 Rerank 挤出。
- 04
宁可拒答 / 追问,也不编造Refuse or ask rather than make things up
相关度不足就判为无依据,缺关键条件就先追问,任一校验失败就降级为只列原文证据。
- 05
外部模型只见脱敏文本External models only see redacted text
入库前做规则脱敏,外部模型只接收脱敏文本,图片不外发。
工程
Engineering
- Python + FastAPI;SQLite FTS5、jieba BM25、加权 RRF、Rerank、向量检索(云端 Embedding);Pydantic。
- Web 端含鉴权、审计、历史问答、答案附截图。
- 云端服务故障时熔断,降级为本地检索。
- Docker 两阶段镜像与 compose 部署方案。
- 评测体系:自动反向题、冻结 Gold 集、独立留出集、红队集;规则判定与人工复核分开记录,用多次重放区分模型波动和真实回归。
- 2200 个测试用例通过,行覆盖率 89%,检索与问答核心模块约 98%。
- 门禁:ruff、pyright、pytest、泄密扫描。
Results
- Recall@5 · 457 道自动评测题 · 多路 + 向量 + Rerank
- 0.993
- 个测试用例通过
- 2200
- 行覆盖率 · 核心模块约 98%
- 89%
检索消融(457 道自动评测题,Recall@5):纯向量 0.755 → 本地多路 0.976 → 多路 + 向量 + Rerank 0.993。
Gold 题集:Recall@5 0.983,Recall@10 1.000。
已通过内部试点验收。
笔记
What I Learned
Rerank 并不总是只加分:它会压低字面命中,需要多路一致保送来兜底。
评测要区分模型波动和真实回归:多次重放,并把规则判定与人工复核分开记录。
Tech Stack
- Python
- FastAPI
- SQLite FTS5
- jieba BM25
- Weighted RRF
- Rerank
- Vector Retrieval
- Cloud Embedding
- Pydantic
- Pytest
- Docker
- RAG