跳到正文
全部项目

02企业知识检索 · RAG

设备调试​知识检索​与​故障辅助排查​系统(RAG)

Commissioning Knowledge Retrieval & Troubleshooting System (RAG)

职责
负责核心检索与证据链路开发、测试与回归验证。
技术
RAG · Hybrid Retrieval · Rerank · FastAPI
验证
0.993 Recall@5 · 2200 个测试用例通过 · 89% 行覆盖率

01

问题

01.1项目概览Overview

面向设备调试资料查询与新人培训的 RAG 系统:四路混合检索 + Rerank,回答必须引用原文证据;证据不足时宁可拒答或追问,也不编造。

系统只输出知识与建议,不具备任何设备控制能力。

01.2项目背景Context

公司内部的设备调试资料分散,技术文档查询效率低;新人培训周期紧,常见问题依赖老员工答疑。

系统用于调试资料查询和新人培训辅助。

01.3核心问题Problem

  • 设备调试资料分散,技术文档查询效率低。
  • 新人培训周期紧。
  • 常见问题依赖老员工答疑。

01.4我的职责My Role

负责核心检索与证据链路的开发,以及系统的测试与回归验证。

Developed the core retrieval and evidence chain, and owned testing and regression verification.

02

构建

02.1解决方案Solution

知识入库与溯源:解析 PDF / DOCX 手册(含表格、内嵌表格文件、截图 OCR),重建章节树与稳定页码,切分为 600 多个可溯源知识单元,每个单元记录文档、章节、页码与风险等级。入库前做规则脱敏,外部模型只接收脱敏文本,图片不外发。

混合检索:trigram 精确匹配、BM25、字符 n-gram、向量四路召回,经加权 RRF 融合后再做 Rerank 重排,并保留逐阶段的检索轨迹。

Evidence Gate:相关度不足判为无依据;缺少产品线、版本等关键条件时先追问;按 L0–L3 风险分级限制高风险内容的展示;要求绕过审批的问题一律拒答。

Citation Validation:引用必须属于本次证据集;答案中的数值、路径、命令须在被引原文中完整出现。任一校验失败即 fail-closed,降级为只列原文证据。

知识来源

  • PDF 手册PDF manuals
  • DOCX 手册DOCX manuals
  • 表格与内嵌表格文件Tables & embedded table files
  • 截图 OCRScreenshot OCR

02.2系统架构Architecture

  1. Knowledge Ingestion
  2. Trigram Exact
    BM25 (jieba)
    Char n-gram
    Vector
  3. Weighted RRF
  4. Rerank
  5. Evidence Gate
  6. LLM Generation
  7. Citation Validation
  8. Answer / Evidence-only Fallback
fig. 02a — four-way recall, rerank, evidence gate & citation check

四路召回的结果经加权 RRF 融合后再 Rerank 重排,每个阶段的检索轨迹都会保留下来。

Evidence Gate 或 Citation 校验任一失败,都走 fail-closed:不输出生成的答案,只列出原文证据。云端服务故障时熔断,降级为本地检索。

02设备启动后出现 XX 报警怎么办?
  1. Query

    Q:设备启动后出现 XX 报警怎么办?

  2. 4-way Recall

    trigram / BM25 / 字符 n-gram / 向量 四路召回

  3. RRF + Rerank

    加权 RRF 融合,Rerank 重排

  4. Evidence Gate

    相关度足够 → 进入生成

  5. Generate

    基于证据集生成回答

  6. Citation Check

    引用校验通过 → 输出回答,附原文引用

一次完整运行,逐步展开。
EVIDENCE GATE示意

Q ›设备启动后出现 XX 报警怎么办?

检索到的证据

  • PDF 手册
  • 截图 OCR
  • DOCX 手册
证据充分度阈值

answerable→ LLM 生成带引用的回答

02.3关键设计决策Key Decisions

  1. 01

    四路召回,而不是只靠向量Four recall paths, not vectors alone

    检索消融显示:纯向量 Recall@5 为 0.755,本地多路达到 0.976,多路 + 向量 + Rerank 达到 0.993。

  2. 02

    暴力余弦,而不是 FAISSBrute-force cosine, not FAISS

    知识单元只有 600 多个,数据量小,直接计算余弦相似度即可,不需要引入 FAISS 索引。

  3. 03

    多路一致保送Multi-path agreement bypass

    Rerank 会压低字面命中,所以加入多路一致保送机制,避免多路召回一致命中的结果被 Rerank 挤出。

  4. 04

    宁可拒答 / 追问,也不编造Refuse or ask rather than make things up

    相关度不足就判为无依据,缺关键条件就先追问,任一校验失败就降级为只列原文证据。

  5. 05

    外部模型只见脱敏文本External models only see redacted text

    入库前做规则脱敏,外部模型只接收脱敏文本,图片不外发。

03

工程

03.1工程实现Engineering

  • Python + FastAPI;SQLite FTS5、jieba BM25、加权 RRF、Rerank、向量检索(云端 Embedding);Pydantic。
  • Web 端含鉴权、审计、历史问答、答案附截图。
  • 云端服务故障时熔断,降级为本地检索。
  • Docker 两阶段镜像与 compose 部署方案。
  • 评测体系:自动反向题、冻结 Gold 集、独立留出集、红队集;规则判定与人工复核分开记录,用多次重放区分模型波动和真实回归。
  • 2200 个测试用例通过,行覆盖率 89%,检索与问答核心模块约 98%。
  • 门禁:ruff、pyright、pytest、泄密扫描。

03.2项目结果Results

Recall@5 · 457 道自动评测题 · 多路 + 向量 + Rerank
0.993
个测试用例通过
2200
行覆盖率 · 核心模块约 98%
89%

检索消融(457 道自动评测题,Recall@5):纯向量 0.755 → 本地多路 0.976 → 多路 + 向量 + Rerank 0.993。

Gold 题集:Recall@5 0.983,Recall@10 1.000。

已通过内部试点验收。

04

笔记

04.1项目总结What I Learned

Rerank 并不总是只加分:它会压低字面命中,需要多路一致保送来兜底。

评测要区分模型波动和真实回归:多次重放,并把规则判定与人工复核分开记录。

04.2技术栈Tech Stack

  • Python
  • FastAPI
  • SQLite FTS5
  • jieba BM25
  • Weighted RRF
  • Rerank
  • Vector Retrieval
  • Cloud Embedding
  • Pydantic
  • Pytest
  • Docker
  • RAG