RAG 知识库

RAG(Retrieval-Augmented Generation,检索增强生成) 是一种将文档向量化后结合大模型问答的架构,用于实现知识库的语义搜索。

其核心思路是:把文档转成向量存入数据库,用户提问时通过向量相似度找回最相关的文档片段,再交给大模型基于这些资料生成答案——而不是让模型凭空"猜"。

传统关键词搜索只能做精确字符串匹配:”请假”和”休假”差一个字就搜不到,中文文档也搜不出英文资料。RAG 用向量的”语义距离”取代字符串匹配,让”意思相近”真正等于”搜得到”。

召回
📄 原始文档
🔪 文本分块
🧠 向量嵌入
向量入库
📊 用户提问
Embed
pgvector 相似度搜索

v3.0.0

1. 概述

RAG(Retrieval-Augmented Generation,检索增强生成) 是一种用于构建知识库语义搜索能力的架构。其核心思路是:将企业文档转为向量存入数据库,用户提问时通过向量相似度找回最相关的文档片段,然后交给大模型基于这些资料生成答案。下文以一套基于 PostgreSQL + pgvector 的实现为例,介绍其工作原理与关键技术。

1.1 核心技术栈

组件 技术 说明
文档切分 自研 chunk_text() 按自然边界切分,支持中英文
向量嵌入 BAAI/bge-small-zh-v1.5 本地运行,512 维,中文优化
向量存储 PostgreSQL 16 + pgvector IVFFlat 索引加速检索
语义搜索 pgvector <=> 余弦距离 向量相似度排序
关键词搜索 PostgreSQL ILIKE 向量搜索不可用时的回退方案
文本存储 kb_documents 表 文档元信息 + 分块统计

1.2 RAG vs 传统搜索

对比维度 传统关键词搜索 RAG 向量搜索
匹配方式 精确字符串匹配 语义相似度
同义词 “请假” ≠ “休假” ✗ “请假” ≈ “休假” ✓
跨语言 中文搜不出英文文档 语义相近可以跨语言
模糊查询 需要 LIKE %keyword% 天然支持模糊语义
排序依据 字符串匹配度 余弦相似度(0~1)

2. 架构总览

分为三大模块:文档处理管道、语义检索、文档管理。文档上传后进入文档处理管道,原始文档先进行文本分块,再生成向量嵌入并存入向量库;文档管理模块维护文档元数据,前端侧边栏展示文档,上传动作会触发文档处理管道。用户提问进入语义检索模块,问题经过向量编码后,通过 pgvector 执行相似度检索,从向量库读取向量完成匹配,召回相关文档片段交给大模型,由大模型结合片段生成最终答案。

3. Embedding 模型

3.1 为什么选 BGE-small-zh-v1.5

特性 说明
中文优化 BAAI(北京智源)专门为中文检索训练的模型
本地运行 无需外网 API,数据不出本机
512 维 足够表达语义,存储和计算开销小
模型大小 ~100 MB,首次自动下载,之后离线可用
推理设备 默认 CPU,支持 CUDA/MPS 加速

3.2 模型加载机制

# src/rag/__init__.py — DocumentStore._ensure_model()
def _ensure_model(self):
    if self._model is not None:
        return self._model  # 已加载,直接复用

    from sentence_transformers import SentenceTransformer
    self._model = SentenceTransformer(
        settings.embedding_model,    # "BAAI/bge-small-zh-v1.5"
        device=settings.embedding_device,  # "cpu"
    )
    return self._model
  • 懒加载:首次调用 embed() 时才加载,不是启动时加载
  • 常驻内存:加载后一直保留,不重复加载
  • 缓存目录:~/.cache/huggingface/(模型文件缓存于此)

3.3 BGE 查询优化

BGE 系列模型在查询时需要加特定前缀以触发模型的检索模式:

# 查询时自动加 instruction 前缀
if is_query and "bge" in model_name.lower():
    texts = [f"为这个句子生成表示以用于检索相关文章:{t}" for t in texts]

这个前缀是 BGE 模型训练时使用的格式,可以提升 3–5% 的检索准确率。

3.4 备选模型

可在 .env 中切换 EMBEDDING_MODEL:

模型 维度 大小 适用场景
BAAI/bge-small-zh-v1.5 512 ~100MB 中文通用(默认)
BAAI/bge-large-zh-v1.5 1024 ~500MB 中文高精度场景
all-MiniLM-L6-v2 384 ~80MB 英文轻量级
intfloat/multilingual-e5-small 384 ~120MB 多语言混合

4. pgvector 向量数据库

4.1 什么是 pgvector

pgvector 是 PostgreSQL 的一个扩展,让普通的关系型数据库支持向量存储和相似度搜索。它的核心价值在于:

  • 一个数据库解决两种需求:关系查询(SQL)+ 向量搜索
  • 成熟的生态:事务、备份、权限管理、监控全部复用 PostgreSQL 基础设施
  • 标准 SQL 接口:不需要学新的查询语言

4.2 表结构

CREATE EXTENSION IF NOT EXISTS vector;  -- 启用 pgvector 扩展

CREATE TABLE vector_documents (
    id         TEXT PRIMARY KEY,
    collection TEXT,                    -- 逻辑分组(knowledge_base / episodic_memory)
    content    TEXT,                    -- 文本片段
    metadata   JSONB,                   -- 来源文件、模块、分类、分块序号
    embedding  VECTOR(512)              -- 512 维浮点向量
);

-- IVFFlat 索引:先用 K-means 聚类粗排,再在簇内精确搜索
CREATE INDEX ON vector_documents
    USING ivfflat (embedding vector_cosine_ops)
    WITH (lists = 100);

4.3 向量搜索 SQL

-- 核心查询:按余弦相似度排序,返回 Top-K
SELECT
    content,
    metadata,
    1 - (embedding <=> :query_vector) AS score  -- 余弦距离 → 相似度
FROM vector_documents
WHERE collection = :collection
  AND 1 - (embedding <=> :query_vector) >= :threshold  -- 过滤低相关
ORDER BY embedding <=> :query_vector  -- 距离升序
LIMIT :top_k;

关键运算符:

  • **<=>**:pgvector 的余弦距离运算符
  • **1 - 余弦距离**:转为相似度(0~1,越大越相关)
  • **vector_cosine_ops**:IVFFlat 索引的算符类,指定用余弦距离建索引

4.4 IVFFlat 索引原理

IVFFlat = Inverted File Flat 的缩写

建索引时:
  1. K-means 聚类 → 将所有向量分成 100 个簇(lists=100)
  2. 每个簇维护一个"代表向量"(聚类中心)

搜索时:
  1. 查询向量与 100 个代表向量比距离
  2. 只在最近的几个簇内做精确搜索
  3. 避免全表扫描,速度提升 10-100x

参数调优:
  lists = 行数的平方根 ~ 100(适合 1万 行)
  probes = 搜索时探测的簇数(默认 1,调大可提升召回率)

lists 与 probes 是一对权衡

lists 越大,聚类越细,但建索引越慢;probes 越大,搜索时探测的簇越多,召回越高但查询越慢。默认 probes=1 是”快但可能漏”,调优时先动 probes。

4.5 维度变更注意事项

如果切换 Embedding 模型导致向量维度变化(如 512 → 384),需要:

-- 1. 删除旧索引
DROP INDEX IF EXISTS ix_vector_documents_embedding;

-- 2. 修改列类型
ALTER TABLE vector_documents ALTER COLUMN embedding TYPE VECTOR(384);

-- 3. 重建索引
CREATE INDEX ON vector_documents
    USING ivfflat (embedding vector_cosine_ops) WITH (lists = 100);

-- 4. 清空旧数据(旧维度向量不兼容)
DELETE FROM vector_documents;

5. 文档处理管道

5.1 管道流程

POST /documents/upload
file + module + category
1. 文件校验
扩展名白名单 / ≤20MB / UTF-8
2. 元信息入库
kb_documents 表
推测分类 / 提取标签 / 覆盖更新
3. 文本分块
chunk_text
size=800 overlap=120
4. 向量嵌入
BGE-small-zh-v1.5
512 维 / 归一化
5. 向量入库
vector_documents 表
SHA256 前24位
6. 返回结果
{filename, chunks, vectorized}

5.2 文本分块算法

# src/rag/__init__.py
def chunk_text(text, chunk_size=800, chunk_overlap=120):
    """
    核心策略:
    1. 从末尾向前找第一个分隔符(\n\n > \n > 。 > . > 空格)
    2. 在分隔符处切分,保证语义完整性
    3. 相邻块保持 120 字符重叠,防止信息在边界断裂
    """

为什么需要重叠:向量嵌入只能表达一段文字的”整体语义”,如果关键信息刚好落在两个分块的边界上,可能会丢失。120 字符的重叠确保边界处的信息至少出现在一个完整的分块中。

5.3 没有 Embedding 模型时的降级

如果 sentence-transformers 未安装或模型加载失败:

  • 文档上传:元信息正常写 kb_documents,向量嵌入步骤跳过
  • 语义搜索:自动降级为数据库关键词搜索(ILIKE + tags 匹配)
  • 前端显示:文档状态显示 📄(已录入,待向量化)

降级不等于失效

语义搜索缺位时,方案会自动降级为关键词搜索,而不是返回空结果。前端界面用 📄 明确标注”已录入、待向量化”,避免使用者误以为搜索已经具备语义能力。

6. 检索机制

6.1 三级搜索策略

# src/tools/business.py — SearchKnowledgeBaseTool.execute()
async def execute(self, arguments):
    # 第1级:向量语义搜索(需要 Embedding 模型 + pgvector)
    results = await self._vector_search(query, module, top_k)
    if results: return results

    # 第2级:数据库关键词搜索(只要 kb_documents 表有数据)
    results = await self._keyword_search(query, module, top_k)
    if results: return results

    # 第3级:全文模糊匹配(拆分多关键词逐个搜索)
    return await self._fallback_search(query, module, top_k)
级别 方法 依赖 精度
L1 向量语义搜索 Embedding + pgvector 高(语义级)
L2 标题关键词 PostgreSQL ILIKE 中(字符串级)
L3 全文模糊匹配 拆分关键词逐个搜索 低(兜底)

6.2 混合搜索(Hybrid Search)

当向量搜索可用时,自动混合关键词加权:

# 语义相似度 70% + 关键词命中率 30%
doc["score"] = doc["score"] * 0.7 + (kw_score / max(len(keywords), 1)) * 0.3

这样既保留了语义理解能力,又能精确命中包含特定术语的文档。

6.3 搜索结果格式

[
  {
    "content": "员工年假每年15天,工龄满10年增加至20天...",
    "title": "员工手册 2024",
    "source": "docs/hr/employee_handbook_2024.pdf",
    "module": "hr-service",
    "category": "policy",
    "score": 0.92,
    "search_method": "向量语义搜索"
  }
]

每个结果标注了 search_method 字段,方便运维排查搜索质量。

7. 扩展与调优

7.1 pgvector 性能调优

-- 查看索引使用情况
EXPLAIN ANALYZE
SELECT * FROM vector_documents
ORDER BY embedding <=> '[0.1, 0.2, ...]'::vector
LIMIT 10;

-- 调整搜索探测数(更多 probes = 更准但更慢)
SET ivfflat.probes = 10;

-- 如果数据量超过 10 万行,重建索引增加 lists
DROP INDEX ix_vector_documents_embedding;
CREATE INDEX ON vector_documents
    USING ivfflat (embedding vector_cosine_ops)
    WITH (lists = 500);  -- lists ≈ rows / 1000

7.2 Embedding 模型选择指南

场景 推荐模型 理由
纯中文企业文档 bge-small-zh-v1.5 中文最优,体积小
中英混合 bge-large-zh-v1.5 更大模型,跨语言更好
纯英文 all-MiniLM-L6-v2 最轻量,速度快
需要 GPU 加速 bge-small-zh-v1.5 + EMBEDDING_DEVICE=cuda 小模型也能 GPU 加速

7.3 分块参数调优

# 长文档(如规章制度):更大块,保留完整条款
chunk_text(text, chunk_size=1200, chunk_overlap=150)

# FAQ 短问答:小块,精确定位
chunk_text(text, chunk_size=400, chunk_overlap=60)

# 当前默认值适合大多数中文企业文档
chunk_text(text, chunk_size=800, chunk_overlap=120)

7.4 监控指标

建议关注以下指标来判断知识库检索质量:

指标 获取方式 健康值
向量文档数 SELECT COUNT(*) FROM vector_documents > 100 表示有足够知识量
平均检索分数 搜索结果中的 score 字段 > 0.7 表示检索质量好
搜索降级率 日志中 L1→L2 降级频率 < 10%
模型加载时间 启动日志 < 5 秒

先向量、再看降级率

监控里最重要的是”搜索降级率”。一旦 L1→L2 频繁发生,说明 Embedding 模型或向量库出了问题,语义搜索其实已经名存实亡。

lists 随数据量增长

lists ≈ rows / 1000。数据量翻十倍,就该重建索引并把 lists 调上去,否则 IVFFlat 退化为全表扫描。

分块是检索质量的地基

块太大丢细节,块太小丢上下文。长制度类文档用大块,FAQ 用小块,别一套参数用到老。

平均检索分数要盯住

score > 0.7 是健康线。长期低于这个值,要么文档切分有问题,要么该换更大的 Embedding 模型。


附:核心组件速查

组件 作用 关键参数
bge-small-zh-v1.5 文本→512 维向量 本地运行,CPU 可用
vector_documents 向量分块存储 VECTOR(512) + IVFFlat
kb_documents 文档元信息索引 module / category 建索引
三级搜索 向量 → 关键词 → 模糊 逐级降级,永不空回
混合搜索 语义 70% + 关键词 30% 兼顾理解与精确

一句话总结:RAG 知识库将”文档”变成”可被语义检索的向量”,再用三级搜索 + 混合加权兜住各类边界情况——语义为主、关键词兜底,也是中文企业知识库稳定可用的关键。