RAG(Retrieval-Augmented Generation,检索增强生成) 是一种将文档向量化后结合大模型问答的架构,用于实现知识库的语义搜索。
其核心思路是:把文档转成向量存入数据库,用户提问时通过向量相似度找回最相关的文档片段,再交给大模型基于这些资料生成答案——而不是让模型凭空"猜"。
传统关键词搜索只能做精确字符串匹配:”请假”和”休假”差一个字就搜不到,中文文档也搜不出英文资料。RAG 用向量的”语义距离”取代字符串匹配,让”意思相近”真正等于”搜得到”。
v3.0.0
1. 概述
RAG(Retrieval-Augmented Generation,检索增强生成) 是一种用于构建知识库语义搜索能力的架构。其核心思路是:将企业文档转为向量存入数据库,用户提问时通过向量相似度找回最相关的文档片段,然后交给大模型基于这些资料生成答案。下文以一套基于 PostgreSQL + pgvector 的实现为例,介绍其工作原理与关键技术。
1.1 核心技术栈
| 组件 | 技术 | 说明 |
|---|---|---|
| 文档切分 | 自研 chunk_text() |
按自然边界切分,支持中英文 |
| 向量嵌入 | BAAI/bge-small-zh-v1.5 |
本地运行,512 维,中文优化 |
| 向量存储 | PostgreSQL 16 + pgvector | IVFFlat 索引加速检索 |
| 语义搜索 | pgvector <=> 余弦距离 |
向量相似度排序 |
| 关键词搜索 | PostgreSQL ILIKE | 向量搜索不可用时的回退方案 |
| 文本存储 | kb_documents 表 |
文档元信息 + 分块统计 |
1.2 RAG vs 传统搜索
| 对比维度 | 传统关键词搜索 | RAG 向量搜索 |
|---|---|---|
| 匹配方式 | 精确字符串匹配 | 语义相似度 |
| 同义词 | “请假” ≠ “休假” ✗ | “请假” ≈ “休假” ✓ |
| 跨语言 | 中文搜不出英文文档 | 语义相近可以跨语言 |
| 模糊查询 | 需要 LIKE %keyword% | 天然支持模糊语义 |
| 排序依据 | 字符串匹配度 | 余弦相似度(0~1) |
2. 架构总览
分为三大模块:文档处理管道、语义检索、文档管理。文档上传后进入文档处理管道,原始文档先进行文本分块,再生成向量嵌入并存入向量库;文档管理模块维护文档元数据,前端侧边栏展示文档,上传动作会触发文档处理管道。用户提问进入语义检索模块,问题经过向量编码后,通过 pgvector 执行相似度检索,从向量库读取向量完成匹配,召回相关文档片段交给大模型,由大模型结合片段生成最终答案。
3. Embedding 模型
3.1 为什么选 BGE-small-zh-v1.5
| 特性 | 说明 |
|---|---|
| 中文优化 | BAAI(北京智源)专门为中文检索训练的模型 |
| 本地运行 | 无需外网 API,数据不出本机 |
| 512 维 | 足够表达语义,存储和计算开销小 |
| 模型大小 | ~100 MB,首次自动下载,之后离线可用 |
| 推理设备 | 默认 CPU,支持 CUDA/MPS 加速 |
3.2 模型加载机制
# src/rag/__init__.py — DocumentStore._ensure_model()
def _ensure_model(self):
if self._model is not None:
return self._model # 已加载,直接复用
from sentence_transformers import SentenceTransformer
self._model = SentenceTransformer(
settings.embedding_model, # "BAAI/bge-small-zh-v1.5"
device=settings.embedding_device, # "cpu"
)
return self._model
- 懒加载:首次调用
embed()时才加载,不是启动时加载 - 常驻内存:加载后一直保留,不重复加载
- 缓存目录:
~/.cache/huggingface/(模型文件缓存于此)
3.3 BGE 查询优化
BGE 系列模型在查询时需要加特定前缀以触发模型的检索模式:
# 查询时自动加 instruction 前缀
if is_query and "bge" in model_name.lower():
texts = [f"为这个句子生成表示以用于检索相关文章:{t}" for t in texts]
这个前缀是 BGE 模型训练时使用的格式,可以提升 3–5% 的检索准确率。
3.4 备选模型
可在 .env 中切换 EMBEDDING_MODEL:
| 模型 | 维度 | 大小 | 适用场景 |
|---|---|---|---|
BAAI/bge-small-zh-v1.5 |
512 | ~100MB | 中文通用(默认) |
BAAI/bge-large-zh-v1.5 |
1024 | ~500MB | 中文高精度场景 |
all-MiniLM-L6-v2 |
384 | ~80MB | 英文轻量级 |
intfloat/multilingual-e5-small |
384 | ~120MB | 多语言混合 |
4. pgvector 向量数据库
4.1 什么是 pgvector
pgvector 是 PostgreSQL 的一个扩展,让普通的关系型数据库支持向量存储和相似度搜索。它的核心价值在于:
- 一个数据库解决两种需求:关系查询(SQL)+ 向量搜索
- 成熟的生态:事务、备份、权限管理、监控全部复用 PostgreSQL 基础设施
- 标准 SQL 接口:不需要学新的查询语言
4.2 表结构
CREATE EXTENSION IF NOT EXISTS vector; -- 启用 pgvector 扩展
CREATE TABLE vector_documents (
id TEXT PRIMARY KEY,
collection TEXT, -- 逻辑分组(knowledge_base / episodic_memory)
content TEXT, -- 文本片段
metadata JSONB, -- 来源文件、模块、分类、分块序号
embedding VECTOR(512) -- 512 维浮点向量
);
-- IVFFlat 索引:先用 K-means 聚类粗排,再在簇内精确搜索
CREATE INDEX ON vector_documents
USING ivfflat (embedding vector_cosine_ops)
WITH (lists = 100);
4.3 向量搜索 SQL
-- 核心查询:按余弦相似度排序,返回 Top-K
SELECT
content,
metadata,
1 - (embedding <=> :query_vector) AS score -- 余弦距离 → 相似度
FROM vector_documents
WHERE collection = :collection
AND 1 - (embedding <=> :query_vector) >= :threshold -- 过滤低相关
ORDER BY embedding <=> :query_vector -- 距离升序
LIMIT :top_k;
关键运算符:
- **
<=>**:pgvector 的余弦距离运算符 - **
1 - 余弦距离**:转为相似度(0~1,越大越相关) - **
vector_cosine_ops**:IVFFlat 索引的算符类,指定用余弦距离建索引
4.4 IVFFlat 索引原理
IVFFlat = Inverted File Flat 的缩写
建索引时:
1. K-means 聚类 → 将所有向量分成 100 个簇(lists=100)
2. 每个簇维护一个"代表向量"(聚类中心)
搜索时:
1. 查询向量与 100 个代表向量比距离
2. 只在最近的几个簇内做精确搜索
3. 避免全表扫描,速度提升 10-100x
参数调优:
lists = 行数的平方根 ~ 100(适合 1万 行)
probes = 搜索时探测的簇数(默认 1,调大可提升召回率)
lists 与 probes 是一对权衡
lists 越大,聚类越细,但建索引越慢;probes 越大,搜索时探测的簇越多,召回越高但查询越慢。默认 probes=1 是”快但可能漏”,调优时先动 probes。
4.5 维度变更注意事项
如果切换 Embedding 模型导致向量维度变化(如 512 → 384),需要:
-- 1. 删除旧索引
DROP INDEX IF EXISTS ix_vector_documents_embedding;
-- 2. 修改列类型
ALTER TABLE vector_documents ALTER COLUMN embedding TYPE VECTOR(384);
-- 3. 重建索引
CREATE INDEX ON vector_documents
USING ivfflat (embedding vector_cosine_ops) WITH (lists = 100);
-- 4. 清空旧数据(旧维度向量不兼容)
DELETE FROM vector_documents;
5. 文档处理管道
5.1 管道流程
5.2 文本分块算法
# src/rag/__init__.py
def chunk_text(text, chunk_size=800, chunk_overlap=120):
"""
核心策略:
1. 从末尾向前找第一个分隔符(\n\n > \n > 。 > . > 空格)
2. 在分隔符处切分,保证语义完整性
3. 相邻块保持 120 字符重叠,防止信息在边界断裂
"""
为什么需要重叠:向量嵌入只能表达一段文字的”整体语义”,如果关键信息刚好落在两个分块的边界上,可能会丢失。120 字符的重叠确保边界处的信息至少出现在一个完整的分块中。
5.3 没有 Embedding 模型时的降级
如果 sentence-transformers 未安装或模型加载失败:
- 文档上传:元信息正常写
kb_documents,向量嵌入步骤跳过 - 语义搜索:自动降级为数据库关键词搜索(ILIKE + tags 匹配)
- 前端显示:文档状态显示 📄(已录入,待向量化)
降级不等于失效
语义搜索缺位时,方案会自动降级为关键词搜索,而不是返回空结果。前端界面用 📄 明确标注”已录入、待向量化”,避免使用者误以为搜索已经具备语义能力。
6. 检索机制
6.1 三级搜索策略
# src/tools/business.py — SearchKnowledgeBaseTool.execute()
async def execute(self, arguments):
# 第1级:向量语义搜索(需要 Embedding 模型 + pgvector)
results = await self._vector_search(query, module, top_k)
if results: return results
# 第2级:数据库关键词搜索(只要 kb_documents 表有数据)
results = await self._keyword_search(query, module, top_k)
if results: return results
# 第3级:全文模糊匹配(拆分多关键词逐个搜索)
return await self._fallback_search(query, module, top_k)
| 级别 | 方法 | 依赖 | 精度 |
|---|---|---|---|
| L1 | 向量语义搜索 | Embedding + pgvector | 高(语义级) |
| L2 | 标题关键词 | PostgreSQL ILIKE | 中(字符串级) |
| L3 | 全文模糊匹配 | 拆分关键词逐个搜索 | 低(兜底) |
6.2 混合搜索(Hybrid Search)
当向量搜索可用时,自动混合关键词加权:
# 语义相似度 70% + 关键词命中率 30%
doc["score"] = doc["score"] * 0.7 + (kw_score / max(len(keywords), 1)) * 0.3
这样既保留了语义理解能力,又能精确命中包含特定术语的文档。
6.3 搜索结果格式
[
{
"content": "员工年假每年15天,工龄满10年增加至20天...",
"title": "员工手册 2024",
"source": "docs/hr/employee_handbook_2024.pdf",
"module": "hr-service",
"category": "policy",
"score": 0.92,
"search_method": "向量语义搜索"
}
]
每个结果标注了 search_method 字段,方便运维排查搜索质量。
7. 扩展与调优
7.1 pgvector 性能调优
-- 查看索引使用情况
EXPLAIN ANALYZE
SELECT * FROM vector_documents
ORDER BY embedding <=> '[0.1, 0.2, ...]'::vector
LIMIT 10;
-- 调整搜索探测数(更多 probes = 更准但更慢)
SET ivfflat.probes = 10;
-- 如果数据量超过 10 万行,重建索引增加 lists
DROP INDEX ix_vector_documents_embedding;
CREATE INDEX ON vector_documents
USING ivfflat (embedding vector_cosine_ops)
WITH (lists = 500); -- lists ≈ rows / 1000
7.2 Embedding 模型选择指南
| 场景 | 推荐模型 | 理由 |
|---|---|---|
| 纯中文企业文档 | bge-small-zh-v1.5 |
中文最优,体积小 |
| 中英混合 | bge-large-zh-v1.5 |
更大模型,跨语言更好 |
| 纯英文 | all-MiniLM-L6-v2 |
最轻量,速度快 |
| 需要 GPU 加速 | bge-small-zh-v1.5 + EMBEDDING_DEVICE=cuda |
小模型也能 GPU 加速 |
7.3 分块参数调优
# 长文档(如规章制度):更大块,保留完整条款
chunk_text(text, chunk_size=1200, chunk_overlap=150)
# FAQ 短问答:小块,精确定位
chunk_text(text, chunk_size=400, chunk_overlap=60)
# 当前默认值适合大多数中文企业文档
chunk_text(text, chunk_size=800, chunk_overlap=120)
7.4 监控指标
建议关注以下指标来判断知识库检索质量:
| 指标 | 获取方式 | 健康值 |
|---|---|---|
| 向量文档数 | SELECT COUNT(*) FROM vector_documents |
> 100 表示有足够知识量 |
| 平均检索分数 | 搜索结果中的 score 字段 |
> 0.7 表示检索质量好 |
| 搜索降级率 | 日志中 L1→L2 降级频率 | < 10% |
| 模型加载时间 | 启动日志 | < 5 秒 |
先向量、再看降级率
监控里最重要的是”搜索降级率”。一旦 L1→L2 频繁发生,说明 Embedding 模型或向量库出了问题,语义搜索其实已经名存实亡。
lists 随数据量增长
lists ≈ rows / 1000。数据量翻十倍,就该重建索引并把 lists 调上去,否则 IVFFlat 退化为全表扫描。
分块是检索质量的地基
块太大丢细节,块太小丢上下文。长制度类文档用大块,FAQ 用小块,别一套参数用到老。
平均检索分数要盯住
score > 0.7 是健康线。长期低于这个值,要么文档切分有问题,要么该换更大的 Embedding 模型。
附:核心组件速查
| 组件 | 作用 | 关键参数 |
|---|---|---|
bge-small-zh-v1.5 |
文本→512 维向量 | 本地运行,CPU 可用 |
vector_documents |
向量分块存储 | VECTOR(512) + IVFFlat |
kb_documents |
文档元信息索引 | module / category 建索引 |
| 三级搜索 | 向量 → 关键词 → 模糊 | 逐级降级,永不空回 |
| 混合搜索 | 语义 70% + 关键词 30% | 兼顾理解与精确 |
一句话总结:RAG 知识库将”文档”变成”可被语义检索的向量”,再用三级搜索 + 混合加权兜住各类边界情况——语义为主、关键词兜底,也是中文企业知识库稳定可用的关键。