1
2
3
4
5
6
7
8

# 向量库转检索器，这是最常见的用法
retriever = vector_store.as_retriever(
    search_type="similarity",
    search_kwargs={"k": 3}
)

results = retriever.invoke("RAG 系统如何优化检索精度？")
# 返回 List[Document]

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

# Author         : nanzet
# Description    : 演示 LangChain Retriever 的统一接口特性，结合维基百科检索与 BM25 稀疏检索。
# requirements   : pip install -U langchain langchain-community wikipedia rank_bm25

from langchain_community.retrievers import BM25Retriever, WikipediaRetriever


def demonstrate_external_retriever():
    """
    流派二：外部索引联网检索
    数据在第三方，直接调 API 拿结果，不需要自己建索引，解决大模型知识截止日期问题。
    不需要本地存储，直接通过网络 I/O 返回标准的 Document 列表
    """
    print("--- 1. 测试外部接口检索器 (Wikipedia) ---")
    # 初始化维基百科检索器，限制返回前 2 条结果
    wiki_retriever = WikipediaRetriever(top_k_results=2, lang="zh")

    # 遵循 Runnable 接口规范，调用 invoke 方法
    query = "量子计算"
    docs = wiki_retriever.invoke(query)

    print(f"针对 Query: '{query}' 的召回结果：")
    for i, doc in enumerate(docs):
        # 截取前 100 个字符展示
        print(f"  [结果 {i + 1}] 标题: {doc.metadata.get('title')}")
        print(f"  摘要: {doc.page_content[:100]}...\n")


def demonstrate_sparse_retriever():
    """
    流派一：自有语料库检索
    数据在自己手里，需要先建索引再检索。适合企业内部知识库，数据安全可控。
    这里以纯本地的 BM25 稀疏检索为例。
    侧重于关键词精确匹配，常用于补足稠密向量（Dense Vector）检索的短板
    """
    print("--- 2. 测试本地稀疏检索器 (BM25) ---")

    # 构建本地企业语料库
    corpus = [
        "公司 2026 年第一季度的财报数据非常亮眼。",
        "产品型号 X-990-PRO 的库存目前位于北京三号仓库。",
        "员工差旅报销流程请参考内部文档 V2.4 版。",
        "自然语言处理技术在 RAG 系统中应用广泛。",
    ]

    # 实例化 BM25 检索器
    bm25_retriever = BM25Retriever.from_texts(corpus)
    bm25_retriever.k = 1  # 设置召回数量

    # 测试精确关键词匹配（针对特定型号）
    query = "X-990-PRO 库存在哪"
    docs = bm25_retriever.invoke(query)

    print(f"针对 Query: '{query}' 的召回结果：")
    print(f"  命中内容: {docs[0].page_content}\n")


if __name__ == "__main__":
    demonstrate_external_retriever()
    demonstrate_sparse_retriever()

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

--- 1. 测试外部接口检索器 (Wikipedia) ---
针对 Query: '量子计算' 的召回结果：
  [结果 1] 标题: 量子计算机
  摘要: 量子计算机（英語：Quantum computer）是以量子力学为基础搭建、用于進行通用計算的設備。量子计算机使用量子比特来儲存數據，使用量子演算法操作數據。不同于电子计算机的比特只能处于0或1两种状...

  [结果 2] 标题: 量子计算优越性
  摘要: 量子计算优越性（英文：Quantum Advantage），或稱量子霸權（英語：quantum supremacy），是指用量子计算机解決古典電腦难以解决的問題，問題本身未必需要有實際應用。量子计算优...

--- 2. 测试本地稀疏检索器 (BM25) ---
针对 Query: 'X-990-PRO 库存在哪' 的召回结果：
  命中内容: 产品型号 X-990-PRO 的库存目前位于北京三号仓库。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

# Author         : nanzet
# Description    : 完整可运行的 RAG 链示例，展示 VectorStore 转化为 Retriever 并在 LCEL 中的集成
# requirements   : pip install -U langchain langchain-openai langchain-community langchain-huggingface faiss-cpu

import os
from langchain.chat_models import init_chat_model
from langchain_community.vectorstores import FAISS
from langchain_core.documents import Document
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain_huggingface import HuggingFaceEmbeddings

def main():
    # 注入 API KEY (请替换为真实 Key)
    os.environ["DEEPSEEK_API_KEY"] = os.getenv("DEEPSEEK_API_KEY", "sk-your-deepseek-api-key")

    # 第一步：准备知识库文档
    docs = [
        Document(page_content="Nike 2025财年总收入为 468 亿美元，同比下降 10%。"),
        Document(page_content="Nike 2025财年毛利率为 41.5%，较上年下降 1.2 个百分点。"),
        Document(page_content="Nike 2025财年净利润为 28 亿美元，同比下降 44%。"),
        Document(page_content="Nike 主要业务分为北美、欧洲、大中华区和亚太区四个区域。"),
        Document(page_content="Nike 大中华区 2025财年营收为 71 亿美元，占总营收约 15%。"),
    ]

    # 第二步：初始化嵌入模型，将文档向量化并写入 FAISS
    print("--- 正在加载嵌入模型并构建向量库 ---")
    embeddings = HuggingFaceEmbeddings(
        model_name="BAAI/bge-m3",
        model_kwargs={"device": "mps"},  # Mac M 系列芯片用 mps，其他用 cpu
        encode_kwargs={"normalize_embeddings": True},
    )
    vector_store = FAISS.from_documents(docs, embeddings)
    print("向量库构建完毕")

    # 第三步：向量库转检索器 (VectorStore 转化为 Retriever 接口)
    retriever = vector_store.as_retriever(search_kwargs={"k": 2})

    # 第四步：初始化大模型
    llm = init_chat_model("deepseek-chat", model_provider="deepseek", temperature=0)

    # 第五步：定义 Prompt 模板
    prompt = ChatPromptTemplate.from_template(
        "基于以下上下文回答问题，如果上下文中没有答案请明确说不知道。\n\n"
        "上下文：{context}\n\n"
        "问题：{question}"
    )

    # 第六步：组装 RAG 链 (利用 LCEL 将 Retriever 串入流中)
    rag_chain = {"context": retriever, "question": RunnablePassthrough()} | prompt | llm

    # 第七步：执行并输出结果
    query = "Nike 2025年的总收入是多少？"
    print(f"\n用户提问：{query}")

    answer = rag_chain.invoke(query)
    print(f"系统答案：{answer.content}")

if __name__ == "__main__":
    main()

1
2
3
4
5
6
7

--- 正在加载嵌入模型并构建向量库 ---
Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
Loading weights: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 391/391 [00:00<00:00, 62190.86it/s]
向量库构建完毕

用户提问：Nike 2025年的总收入是多少？
系统答案：根据上下文，Nike 2025财年总收入为 468 亿美元。