跳转至

二十六：RAG 自测题

来源:http://mp.weixin.qq.com/s?__biz=MzYyNTk3Njg1NA==&mid=2247484287&idx=1&sn=c41aef9952a88c2a7c9d3e159703a290&chksm=f01eb006c7693910ff6468ad3d282bb3e97d03d4571a180971d83961cedadab1f87698188558#rd

A. RAG 基础概念

  • 什么是 RAG？它的核心思想是什么？

  • RAG 主要解决大模型的哪些问题？

  • 请画出或描述一个基础 RAG 系统的完整流程。

  • RAG 和直接把问题发给 LLM 有什么区别？

  • RAG 和微调分别适合解决什么问题？

  • 哪些业务场景适合使用 RAG？

  • 哪些场景不适合优先使用 RAG？

  • 为什么说 RAG 不等于“接一个向量数据库”？

  • RAG 系统中离线阶段和在线阶段分别做什么？

  • RAG 的上限为什么很大程度由知识库质量决定？

B. 文档加载、清洗与元数据

  • RAG 常见数据源有哪些？

  • 文档加载阶段为什么要保留元数据？

  • RAG 中常见元数据字段有哪些？

  • 文档清洗的目标是什么？

  • 文档清洗中常见噪声有哪些？

  • 为什么文档清洗不能过度？

  • PDF、网页、Markdown、代码仓库在加载时分别有什么特殊注意点？

  • 为什么去重对 RAG 很重要？

  • 权限信息为什么应该作为元数据进入索引系统？

  • 如果文档更新时间不同，RAG 系统应该如何处理？

C. Chunking 与文档切分

  • 什么是 chunk？为什么 RAG 需要 chunking？

  • 常见 chunking 策略有哪些？

  • 固定长度切分的优点和缺点是什么？

  • 递归切分相比固定长度切分有什么优势？

  • 语义切分适合什么场景？

  • 代码、法律合同、FAQ、技术文档分别适合怎样切分？

  • chunk 太小会带来什么问题？

  • chunk 太大会带来什么问题？

  • overlap 的作用是什么？

  • overlap 太大或太小分别有什么风险？

  • 如何为一个企业知识库选择初始 chunk size？

  • 为什么标题层级和章节路径对 chunk 很重要？

D. Embedding、向量索引与检索

  • embedding 模型在 RAG 中承担什么作用？

  • 选择 embedding 模型时应该考虑哪些因素？

  • query embedding 和 document embedding 是什么？

  • cosine similarity、dot product、Euclidean distance 有什么区别？

  • 为什么向量归一化后 cosine similarity 和 dot product 排序可能等价？

  • 什么是向量索引？为什么大规模数据不能总是暴力搜索？

  • Flat、HNSW、IVF、PQ 的基本思想分别是什么？

  • 选择向量数据库时应考虑哪些工程因素？

  • top-k 检索中的 k 如何影响召回和噪声？

  • 为什么向量检索可能搜不到包含关键词的正确文档？

  • BM25/关键词检索相比向量检索有什么优势？

  • 什么是 hybrid search？适合哪些场景？

  • RRF 融合的直觉是什么？

E. Query 处理、Rerank 与上下文组装

  • 为什么用户 query 进入检索前常需要改写？

  • 多轮对话中的指代消解对 RAG 有什么价值？

  • query expansion 是什么？可能带来什么风险？

  • 如果用户一次问多个问题，RAG 检索应该如何处理？

  • 什么是 reranker？它和 embedding retriever 有什么区别？

  • 为什么常见流程是 retrieve top 50 再 rerank top 5？

  • reranker 能否弥补第一阶段召回失败？为什么？

  • 上下文组装时应考虑哪些因素？

  • 为什么上下文中要保留 doc_id、标题和来源？

  • 检索结果中多个 chunk 重复或相邻时应该如何处理？

  • 如果检索结果互相矛盾，生成阶段应该如何处理？

F. 生成、引用与评估

  • RAG 生成 prompt 应包含哪些关键规则？

  • 为什么 RAG prompt 要明确资料不足时的拒答策略？

  • citation 在 RAG 答案中有什么作用？

  • 什么是答案忠实性？它和答案正确性有什么区别？

  • RAG 检索评估常用指标有哪些？

  • Recall@k 和 Precision@k 分别衡量什么？

  • MRR 和 nDCG 适合衡量什么？

  • RAG 生成评估常用指标有哪些？

  • 为什么端到端答案错误时要区分检索失败和生成失败？

  • 如果 RAG 系统经常幻觉，应该从哪些层面排查？

  • 如果 RAG 系统经常答“资料不足”，可能是什么原因？

  • 如果用户无权访问某些文档，RAG 系统应如何保证不泄露？

  • 请设计一个最小可用的企业知识库 RAG 系统。

  • 请系统比较 RAG 基础链路中数据、切分、embedding、检索、rerank、prompt、评估各环节的主要风险和优化方向。

            预览时标签不可点

    <div class="