跳转至

二十七：RAG 优化自测题

来源:http://mp.weixin.qq.com/s?__biz=MzYyNTk3Njg1NA==&mid=2247484304&idx=1&sn=3ca23a44ed65fc1c58977cb0a603f76e&chksm=f01eb0e9c76939ff1b73c2eb65bb22f5380605219601424984497980d87d9849e367a6628f94#rd

A. RAG 优化诊断

  • RAG 效果不好时，为什么不应该第一反应就是换大模型？

  • 请给出 RAG 问题排查的分层诊断框架。

  • 如何判断一个 RAG 错误主要是检索失败还是生成失败？

  • 为什么“正确证据是否进入最终 prompt”是 RAG 调试的关键问题？

  • RAG 中数据层常见问题有哪些？

  • RAG 中切分层常见问题有哪些？

  • RAG 中检索层常见问题有哪些？

  • RAG 中生成层常见问题有哪些？

  • 为什么 RAG 优化必须有标注评估集？

  • 一个好的 RAG 评估集应该包含哪些类型的问题？

B. Query Transformation

  • 什么是 query rewrite？它解决什么问题？

  • 多轮对话中 query rewrite 为什么重要？

  • query rewrite 可能引入什么风险？

  • 什么是 query decomposition？适合哪些问题？

  • query decomposition 和 multi-hop retrieval 有什么关系？

  • 什么是 multi-query retrieval？它的流程是什么？

  • multi-query retrieval 为什么能提升召回？

  • multi-query retrieval 的成本和风险是什么？

  • 什么是 HyDE？它的基本流程是什么？

  • HyDE 为什么可能提升检索效果？

  • HyDE 可能带来哪些错误？

  • 什么是 step-back retrieval？适合什么场景？

  • query expansion 和 query rewrite 有什么区别？

  • 如果用户问题包含多个实体和多个约束，你会如何设计 query transformation？

C. 高级检索与元数据过滤

  • 什么是 metadata filter？它在 RAG 中有什么价值？

  • 什么是 self-query retriever？请举例说明。

  • self-query retriever 解析错误会造成什么问题？如何降低风险？

  • hybrid search 中 dense retrieval 和 sparse retrieval 分别擅长什么？

  • 什么时候应该提高 sparse/BM25 的权重？

  • 什么时候应该提高 dense vector retrieval 的权重？

  • RRF 融合为什么在工程上常用？

  • hybrid search 中如何处理重复结果？

  • 如果企业文档中有大量错误码、API 名和产品型号，检索策略应如何调整？

  • 如何根据 query 类型选择不同 retriever？

D. 多向量、父文档与上下文扩展

  • Parent Document Retriever 的核心思想是什么？

  • Parent Document Retriever 解决了什么矛盾？

  • Parent Document Retriever 的风险是什么？

  • Multi-Vector Retriever 的核心思想是什么？

  • 同一文档可以生成哪些不同向量表示？

  • Multi-Vector Retriever 适合什么场景？

  • Multi-Vector Retriever 的成本和风险是什么？

  • small-to-big retrieval 的流程是什么？

  • small-to-big retrieval 和 parent document retrieval 有什么关系？

  • 相邻 chunk 合并什么时候有用？什么时候会引入噪声？

E. Rerank、压缩与长上下文

  • 为什么 rerank 是提升 RAG precision 的关键环节？

  • Cross-encoder reranker 和 bi-encoder retriever 有什么区别？

  • LLM reranker 的优点和缺点是什么？

  • 为什么 reranker 通常只用于第一阶段召回后的候选？

  • 什么是 contextual compression？

  • contextual compression 的常见实现方式有哪些？

  • contextual compression 可能误删哪些关键信息？

  • 长上下文模型是否意味着不再需要 RAG 优化？为什么？

  • 长上下文 RAG 需要注意哪些问题？

  • 如何控制最终上下文的 token 预算？

F. 多跳、GraphRAG 与忠实性

  • 什么是 multi-hop RAG？请举例。

  • multi-hop RAG 中错误为什么容易累积？

  • GraphRAG 的基本思想是什么？

  • GraphRAG 适合什么类型的问题？

  • GraphRAG 的构建流程通常包括哪些步骤？

  • GraphRAG 的成本和风险有哪些？

  • RAG 幻觉有哪些常见形式？

  • 什么是 faithfulness？如何评估？

  • citation verification 要检查什么？

  • 如果引用存在但不支持答案，应该如何处理？

G. 生产化、安全与综合设计

  • 生产 RAG 系统应该记录哪些日志？

  • RAG 系统有哪些常见缓存策略？

  • RAG 中 indirect prompt injection 是什么？如何防护？

  • 为什么 RAG 权限过滤必须在检索阶段完成？

  • 请给出一个从基础 RAG 到高级 RAG 的优化路线图。

  • 请设计一个面向企业内部知识库的高质量 RAG 系统，并说明检索、重排、上下文、生成、安全、评估和成本控制方案。

            预览时标签不可点

    <div class="