三十：Rerank自测题¶

来源:http://mp.weixin.qq.com/s?__biz=MzYyNTk3Njg1NA==&mid=2247484353&idx=1&sn=a8b30d0686329d1118088cb3e4acc705&chksm=f01eb0b8c76939ae2b83c88132bb737c3b938b2246d50613001f143e9d8d04cced0fe729b695#rd

A. Rerank 基础概念¶

什么是 rerank？它在 RAG 系统中处于什么位置？
Rerank 主要解决 embedding 检索的什么问题？
为什么 RAG 通常使用“先召回、再重排”的两阶段检索？
为什么不能直接用 reranker 对全库文档排序？
为什么不能只用 embedding top-k 而不做 rerank？
Rerank 对最终 LLM 生成质量有什么影响？
Rerank 是否能解决第一阶段漏召回？为什么？
rerank score 通常表示什么？它一定是概率吗？
为什么不同 query 的 rerank score 不一定可直接比较？
Rerank 和 contextual compression 有什么区别？

B. Embedding Retriever 与 Reranker¶

什么是 bi-encoder？
embedding retriever 为什么可以大规模快速检索？
bi-encoder 的主要缺点是什么？
什么是 cross-encoder？
cross-encoder 为什么排序精度通常更高？
cross-encoder 的主要成本是什么？
请比较 bi-encoder 和 cross-encoder 的输入、输出和计算方式。
为什么 reranker 通常只能处理候选集？
Late interaction 模型处于 bi-encoder 和 cross-encoder 的什么位置？
ColBERT 类方法的基本直觉是什么？

C. 两阶段检索与参数¶

请描述一个标准的 retrieve-rerank RAG 流程。
retrieval_top_n 和 final_top_k 分别是什么？
retrieval_top_n 太小会有什么问题？
retrieval_top_n 太大会有什么问题？
final_top_k 太小会有什么问题？
final_top_k 太大会有什么问题？
如何选择 retrieval_top_n 和 final_top_k？
为什么 embedding 排名第 30 的文档可能被 reranker 排到第 1？
Rerank 和 hybrid search 如何配合？
Rerank 和 query rewrite/multi-query 如何配合？
Rerank 应该使用原始 query 还是改写 query？
候选去重为什么应该在 rerank 前后都考虑？

D. Reranker 类型与训练¶

常见 reranker 类型有哪些？
专用 cross-encoder reranker 的优点和缺点是什么？
LLM reranker 的优点和缺点是什么？
规则 reranker 可以使用哪些信号？
什么情况下规则 reranker 很有价值？
reranker 训练数据通常有哪些形式？
pointwise、pairwise、listwise 训练数据有什么区别？
什么是 hard negative？为什么重要？
RAG 场景中如何构造 hard negative？
如果 reranker 偏向长文档，可能是什么原因？如何缓解？

E. 评估、阈值与生产化¶

Rerank 评估常用排序指标有哪些？
MRR 衡量什么？
nDCG@k 衡量什么？
Precision@k 和 Recall@k 在 rerank 中分别有什么意义？
为什么 rerank 优化不能只看排序指标？
Rerank 对 RAG 端到端指标有哪些影响？
如何用实验验证 reranker 是否真的提升 RAG？
rerank score threshold 可以用于拒答吗？风险是什么？
如何校准 rerank 阈值？
如何优化 rerank 的延迟和成本？
batch rerank 为什么能提升吞吐？
rerank 缓存适合什么场景？

F. 排错与综合设计¶

如果加入 reranker 后答案质量没有提升，你会如何排查？
如果加入 reranker 后延迟过高，你会如何优化？
如果 reranker 把背景资料排在答案证据前面，可能是什么原因？
如果 reranker 分数很高但文档并不能回答问题，应如何处理？
如果 rerank 后 top-k 都来自同一个文档，可能有什么问题？如何增加多样性？
如果 first-stage retriever 召回噪声很大，reranker 能完全解决吗？
如果 first-stage retriever 召回正确文档排名很靠后，rerank top_n 应如何设置？
如何在 RAG 中组合 dense retrieval、BM25、rerank 和 LLM 生成？
如何为法律条款 RAG 设计 rerank 策略？
如何为技术文档 RAG 设计 rerank 策略？
如何为客服 FAQ RAG 设计 rerank 策略？
Rerank 与 citation accuracy 有什么关系？
Rerank 与 hallucination 有什么关系？
请比较 embedding、rerank、LLM judge 在 RAG 系统中的角色。
请设计一个生产级 rerank 模块，包括输入输出、参数、缓存、监控和降级策略。
请系统总结 Rerank 与 Embedding 的区别、联系、取舍和面试表达要点。
```
        预览时标签不可点
```
<div class="