跳转至

三十一:Rerank模型自测题

来源:http://mp.weixin.qq.com/s?__biz=MzYyNTk3Njg1NA==&mid=2247484368&idx=1&sn=6182d8d99c984fe0d78d73426a3250d7&chksm=f01eb0a9c76939bf1eb480195396567d85c53f27dbea5adf521859e5c3c61d6f58da4ecdbc69#rd

一、模型定位与基础概念

  • RAG 中 reranker 的位置是什么?它和 retriever 的职责有什么区别?

  • 为什么 embedding bi-encoder 通常适合召回,而 cross-encoder reranker 更适合精排?

  • 请解释 query-document pair 输入方式,以及它为什么能提升相关性判断。

  • Rerank 是否能解决“相关文档完全没有被召回”的问题?为什么?

  • Reranker 输出的分数是否一定可以跨 query 比较?生产中应该怎么使用?

  • 常见 reranker 架构有哪些?请比较 cross-encoder、late interaction 和 LLM-as-reranker。

  • 选择 rerank 模型时,除了榜单分数,还要关注哪些工程维度?

  • 为什么 rerank 会增加延迟?候选数和输入长度分别如何影响成本?

  • Rerank top-n 到 top-k 的 n 和 k 应该如何设置?

  • 在中文知识库、多语言知识库、代码知识库、多模态知识库中,reranker 选型有什么差异?

二、BGE Reranker v2-m3

  • bge-reranker-v2-m3 属于什么类型的模型?适合放在 RAG 的哪个阶段?

  • BGE-M3 的 M3 分别代表什么?它和 bge-reranker-v2-m3 是什么关系?

  • bge-reranker-v2-m3 的输入输出形式是什么?

  • 为什么说它的原始分数通常更适合同一 query 下排序,而不是直接做全局阈值?

  • 使用 FlagEmbedding 调用 BGE reranker 时,normalize=Truemax_length 分别影响什么?

  • bge-reranker-v2-m3 相比早期中英 reranker 的主要优势是什么?

  • 你会如何把 BGE reranker 接入一个已有 embedding RAG 系统?

  • 如果 rerank 后答案质量没有提升,你会从哪些方向排查?

  • 在高 QPS 服务中使用 BGE reranker,需要做哪些延迟优化?

  • 面试中如果只能熟悉一个 reranker,你会如何完整介绍 BGE reranker v2-m3?

三、其他热门模型

  • Jina Reranker v2 的主要特点是什么?它和 Jina Embeddings v2 有什么区别?

  • 为什么 Jina Reranker v2 会被用于 function calling、SQL、代码检索等 agentic RAG 场景?

  • mGTE / GTE multilingual reranker 的核心特点是什么?

  • 长上下文 reranker 是否一定比短上下文 reranker 更好?请说明权衡。

  • Qwen3-VL Embedding / Reranker 主要面向什么场景?

  • 多模态 reranker 和纯文本 reranker 的输入、训练目标和使用场景有什么区别?

  • LLM-as-reranker 的优点和缺点是什么?

  • 如果业务数据包含中英混合、PDF 截图、代码片段,你会如何设计候选模型对比实验?

四、评估与调参

  • Rerank 离线评估常用哪些指标?nDCG@k、MRR@k、Recall@k 分别关注什么?

  • 为什么评估 rerank 不能只看检索指标,还要看最终 RAG 答案指标?

  • 如何构造一个比较 embedding-only 和 embedding + rerank 的实验?

  • 什么是 hard negative?为什么 reranker 训练和评估都需要 hard negative?

  • Reranker 的 top-k precision 提升但最终答案变差,可能是什么原因?

  • 如何判断 reranker 是否过度偏向语义相似,而不是证据充分性?

  • 文档 chunk 太长或太短会如何影响 rerank?

  • rerank 分数分布漂移时,线上阈值过滤可能出现什么问题?

  • 如何为 reranker 设计线上降级策略?

  • 请写一个伪代码流程:hybrid retrieval top-100 -> rerank -> top-5 -> LLM。

  • 请写一个简单的 BGE reranker 调用代码片段,包含 query、documents、排序输出。

  • 给你 500 条人工标注 query 和相关文档,你会如何做 reranker 选型和上线验收?

            预览时标签不可点
    

    <div class="