三十六：长上下文提示压缩自测题¶
来源:http://mp.weixin.qq.com/s?__biz=MzYyNTk3Njg1NA==&mid=2247484455&idx=1&sn=200edd1f6f2a53fa1a613c865a284fc2&chksm=f01eb75ec7693e489dbc49b155cf0593c1a0b784355af5a916478225dbb38dea1f5d3219d4da#rd
一、基础概念¶
-
提示压缩解决的核心问题是什么？
-
提示压缩和摘要有什么区别？
-
提示压缩和 RAG 是替代关系还是互补关系？
-
长上下文模型已经支持很多 token，为什么仍然需要提示压缩？
-
什么是 compression ratio 和 keep rate？
-
哪些 prompt 部分通常不应该压缩？
二、Selective Context¶
-
Selective Context 的核心思想是什么？
-
什么是 token 的 self-information？
-
为什么低信息量 token 可以优先删除？
-
Selective Context 的优点是什么？
-
Selective Context 的局限是什么？
-
为什么高 self-information 不一定等于对当前问题有用？
三、LLMLingua¶
-
LLMLingua 的核心目标是什么？
-
为什么 LLMLingua 使用小模型作为 compressor？
-
LLMLingua 的高层流程包括哪些模块？
-
budget controller 的作用是什么？
-
token-level iterative compression 的直觉是什么？
-
小模型 compressor 和 target LLM 不一致会带来什么风险？
-
LLMLingua 适合哪些场景？
-
LLMLingua 不适合或需要谨慎使用哪些场景？
四、LongLLMLingua¶
-
LongLLMLingua 相比 LLMLingua 主要改进在哪里？
-
什么是 question-aware compression？
-
为什么 question-aware 对长文档问答特别重要？
-
LongLLMLingua 的 coarse-to-fine 流程是什么？
-
文档级、句子级、token 级压缩分别解决什么问题？
-
LongLLMLingua 如何缓解 lost-in-the-middle？
-
在 RAG 系统中，LongLLMLingua 应该放在 rerank 前还是 rerank 后？为什么？
-
LongLLMLingua 压缩时为什么要保留 citation id、标题和页码？
五、评估与工程风险¶
-
提示压缩有哪些常见失败模式？
-
为什么否定词、数字、实体、条件词不能轻易删除？
-
压缩表格和代码有什么特殊风险？
-
如何设计提示压缩的离线评估实验？
-
除了答案正确率，还应评估哪些指标？
-
如果压缩率提升但答案质量下降，你会如何调参？
-
如何为不同 prompt 区域分配压缩预算？
-
请写一个 RAG + LongLLMLingua 的生产流程。
-
请用一段面试表达完整解释 LongLLMLingua。
-
如果压缩后模型引用了错误证据，可能是什么原因？
预览时标签不可点<div class="