跳转至

三十七：更多提示压缩方法自测题

来源:http://mp.weixin.qq.com/s?__biz=MzYyNTk3Njg1NA==&mid=2247484474&idx=1&sn=ad9888aadebd6ad4dbd6a44a9155535a&chksm=f01eb743c7693e55b18055d0ac73164c40c812a53493950a25afcbc2eb428ff7406a5682a171#rd

A. 提示压缩基础

  • 什么是提示压缩？它要解决什么问题？

  • 提示压缩和普通摘要有什么区别？

  • 提示压缩和 RAG 中的 contextual compression 有什么关系？

  • 提示压缩的输入、输出和优化目标分别是什么？

  • 提示压缩为什么能降低长上下文推理成本？

  • 提示压缩可能带来哪些风险？

  • 什么是 query-aware compression？

  • 什么是 query-agnostic compression？

  • query-aware 和 query-agnostic 压缩分别适合什么场景？

  • 压缩比越高越好吗？为什么？

B. 方法谱系与选型

  • 提示压缩方法可以按输出形式分成哪几类？

  • 抽取式压缩和生成式压缩有什么区别？

  • 软提示压缩和文本压缩有什么区别？

  • 为什么软提示压缩通常可解释性较弱？

  • 为什么文本压缩更容易接入黑盒 LLM API？

  • 在需要引用原文的 RAG 系统中，为什么抽取式压缩通常更稳？

  • 在长会话记忆中，为什么递归压缩有价值？

  • 为什么压缩器自身的开销也必须纳入评估？

  • 如何理解“压缩不是越短越好，而是保留任务相关信息”？

  • 高风险任务中提示压缩应额外注意哪些信息？

C. AutoCompressor

  • AutoCompressor 的核心思想是什么？

  • 什么是 summary vectors？

  • summary vectors 和自然语言摘要有什么区别？

  • AutoCompressor 如何支持递归或分段压缩长上下文？

  • AutoCompressor 为什么更偏模型训练/架构侧方法？

  • AutoCompressor 的主要优点有哪些？

  • AutoCompressor 的主要限制有哪些？

  • 为什么 AutoCompressor 不适合强引用场景？

  • 如果 AutoCompressor 输出错误，为什么调试较困难？

  • AutoCompressor 更适合哪些场景？

D. LLMLingua-2

  • LLMLingua-2 的核心思想是什么？

  • LLMLingua-2 如何把提示压缩建模为 token classification？

  • LLMLingua-2 中数据蒸馏的作用是什么？

  • LLMLingua-2 相比依赖下游 LLM 困惑度的方法有什么潜在优势？

  • LLMLingua-2 输出为什么更容易被任意 LLM 使用？

  • token 删除式压缩为什么可能破坏语法或语义？

  • LLMLingua-2 在高压缩比下容易丢失哪些信息？

  • LLMLingua-2 适合哪些生产场景？

  • LLMLingua-2 不适合哪些场景？

  • 如何评估 LLMLingua-2 是否保留了关键信息？

E. RECOMP

  • RECOMP 主要面向什么问题？

  • RECOMP 在 RAG 链路中处于什么位置？

  • RECOMP 的 extractive compressor 是什么？

  • RECOMP 的 abstractive compressor 是什么？

  • 抽取式 compressor 的优点和缺点是什么？

  • 生成式 compressor 的优点和缺点是什么？

  • 为什么 RECOMP 适合检索增强生成中的上下文压缩？

  • RECOMP 与普通 rerank 有什么区别？

  • RECOMP 与 LongLLMLingua 有什么区别？

  • 在事实问答中，RECOMP 应如何保留引用和证据？

F. 评估、风险与生产化

  • 提示压缩评估应包含哪些指标？

  • 什么是关键信息保留率？

  • 为什么只看压缩率无法判断方法好坏？

  • 如何设计提示压缩的 A/B 实验？

  • 压缩后答案错误时，如何判断是压缩失败还是模型生成失败？

  • 如果压缩器删除了否定词，会造成什么后果？

  • 如果压缩器删除了 doc_id 或 citation，会造成什么问题？

  • 生成式压缩为什么可能引入幻觉？

  • 如何降低生成式压缩的幻觉风险？

  • 如何为法律/金融场景选择提示压缩策略？

G. 综合比较与设计

  • 请比较 AutoCompressor、LLMLingua-2、RECOMP 的输出形式。

  • 请比较 AutoCompressor、LLMLingua-2、RECOMP 的可解释性。

  • 请比较 AutoCompressor、LLMLingua-2、RECOMP 的 API 兼容性。

  • 请比较 AutoCompressor、LLMLingua-2、RECOMP 的压缩潜力和风险。

  • 如果使用黑盒商业 LLM，应该优先考虑哪类压缩方法？为什么？

  • 如果自研模型并关注超长会话记忆，可以考虑哪类方法？为什么？

  • 如果 RAG 需要严格引用原文，应如何设计压缩链路？

  • 如何把提示压缩和 rerank、hybrid retrieval 结合？

  • 请设计一个生产 RAG 系统中的提示压缩模块。

  • 请系统总结提示压缩方法的核心原理、方法对比、适用场景和面试表达要点。

            预览时标签不可点

修改于

    <div class="