跳转至

四十五：工具 Tool自测题

来源:http://mp.weixin.qq.com/s?__biz=MzYyNTk3Njg1NA==&mid=2247484612&idx=1&sn=e6580fc10441104b6eada9dae69f57f4&chksm=f01eb7bdc7693eab75b71c4766de75a0c655d292e836f19f8f05b481e7c398bda58a6bb7d67a#rd

A. Tool 基础

  • LLM Agent 中的 Tool 是什么？它解决了哪些模型能力边界问题？

  • Tool Calling 和 Agent 有什么区别？

  • 为什么说 Tool 是 Agent 的动作空间？

  • 一个工具接口通常应包含哪些组成部分？

  • 工具描述为什么会显著影响模型的工具选择？

  • 参数 schema 在工具调用中有什么作用？

  • 工具返回结果为什么也需要结构化？

  • 工具调用循环的基本流程是什么？

  • 工具型 Agent 和普通 RAG 系统有什么区别？

  • 工具型 Agent 为什么需要权限控制和审计？

B. Function Calling

  • Function Calling 的基本工程流程是什么？

  • 模型在 Function Calling 中负责什么，宿主程序负责什么？

  • 为什么不能直接信任模型生成的函数参数？

  • Function Calling 适合哪些任务场景？

  • Function Calling 不适合或需要谨慎使用哪些场景？

  • 多次 Function Calling 时需要管理哪些状态？

  • 工具调用失败后系统应如何处理？

  • 高风险函数调用为什么需要用户确认？

  • 如何评估 Function Calling 的参数正确性？

  • Function Calling 与传统 API 调用有什么区别？

C. Toolformer

  • Toolformer 的核心思想是什么？

  • Toolformer 为什么被称为自监督学习工具使用的方法？

  • Toolformer 如何从普通文本中构造工具调用训练样本？

  • Toolformer 为什么要用语言建模损失筛选 API 调用？

  • Toolformer 论文中涉及哪些典型工具？

  • Toolformer 学到的是哪些工具使用能力？

  • Toolformer 相比人工标注工具调用数据有什么优势？

  • Toolformer 的主要限制是什么？

  • Toolformer 和 Function Calling 的区别是什么？

  • Toolformer 为什么不等同于完整 Agent 系统？

D. MRKL

  • MRKL 的全称和核心思想是什么？

  • MRKL 为什么被称为神经符号架构？

  • MRKL 中 router 的作用是什么？

  • MRKL 中 expert module 可以包括哪些能力？

  • MRKL 相比单一 LLM 有什么优势？

  • MRKL 的主要工程挑战是什么？

  • MRKL 和现代 Tool Calling 有什么关系？

  • MRKL 和 RAG 有什么区别？

  • MRKL 如何提升可解释性？

  • MRKL 架构在今天的 Agent 系统中仍有什么价值？

E. HuggingGPT

  • HuggingGPT 想解决什么问题？

  • HuggingGPT 的总体架构是什么？

  • HuggingGPT 为什么选择 ChatGPT 作为控制器？

  • HuggingGPT 的四个阶段分别是什么？

  • Task Planning 阶段负责什么？

  • Task Planning 中为什么需要识别子任务依赖关系？

  • Model Selection 阶段如何选择合适模型？

  • 模型描述质量为什么会影响 HuggingGPT 效果？

  • Task Execution 阶段需要解决哪些工程问题？

  • Response Generation 阶段有哪些风险？

  • HuggingGPT 如何处理多模态任务？

  • HuggingGPT 与 Toolformer 的区别是什么？

  • HuggingGPT 与 MRKL 的区别是什么？

  • HuggingGPT 与 Function Calling 的关系是什么？

  • HuggingGPT 可以被看作哪类 Agent 系统？

F. 工具型 Agent 失败模式

  • 工具选择错误通常有哪些原因？

  • 参数抽取错误会如何影响工具调用结果？

  • 工具描述不清会造成哪些问题？

  • 任务拆分错误为什么会导致 HuggingGPT 失败？

  • 模型选择错误在 HuggingGPT 中如何发生？

  • 工具返回结果被误读会造成什么后果？

  • 工具调用失败后没有重试或降级会带来什么风险？

  • 什么是工具结果幻觉？

  • 工具权限过宽为什么危险？

  • 如何设计工具型 Agent 的 tool trace？

G. 评估与生产化

  • 工具型 Agent 应该评估哪些指标？

  • 如何评估 HuggingGPT 的端到端任务成功率？

  • 如何提升工具型 Agent 的可靠性？

  • 工具型 Agent 在生产中需要哪些安全边界？

  • 请系统总结 Toolformer、MRKL、Function Calling 和 HuggingGPT 的原理、区别、优缺点和面试表达要点。

            预览时标签不可点

    <div class="