XSKILL：多模态智能体从经验与技能中持续学习的新框架

摘要

本文介绍了一篇名为《XSKILL: Continual Learning from Experience and Skills in Multimodal Agents》的论文。该论文提出了一种名为XSKILL的双流框架，旨在解决多模态智能体在开放环境中工具使用效率低和编排灵活性差的问题。XSKILL通过从过去的执行轨迹中持续学习两种互补的可重用知识——经验（Experiences）和技能（Skills），使智能体无需更新参数即可不断提升性能。实验表明，该方法在多个基准测试和不同骨干模型上均显著优于现有基线。

1. 研究背景与挑战

随着多模态大语言模型（MLLMs）的发展，智能体已能从被动感知系统转变为主动问题解决者，能够利用多种工具（如代码执行、网络搜索、图像处理等）处理复杂推理任务。然而，当前多模态智能体仍面临两大瓶颈：

1. 工具使用效率低下：智能体常在简单问题上耗费过多步骤，而在复杂查询上缺乏深入的多轮探索。
2. 工具编排灵活性不足：现有系统多局限于单路径执行，难以跨任务泛化地组合工具。

人类通过从经验（具体情境下的战术指导）和技能（结构化的高级规划流程）中持续学习来提升解决问题的能力。受此启发，作者提出让多模态智能体也具备这两种知识形式，以实现无需训练的参数免费（training-free）持续改进。

2. XSKILL框架核心设计

2.1 双知识流定义

• 技能（Skills）：提供任务级别的结构性指导，包含可重用的工作流和工具模板，用于规划和工具编排。以Markdown格式存储。
• 经验（Experiences）：提供动作级别的简洁指导，捕捉特定执行上下文中的战术知识（如错误恢复、工具选择）。以JSON格式存储，包含触发条件、推荐动作和语义嵌入。

2.2 两阶段架构

阶段一：知识积累（Accumulation）

• 多路径 rollout：对每个训练任务执行多次独立尝试。
• 视觉 grounded 总结：利用多模态大模型（MLLMkb）结合图像观察和轨迹文本，提取关键决策点、工具使用模式和失败原因。
• 跨轨迹批判（Cross-Rollout Critique）：对比成功与失败轨迹，提炼因果性经验教训。
• 知识整合：通过层次化合并机制减少冗余，确保知识库的可扩展性和质量。

阶段二：任务求解（Inference）

• 任务分解检索：将查询分解为多个子任务，分别检索相关经验。
• 上下文感知适配：根据当前视觉上下文重写经验和调整技能，使其更贴合具体任务。
• 非强制性注入：将适配后的知识作为参考注入智能体提示，保留其灵活应变能力。
• 反馈循环：记录使用情况并反馈至积累阶段，形成持续学习闭环。

3. 实验结果与分析

3.1 数据集与基线

• 数据集：涵盖视觉代理工具使用（VisualToolBench, TIR-Bench）、多模态搜索（MMSearch-Plus, MMBrowseComp）和综合推理（AgentVista）五大基准。
• 基线方法：包括Agent Workflow Memory (AWM)、Dynamic CheatSheet (DC)、Agent-KB等主流基于经验学习的方案。
• 骨干模型：测试了Gemini-2.5-Pro、Gemini-3-Flash、GPT-5-mini、o4-mini四种模型，并验证了跨模型知识迁移能力。

3.2 主要成果

• 性能提升：在所有模型和数据集上，XSKILL均显著优于工具-only基线和现有学习方法。例如，在TIR-Bench上，Gemini-3-Flash的Average@4提升了11.13个百分点。
• 消融实验：移除“经验”或“技能”任一组件均导致性能下降（分别降低3.04和3.85个点），证明两者互补且不可或缺。
• 行为分析：
  • 技能显著减少语法错误和工具调用错误，提升执行鲁棒性。
  • 经验引导更灵活的工具选择策略，如在视觉推理中增加代码解释器使用，在多模态搜索中优先图像搜索。

3.3 零样本泛化能力

将在一个数据集上积累的知识直接应用于未见过的任务（如用VisualToolBench知识解决TIR-Bench任务），XSKILL仍保持优于基线的表现，说明其捕获的是可泛化的推理原则而非过拟合的启发式规则。

4. 创新贡献

1. 首创双流视觉grounded知识框架：首次统一任务级技能与动作级经验，支持从视觉-工具交互中无参数积累知识。
2. 显著提升多模态代理性能：在多样化基准和模型上验证了持续学习的有效性。
3. 强鲁棒性与泛化性：双知识流协同作用，既保障执行稳定性，又增强策略适应性，并具备优秀的跨任务迁移能力。

5. 局限性与未来方向

• 当前实验仅展示单次“积累-测试”循环，但架构设计支持迭代 refinement。
• 需警惕知识积累可能放大偏见或导致恶意自动化风险，建议引入人工审核与定期偏差审计。
• 未来可探索更复杂的动态环境适应机制及更大规模的知识库管理策略。

结语

XSKILL为多模态智能体的持续进化提供了一条实用且可扩展的路径。它通过外部化、结构化的知识表示，不仅提升了智能体的决策透明度和可解释性，也为构建真正具备“终身学习”能力的自主系统奠定了坚实基础。

为了让你更直观地理解 XSKILL 的核心机制，我们构建一个具体的场景：“智能体需要分析一张复杂的股市走势截图，并结合最新新闻预测明日趋势”。

在这个任务中，普通的智能体可能会直接尝试写代码画图，或者盲目搜索新闻，导致步骤混乱或报错。而搭载了 XSKILL 的智能体会如何利用**经验（Experiences）和技能（Skills）**来解决问题呢？

场景设定

• 输入：一张包含多条K线、成交量柱状图和复杂技术指标的股市截图 + 用户问题：“结合这张图和今天的科技股新闻，预测明天‘未来科技’公司的股价走势。”
• 普通智能体的典型失败：
  1. 直接调用代码解释器读取图片，但因为图片分辨率高且图表密集，OCR识别出错，提取的数据全是乱码。
  2. 强行基于错误数据画图，程序报错崩溃。
  3. 搜索新闻时关键词太宽泛，搜到了无关的八卦新闻。
  4. 最终给出一个毫无逻辑的预测。

XSKILL 的工作流程

第一阶段：知识积累（过去发生了什么？）

假设在之前的训练中，智能体已经尝试过类似的任务，并经历了多次失败和一次成功。XSKILL 的“积累模块”会自动分析这些历史轨迹，提炼出以下两类知识存入知识库：

1. 提炼出的【技能 (Skill)】—— 结构化工作流

   • 来源：来自那条成功的长轨迹。
   • 内容：定义了一个名为 复杂图表分析工作流 的标准模板。
   • 结构：
     1. 预处理：先调用图像增强工具裁剪图表区域。
     2. 分步提取：先用 OCR 提取文字标签，再单独用代码检测线条趋势，最后合并数据（而不是试图一步到位）。
     3. 交叉验证：生成初步图表后，必须让视觉模型对比原图进行“一致性检查”。
     4. 新闻关联：仅当数据提取成功后，才启动新闻搜索，且搜索词必须包含图中具体的股票代码。

2. 提炼出的【经验 (Experience)】—— 战术小贴士

   • 来源：来自那些失败的轨迹与成功轨迹的对比批判。
   • 内容（以JSON格式存储）：
     • 触发条件：当图像中包含“密集网格”或“多颜色重叠线条”时。
     • 教训：直接使用 plt.imread 往往会导致坐标轴识别错误。
     • 推荐动作：优先使用 High-Res-OCR 工具，并在代码中加入“异常值过滤”逻辑。
     • 反例：不要在没有确认股票代码的情况下搜索“科技股新闻”。

第二阶段：任务求解（现在怎么做？）

当新的任务（上述股市预测）到来时，XSKILL 按以下步骤操作：

步骤 1：任务分解与检索

• 智能体分析问题，将其分解为子任务：[图像数据提取]、[新闻搜索]、[综合推理]。
• 检索技能：系统发现子任务 [图像数据提取] 与知识库中的 复杂图表分析工作流 高度匹配，于是调取该技能模板。
• 检索经验：系统观察输入图片，发现确实存在“密集网格”，触发了之前存储的那条关于“密集网格导致OCR错误”的经验。

步骤 2：上下文感知适配 (Context-Aware Adaptation)

• 智能体不会生硬地照搬技能，而是结合当前图片和经验进行“重写”：
  • 原技能：“调用OCR工具。”
  • 适配后：“调用 High-Res-OCR 工具（根据经验推荐），并设置置信度阈值为0.9（根据当前图片复杂度调整）。”
  • 原技能：“搜索新闻。”
  • 适配后：“从图中识别出代码 'FUTR'，搜索 'FUTR stock news today'（根据经验避免宽泛搜索）。”

步骤 3：非强制性注入与执行

• 系统将适配后的技能流程和经验提示作为“参考指南”注入到主智能体的 Prompt 中。
  • Prompt 示例：“...在提取数据时，请参考以下最佳实践：由于图片网格密集，请优先使用高分辨率OCR模式，避免直接读取全图。请遵循‘复杂图表分析工作流’的步骤：先裁剪，再分步提取...”
• 关键点：这些知识是建议性的。如果智能体在执行中发现新情况（例如图片其实很清晰，不需要增强），它有权偏离技能流程，保持灵活性。

步骤 4：执行与反馈闭环

• 智能体按照优化后的路径执行：
  1. 裁剪图片 -> 成功。
  2. 使用高分辨率OCR -> 数据准确。
  3. 搜索特定代码新闻 -> 找到关键财报信息。
  4. 生成预测 -> 成功。
• 这次成功的执行轨迹会被记录下来，再次进入积累阶段。如果智能体在这次执行中发现了新的技巧（比如某种特定的颜色标记代表停牌），它会自动生成新的经验条目，丰富知识库。

核心机制总结

通过这个例子，你可以看到 XSKILL 的两个核心支柱是如何协同工作的：

| 机制 | 类比人类行为 | 在例子中的作用 | 形式 | | :--- | :--- | :--- | :--- | 技能 (Skills) | 老专家的“标准作业程序 (SOP)” | 提供宏观的骨架。确保智能体不会漏掉关键步骤（如一致性检查），保证流程的规范性和鲁棒性。 | Markdown 流程图/模板 | | 经验 (Experiences) | 老兵的“避坑指南” | 提供微观的血肉。针对具体细节（如密集网格、特定错误）给出即时战术建议，防止重蹈覆辙，提升效率。 | JSON (条件-动作对) |

为什么这很强大？

• 无需训练：所有的“变聪明”都发生在外部知识库的更新上，模型本身的权重没变，但它的表现像是一个积累了十年经验的专家。
• 可解释性：你可以清楚地看到智能体是因为参考了哪条“经验”才决定使用高分辨率OCR的，而不是黑盒决策。
• 持续进化：遇到的错误越多，积累的“避坑指南”就越丰富，未来的表现就越好。