LoopTool – 上交大和小红书推出的自动化数据进化框架

LoopTool是什么

LoopTool 是上海交通大学和小红书团队推出的自动化、模型感知、迭代式的数据进化框架，能提升大语言模型（LLM）在工具调用任务上的性能。框架通过闭环优化，将数据生成、标签修正与模型训练紧密结合，形成动态反馈机制。LoopTool 包括种子数据构建和迭代优化两大阶段，后者涵盖贪婪能力探测、判别引导标签校验和错误驱动数据扩展等核心模块，能够动态调整训练数据，精准优化模型薄弱环节。实验表明，LoopTool 显著提升了模型在工具调用任务上的表现，在多个公开榜单上达到开源模型的最佳成绩。

LoopTool的主要功能

• 自动化数据生成：构建高质量的种子数据集，支持多智能体对话生成，确保数据多样性和一致性。
• 动态数据优化：根据模型表现，自动识别、优化模型的薄弱环节，生成更具挑战性的训练样本。
• 标签校验与修正：通过开源模型比较预测与标签，修正错误标签，减少噪声数据对训练的影响。
• 模型性能提升：在多个基准测试中显著提升模型的工具调用能力，同时增强模型的泛化推理能力。

LoopTool的技术原理

• 自动化工具增强数据构建（Seed Generation）：用语义树和约束树合成符合功能意图和结构规范的API定义。通过多智能体对话生成流程（包括Planner Agent、User Agent、Assistant Agent和Tool Agent）构建高质量种子数据集。
• 基于闭环迭代的模型训练与数据演化：
  • GRPO强化学习训练：通过二值奖励函数优化模型的工具调用能力。
  • 贪婪能力探测（GCP）：识别模型已掌握、失败和边界样本，保留高困惑度样本用在下一轮训练。
  • 判别引导标签校验（JGLV）：使用开源模型比较预测与原标签，修正错误标签。
  • 错误驱动数据扩展（EDDE）：基于错误样本生成结构相似但情境多样的新样本，增强模型对难点样本的学习能力。
• 闭环迭代更新：每轮训练数据由高困惑度样本、修正后的错误样本、新生成样本和未使用的子样本组成，形成“训练-测评-修正-扩展”的完整闭环。

LoopTool的项目地址

• GitHub仓库：https://github.com/Rednote-DeepExperience/LoopTool
• HuggingFace模型库：https://huggingface.co/papers/2511.09148
• arXiv技术论文：https://arxiv.org/pdf/2511.09148

LoopTool的应用场景

• API 调用：LoopTool适用智能客服、自动化任务等场景，帮助模型高效完成查询和数据交互。
• 多轮任务规划：LoopTool 优化模型在多轮对话中的任务规划能力，使其适应复杂任务的逐步执行，如智能助手的多步骤任务处理。
• 知识检索：提升问答系统中信息获取的准确性和效率，帮助模型更好地理解用户需求。
• 代码生成与执行：提高模型生成代码并调用执行工具的准确性，适用编程辅助和教育平台，减少代码错误。
• 多模态任务：优化模型调用多模态工具的能力，提升智能安防、图像识别等场景中多模态数据处理的性能。