当前位置：首页 > 文章列表 > 科技周边 > 人工智能 > 阿里通义AI数据合成系统上线

阿里通义AI数据合成系统上线

2025-08-11 12:00:31 0浏览收藏

**WebShaper上线，阿里通义AI数据合成系统赋能智能体训练** 阿里巴巴通义实验室重磅推出WebShaper，一款专为AI智能体训练打造的数据合成系统。该系统创新性地引入了基于集合论的“知识投影”（KP）机制，通过集合操作构建结构化问题框架，精准调控推理路径和任务难度。WebShaper的核心Expander智能体能够从简单的“种子问题”出发，自主生成复杂的多步推理任务，实现AI自主“出题”。结合监督微调（SFT）与GRPO强化学习的训练策略，显著提升模型在复杂信息检索与推理任务中的表现。WebShaper的应用场景广泛，涵盖文献整理、市场调研、智能学习助手、生活决策和医疗信息查询等领域，助力各行业智能化升级。项目地址：Github仓库，HuggingFace模型库，arXiv技术论文。

WebShaper是什么

WebShaper 是由阿里巴巴通义实验室研发的前沿 AI 训练数据合成系统，致力于为 AI 智能体（Agent）的训练提供高精度、可扩展的数据支持。该系统创新性地引入了基于集合论的“知识投影”（Knowledge Projection, KP）机制，通过交集、并集与递归等操作，构建结构化的问题框架，精确调控推理路径和任务难度。WebShaper 的核心组件 Expander 智能体能够以简单的“种子问题”为起点，自主生成复杂的多步推理任务，实现 AI 自主“出题”。结合监督微调（SFT）与 GRPO 强化学习的训练策略，WebShaper 显著提升了模型在复杂信息检索与推理任务中的表现。

WebShaper的主要功能

形式化建模：WebShaper 首创基于集合论的信息搜寻（IS）任务形式化方法，提出“知识投影”（KP）概念。每个 KP 表示一个包含特定实体的集合，通过交集、并集和递归等集合操作，将复杂任务拆解为可计算的结构，从而精准控制推理逻辑和任务层级。
智能体扩展机制：系统引入 Expander 智能体，实现从简单问题到复杂推理任务的自动演化。Expander 能调用搜索、摘要、验证等工具，逐步构建逻辑严密的多跳问题，并确保答案可验证、推理链清晰，提升任务的可控性与可解释性。
高质量数据生成：借助形式化框架与智能扩展机制，WebShaper 生成的训练数据具备高度结构化、低噪声、可追溯的特点。突破传统依赖人工标注或静态数据集的局限，实现多样化任务生成，增强模型对复杂场景的泛化能力。
Agent 训练策略：采用监督微调（SFT）与 GRPO 强化学习相结合的方式，引导模型在模糊、碎片化信息中进行有效推理。通过奖励机制鼓励多步检索与深度思考，避免模型依赖捷径或猜测答案。

WebShaper的技术原理

形式化驱动框架：WebShaper 以集合论为基础，对信息检索任务进行系统性建模。其核心技术是“知识投影”（Knowledge Projections, KP），即围绕特定关系构建实体集合，作为推理的基本单元。
知识投影操作
- R-并集：用于表达不确定或范围性条件，例如“2000至2010年间参赛的球员”可通过多个年份集合的并集表示。
- 交集：用于满足多重约束条件，如“2000年参赛且出生于90年代的球员”，需同时满足两个集合条件。
任务扩展机制：从一个初始的“种子任务”出发，Expander 智能体依据形式化规则，结合外部工具（如搜索引擎、知识库）逐步增加问题复杂度，确保扩展后的任务逻辑一致、难度递增。
数据合成与训练：生成的复杂任务被转化为结构化训练样本，利用监督微调建立基础推理能力，并通过 GRPO 等强化学习算法优化决策路径，提升模型在真实场景中的表现力。