企业官网建设流程全解析

这项由广东省人工智能与数字经济实验室（深圳）主导的研究，于2026年7月以预印本形式发布在arXiv上，论文编号为arXiv:2607.05465。感兴趣的读者可通过该编号查阅完整论文。

当你想让AI帮你做一张复杂的图片——比如先从一张照片里找出某个人，把他"剪切"出来，换上新背景，再给图片加上一段中文文字，最后把整张图清晰度提升四倍——你会怎么做？现实中，你可能需要打开PhotoShop、换一个AI生成工具、再用一个文字识别软件，来回折腾好几个程序。而这篇论文要解决的，正是这个让人头疼的问题：能不能有一个"总指挥"，统一调度所有这些不同的工具，按照你的要求一步步完成整个任务？

这个"总指挥"就是论文提出的**CanvasAgent**（画布智能体），配套的训练数据集叫做**CanvasCraft**（画布工坊）。研究团队希望构建出一个能够编排多种视觉工具、自主完成复杂图像创作与编辑任务的智能系统。

把CanvasAgent比作一位经验丰富的大厨会相当贴切。厨房里有切菜刀、炒锅、烤箱、蒸笼等各种工具，一道复杂菜肴需要先焯水、再翻炒、再烤制，每一步的结果都会影响下一步的操作。CanvasAgent就是这样的大厨：它手边有十一种专业视觉工具，接到任务后，它会先想好流程，再按顺序调用工具，看到每一步的中间成果后决定下一步怎么做，直到最终端出一道令人满意的"菜"。

---

一、为什么一个工具搞不定，需要"总指挥"？

要理解这项研究的出发点，先考虑这样一个场景：你有一张体育场看台的弯曲横幅照片，横幅上有变形的文字，你想先识别出这些文字，再把它翻译成另一种语言，然后把翻译后的文字重新渲染回原图，最后还要把图片分辨率提升，让细节更清晰。

这个任务需要文字识别（OCR）、图像编辑、超分辨率增强等至少三种完全不同的操作，而且顺序不能乱——必须先认字，才能翻译，才能贴回去，最后再增强清晰度。这就是研究团队所说的"长程任务"：后面的每一步都依赖前面一步的结果。

现有的AI图像工具大多是"单打独斗型选手"：Stable Diffusion擅长文字生成图像，InstructPix2Pix擅长按指令修改图片，SAM（Segment Anything Model）擅长分割出图片里的某个物体……但它们都只能各司其职，做完自己那一件事就结束了。没有谁来负责把这些工具串联成一个完整的工作流，也没有谁在中间检查"这一步做对了吗？需要调整吗？"

这三个核心挑战让复杂图像创作与普通的"输入文字生成图片"任务有了本质区别。第一个挑战是"长程性"：任务链条可能有六七步甚至更多，每一步的输出都是下一步的输入。第二个挑战是"视觉接地性"：每次工具调用完之后，系统必须真正"看一眼"中间结果，判断是否成功，而不能假设一切顺利。第三个挑战是"状态性"：在整个过程中，可能同时存在多张中间图片——原始图、分割出的局部区域、编辑后的版本等等——系统必须清楚地知道下一步该拿哪一张图来操作。

正因为现有的工具和方法都没有系统性地解决这三个挑战，研究团队决定从头开始构建一套完整的解决方案。

---

二、工具箱里装了什么：十一件"厨房利器"

在详细介绍CanvasAgent的训练方式之前，先来认识一下它手边的那十一种工具，因为整个系统的价值都建立在这些工具的协同配合之上。

第一类是创作性工具，包括"Generation"（生成）和"Edit"（编辑）两种。"Generation"能够根据文字描述凭空生成一张图片，底层用的是FLUX.2-Klein-4B这个生成模型；"Edit"则能根据指令修改已有图片，比如"把图片里那条裤子改成红色"，同样基于FLUX.2-Klein-4B。

第二类是感知定位工具，包括"Grounding"（定位）和"SAM"（分割）。"Grounding"基于Grounding-DINO模型，能根据文字描述找出图片里某个物体的位置，输出一个方框坐标；"SAM"则更进一步，拿到方框坐标后能精确地把物体的轮廓勾勒出来，生成一个精细的"遮罩"。这两个工具常常搭配使用——先用Grounding找到物体在哪儿，再用SAM把它的精确边缘描出来。

第三类是提取与合成工具，包括"Extract"（提取）和"Overlay"（叠加）。"Extract"能根据SAM生成的遮罩把物体从背景里"抠"出来；"Overlay"则能把一个物体或一段文字叠加到另一张图片的指定位置上。这两个工具是实现"把A图的物体放到B图上"这类操作的关键。

第四类是几何变换工具，包括"Crop"（裁剪）、"Rotate"（旋转）和"Flip"（翻转），功能顾名思义，分别用来截取图片的某个区域、旋转图片角度、水平镜像翻转图片。

第五类是文字与增强工具，包括"OCR"（文字识别）和"SR"（超分辨率）。"OCR"基于PaddleOCR，能读取图片里的文字内容；"SR"基于Real-ESRGAN，能把图片放大四倍并显著提升清晰度。

每一种工具都接受结构化的JSON格式（一种类似表格的数据格式）输入，输出也是标准化的格式，这让CanvasAgent能够像搭积木一样自由地把这些工具组合起来。

---

三、大厨的食谱：CanvasCraft数据集是如何制作的

光有工具还不够，要让CanvasAgent学会什么时候用什么工具、以什么顺序用，需要大量的"示范食谱"——这就是CanvasCraft数据集的作用。

CanvasCraft包含两个互补的子集，各自承担不同的训练职责。

**CanvasCraft-SFT**是第一个子集，共有约14万条完整的"操作流程示例"，相当于14万份详细的烹饪食谱。每一条数据都记录了：用户提出了什么要求、输入了哪些图片、系统是怎么一步步思考的、每一步调用了哪个工具、传入了什么参数、工具输出了什么中间结果，以及最终的图片是什么样的。这种详尽程度远超普通的"输入-输出对"，因为它把中间的每一个思考和行动过程都记录了下来。

这14万条数据是怎么生成的？研究团队设计了一套"逆向工程流水线"。他们先设计了各种工具调用链的模板——比如"定位→分割→提取→叠加"或者"翻转→OCR→图像编辑→旋转→OCR→叠加"——然后从PICO-Banana-400K这个大型图片数据集里挑选合适的输入图片，再根据工具链模板"反推"出一个合理的用户指令（比如：这个工具链是先翻转图片再识别文字，那合适的用户指令就是"请翻转这张图片并识别里面的文字"），最后真正执行这个工具链，记录下完整的执行过程。只有通过质量检验的数据才会被保留，检验标准包括：工具调用格式是否正确、参数是否有效、中间图片引用是否一致、执行是否成功，以及是否存在冗余步骤。

在这14万条数据中，工具的覆盖相当均衡，单独使用图像编辑工具的约有1.9万条，单独使用图像生成工具的约有1.9万条，单独使用OCR的约有1.8万条，另有约1.3万条是"定位→裁剪"链条，同样数量的是"定位→分割"链条和"定位→分割→提取"链条，约1万条是叠加操作……此外还有约3800条属于"复杂多工具"类别，这些数据包含了更长的工具链、更多样的工具组合，是训练系统理解长程依赖关系的核心材料。

**CanvasCraft-RL**是第二个子集，共有1万条数据，但这些数据故意"不完整"——它们只提供任务描述和预期使用的工具集合，而不提供具体的执行步骤。这就好比给一位厨师说"这道菜需要用到刀、炒锅和烤箱"，但不告诉他具体的操作步骤，让他自己探索最佳做法。

这个子集的设计理念来自强化学习的思路：与其让模型死记硬背固定的操作流程，不如让它在"试错"中发现更好的策略。这1万条数据围绕三个维度进行设计：推理难度（R）描述完成任务需要多复杂的条件判断，轨迹长度（L）描述预期需要多少步工具调用，工具多样性（D）描述任务需要用到多少种不同类型的工具。难度分为简单、中等、困难三档，从表格数据来看，在推理难度上困难级别约有7400条，中等约1800条，简单约760条；轨迹长度上中等（5-8步）约4700条，困难（9步以上）约4800条，简单（1-4步）约480条；工具多样性上中等（3-4种工具）约5600条，简单（1-2种）约2300条，困难（5种以上）约2000条。

此外，CanvasCraft还包含一个由人工精心挑选的250条评估集，专门用来测试系统在各种复杂任务上的表现。

---

四、大厨的两阶段培训：从模仿到创新

有了食谱和食材，接下来就是如何训练CanvasAgent。研究团队采用了"两阶段"的训练框架，就像培养一位厨师一样：先让他跟着菜谱学基本功，再让他在实践中找到自己的节奏。

**第一阶段：监督微调（SFT）——照着菜谱做**

在这个阶段，CanvasAgent用CanvasCraft-SFT的14万条完整轨迹数据进行训练，学习如何把一个用户请求分解成具体的推理步骤和工具调用动作。模型的基础是Qwen3-VL-8B-Instruct，这是一个本身具备看图理解能力的多模态大语言模型。

通过大量阅读这些完整的"操作日志"，模型逐渐学会了：如何用正确的JSON格式调用工具、每种工具需要哪些参数、前一步生成的图片文件名应该如何被后续工具引用、不同工具之间存在哪些依赖关系（比如必须先运行Grounding才能得到坐标，才能运行SAM）。

然而，仅仅模仿已有示例是有局限的。就像一个厨师如果只会照着菜谱做，遇到没见过的食材组合就会手足无措。研究团队发现，只经过SFT训练的模型在测试中平均只调用1.32个工具，远低于任务实际需要的约3.6个工具——它学会了"如何做"，但还没学会"该做多少"。

**第二阶段：强化学习（GRPO）——在试错中进化**

这一阶段使用CanvasCraft-RL的1万条数据，采用GRPO（分组相对策略优化）算法。GRPO的运作方式可以这样理解：对同一个任务，模型会产生多个不同的"执行方案"，然后根据这些方案的质量高低来调整策略——好的方案得到奖励，差的方案被压制，模型逐渐学会倾向于产生更好的方案。

整个第二阶段在8块NVIDIA A800显卡上运行了7天。其中6块显卡用于训练模型，另外2块显卡专门用于在真实工具环境中执行模型生成的操作方案，以便获取真实的工具执行结果。这一点至关重要：模型不是在虚拟环境里学习，而是真正调用图像生成、文字识别等工具，看到真实的中间图片结果，再根据这些反馈调整策略。

---

五、评分标准：什么叫做"做得好"

要让强化学习发挥作用，就必须有一套清晰的评分标准——也就是"混合奖励函数"。这是这项研究最具独创性的设计之一，因为评价一个复杂图像任务的质量既不能只看最终图片好不好看，也不能只看操作步骤合不合理，两者必须兼顾。

混合奖励由"结果分"和"过程分"两大部分组成，权重分别是0.4和0.6，过程分的权重略高，体现了研究团队对执行过程质量的重视。

结果分包含两个维度。**对齐分**（权重0.3）评估最终图片是否满足用户的具体要求，由一个LLM"法官"（Qwen3.5-Plus模型）来评判，它会仔细检查：用户要求的物体有没有出现、位置对不对、颜色对不对、要求的文字有没有正确显示、需要保留的部分有没有被意外改动。这个分数设计得相当严格：如果任务要求显示文字但文字有拼写错误，通常上限只能达到0.3分；如果只是大致符合主题但遗漏了具体要求，通常只能给到0.4-0.6分。**美观分**（权重0.1）单独评估图片的视觉质量，不管内容对不对，只看图片是否构图平衡、色彩和谐、清晰自然、没有明显的人工痕迹或奇怪的拼接感。

过程分同样包含两个维度。**轨迹分**（权重0.2）也由LLM法官来评判，但它只看执行过程是否合理，不看最终图片质量。评判标准包括：任务分解是否合理、工具选择是否恰当、工具之间的依赖关系是否被正确处理、有没有调用无关或冗余的工具。有一条硬性规定：如果整个轨迹只调用了一个工具就结束，直接给0分，因为这代表根本没有进行有意义的多步骤操作。**基于规则的分数**（权重0.4）不依赖语言模型判断，而是用程序直接检查。它包含格式奖励（检查推理块和工具调用块的格式是否正确、JSON是否合法、每次对话是否只有一个工具调用等）和动作奖励（检查每次工具调用是否有效）。动作奖励的设计相当细致：对每次工具调用，系统会检查工具名称是否合法（占0.25分）、必要参数是否都填写了（占0.25分）、引用的图片文件是否确实存在于当前状态中（占0.20分）、工具特定的约束是否满足比如坐标格式是否正确（占0.20分）、工具执行是否真正成功（占0.10分）。

除了以上四种正向信号，系统还设计了"效率惩罚"：对执行失败的工具调用扣分、对相邻重复的工具调用扣分、对过长的推理段落扣分、对超过预期工具调用数量的情况扣分、对遗漏了预期工具的情况扣分。这些惩罚确保模型不会靠"多调用工具凑数"来刷高分，而是真正学会精准高效的操作。

---

六、考试结果：CanvasAgent表现如何

研究团队在250条评估样本上对比了多个系统的表现，参与比较的有三类模型。第一类是"借用工具箱但没经过专门训练"的通用多模态模型，包括LLaVA-OneVision-7B、Qwen3-VL-8B-Instruct和Qwen3-VL-32B-Instruct；第二类是只输出最终图片、不使用工具链的图像生成模型，包括Qwen-Image-2.0、Wan2.7-Image和GPT-Image-2；第三类是经过CanvasCraft训练的两个版本：只经过SFT训练的CanvasAgent和完整SFT+RL训练的CanvasAgent。

从综合奖励分来看，通用多模态模型的表现相当有限。LLaVA-OneVision-7B只有0.402分，Qwen3-VL-8B-Instruct为0.426分，即便是更大的32B版本也只有0.474分。这些模型虽然能用工具，但它们没见过足够多的复杂工具编排示例，所以在多步骤任务上表现欠佳。值得注意的是，Qwen3-VL-32B-Instruct的轨迹分达到了0.512，平均调用了7.7个工具，说明它有一定的多步骤意识，但最终图片的对齐分只有0.428，说明工具调用虽多但并不精准。

只经过SFT训练的CanvasAgent综合奖励提升到了0.557，对齐分达到0.613，轨迹分达到0.576，说明学习了完整轨迹示例确实有效。但它平均只调用了1.32个工具，这个数字远低于任务实际需要的平均3.6个——它学会了格式和基本流程，但还没有学会主动规划多步操作。

完整的SFT+RL训练版CanvasAgent表现出了全面的提升：综合奖励达到0.821，对齐分跃升至0.869，美观分0.762，轨迹分0.849，基于规则的分数0.785，平均工具调用数升至5.436。这种全方位的提升说明强化学习阶段确实帮助模型学会了主动分解任务、合理安排多步操作、并根据中间结果调整策略。在训练过程中还观察到一个有趣现象：强化学习初期工具调用次数先大幅增加（模型在探索各种可能性），然后逐渐稳定甚至有所下降（效率奖励开始发挥作用，模型学会了更精简的操作方式）。

对于纯图像生成模型，研究团队只报告了对齐分和美观分。GPT-Image-2的美观分高达0.895，对齐分也有0.799，Wan2.7-Image的美观分为0.843、对齐分0.605，Qwen-Image-2.0的美观分0.825、对齐分0.543。这些模型在图像质量上确实出色，但面对需要多步骤工具编排的复杂任务，它们的对齐分都低于CanvasAgent（SFT+RL）的0.869，说明即使是强大的单步图像生成模型也无法替代工具编排系统在复杂任务上的优势。

研究团队还做了消融实验，系统地去掉训练框架的各个部分来验证每个组件的贡献。只使用RL而不做SFT预热的版本，综合奖励0.604，比SFT-only略高，但对齐分和美观分分别下降至0.472和0.666，说明没有SFT打底的强化学习会导致探索不稳定。在奖励设计上，去掉结果奖励的版本轨迹分高达0.907（操作流程很规范），但对齐分暴跌至0.320（最终图片根本不符合要求）——这就像一个厨师把厨房整理得井井有条，但炒出来的菜根本不是客人点的那道。去掉过程奖励的版本综合分降至0.379，轨迹分只有0.357。只有完整的混合奖励才能在各项指标上取得平衡。

在人工评估环节，研究团队请评估人员对12个样本的输出结果在1-5分制下进行打分，评估维度包括任务对齐度、关键细节对齐度和美观质量。CanvasAgent的三项得分分别为3.97、3.90和4.06，而Qwen3-VL-32B-Instruct（一个参数量是它四倍的模型）的对应得分为2.93、2.91和2.83，两者差距相当显著，说明专门化的数据和训练方式能够弥补模型规模上的差距。

---

七、现场演示：一个三张图片的复杂任务

论文中有一个具体的案例展示了CanvasAgent在实际复杂任务上的工作过程，这个案例生动地说明了为什么"工具总指挥"比"单打独斗"更有优势。

用户提供了三张图片：第一张是一家商店门口的照片，门上有可读的英文标志；第二张是一块空白的科幻风格标志面板；第三张是一条下雨的街道场景，街边有一个适合安装标志的位置。用户的要求是：读取第一张图片里的文字，把它准确翻译成西班牙语，然后把翻译后的文字重新制作到第二张图片的面板上，确保字体清晰、大小合适，最后把这块制作好的西班牙语标志安装到第三张图片的街道场景里，要求透视角度、灯光、反光和比例都要显得自然真实。

面对这个任务，CanvasAgent的执行过程分成了几个清晰的阶段。首先，它用Grounding工具在第一张图片里定位到了商店标志的位置，得到了一个边界框坐标；接着用SAM工具根据这个坐标精确地把标志区域的轮廓描绘出来，生成遮罩；然后用Extract工具把标志从图片里抠了出来；再用OCR工具识别出标志上的文字是"OPEN DAILY 7AM-10PM"。

完成文字提取后，模型进入编辑阶段：它用Edit工具把第二张面板图片改造成了带有西班牙语文字"ABIERTO DIARIAMENTE 7AM-10PM"的标志面板，生成了一个新的中间图片文件。接着，它用Edit工具把这块西班牙语标志自然地"安装"到了第三张雨街场景里，要求它考虑透视、雨水反光、灯光等视觉细节。

完成这步之后，CanvasAgent并没有就此停下，而是主动做了一次自我检验：它调用OCR工具检查新生成图片里的文字是否正确，还调用Grounding工具检验标志是否被正确定位在了应有的位置。确认无误后，它进行了最后的精修：再次调用Edit工具对图片进行最终美化，比如给标志添加轻微的锈迹和磨损感，以及在玻璃窗上添加雨滴效果，让整张图片更有真实感。

这个完整的流程涉及了Grounding、SAM、Extract、OCR、Edit、Grounding（再次）、OCR（再次）、Edit（再次）共8次工具调用，而且每一次都是基于对上一步结果的判断来决定的，展现出了真正的"边做边看、边看边调整"的能力。

---

说到底，CanvasAgent和CanvasCraft这项研究做的事情，是给AI图像工具世界配备了一位真正懂得"统筹安排"的总指挥官。以前的AI工具就像一堆各怀绝技的厨师，每人只做一道菜，却没有人协调谁先开始、谁等谁的结果、最后谁来摆盘。CanvasAgent填补了这个空白，而CanvasCraft则提供了训练这位总指挥所需的海量"厨房实录"。

这项研究的价值不仅在于最终图片质量的提升，更在于它提供了一套完整的框架——数据构建方法、两阶段训练策略、结合结果和过程的混合奖励设计——这些都可以被后续研究借鉴和扩展。研究团队自己也在论文末尾指出了几个明显的局限：工具种类是固定的11种，无法动态扩展；评判图片好坏依赖外部的语言模型，本身可能存在偏差；强化学习阶段需要实际执行工具，计算成本相对较高。他们希望未来能探索让系统自己发现和学习新工具、用自我评估取代外部语言模型裁判、以及把这套思路扩展到视频创作领域。

对于普通用户而言，这类研究的最终指向是：有一天，你或许只需要用自然语言告诉AI"我想要一张把A图里的人物放到B图背景里、再加上C图里的文字风格的合成图"，AI就能自动规划出完整的操作流程，调用合适的工具，检验中间结果，并在出现问题时自动调整——就像一位真正理解你意图的图像创作助手。想深入了解这项研究的读者，可通过arXiv编号2607.05465查阅完整论文。

---

Q&A

Q1：CanvasAgent和普通的AI图像生成工具有什么区别？

A：普通AI图像生成工具通常只做一件事，比如"根据文字生成图片"或"按指令修改图片"，处理完就结束了。CanvasAgent的区别在于它能编排多种工具协同工作，一个任务可能涉及生成、定位、分割、提取、文字识别、叠加等多个步骤，每步结束后它还会"看"中间结果再决定下一步怎么做，最终完成那些单一工具无法处理的复杂图像任务。

Q2：CanvasCraft数据集是怎么保证训练数据质量的？

A：CanvasCraft-SFT的每条数据都经过了多项程序化检验：工具调用格式是否正确、参数是否有效、中间生成的图片文件名引用是否一致、工具实际执行是否成功、是否存在多余的重复步骤，只有通过全部检验的数据才会保留，确保模型学到的都是真实可执行的操作流程。

Q3：CanvasAgent的混合奖励函数为什么要同时评估最终图片和操作过程？

A：因为只看最终图片容易导致模型走捷径，比如只调用一个工具生成一张大致符合要求的图片，完全跳过了分步验证和精细操作；而只看操作过程又可能出现流程规范但图片根本不符合用户要求的情况。消融实验也证明了这一点：去掉结果奖励，最终图片的对齐分从0.869暴跌到0.320；去掉过程奖励，综合得分则从0.821下降到0.379。