企业官网建设流程全解析

### Relax定位

Relax（ReinforcementEngineLeveragingAgenticX-modality）是小红书 AI 平台开源的高性能多模态强化学习后训练框架，基于 Ray Serve 构建服务化架构。是一个大模型强化学习（RL）后训练框架——用于在模型基座训练完成后，进一步提升模型能力（如数学推理、视觉理解、Agent 交互等）。

一句话场景：你有一个 Qwen3-4B 基座模型，想让它数学题做得更好 → 用 Relax + GRPO 算法训练 → 得到更强的数学模型。

Relax服务架构

┌─────────────────────────────────────────────────────────┐ │ Layer 1: Entrypoints — train.py 入口、信号处理、Ray 连接 │ ├─────────────────────────────────────────────────────────┤ │ Layer 2: Orchestration — Controller（训练循环）+ Service │ ├─────────────────────────────────────────────────────────┤ │ Layer 3: Components — Actor/Rollout/Critic/GenRM 等 │ ├─────────────────────────────────────────────────────────┤ │ Layer 4: Engine — SGLang Rollout + Reward Hub │ ├─────────────────────────────────────────────────────────┤ │ Layer 5: Backends — Megatron-LM (训练) + SGLang (推理) │ ├─────────────────────────────────────────────────────────┤ │ Layer 6: Distributed — DCS + Ray Actor Groups │ └─────────────────────────────────────────────────────────┘

Relax的亮点

Relax支持的 RL 算法

Relax结构

⚙️ 执行模式

• Colocate（同步）：Actor 与 Rollout 共享 GPU，严格 on-policy
• Fully Async（全异步）：各角色运行在独立 GPU 集群，通过 TransferQueue 流式交换数据

Relax解决了什么问题？

传统 RL 训练的致命缺陷：GPU 空闲

传统流程是这样的：

Rollout (推理生成数据) → 等待 → Training (训练) → 等待 → Rollout → ...

在 Rollout 阶段，Training 的 GPU 完全空闲；Training 阶段，Rollout 的 GPU 空闲。60-70% 的时间 GPU 都在等待。

Relax 的解法：全异步架构

Rollout ──并行──▶ Training │ │ ▼ ▼ TransferQueue ← DCS 权重同步

Rollout 和 Training 同时运行在不同 GPU 集群上，通过 TransferQueue 流式交换数据，通过 DCS 异步同步权重。GPU 利用率从 30-50% 提升到 70-90%。

和 veRL / OpenRLHF 比有什么优势？

核心差异：Relax 是第一个将"训练-推理完全解耦"做到产品级的开源框架。veRL 也有异步思路，但没有 TransferQueue + DCS 这套完整的数据流和权重同步机制。