企业官网建设流程全解析

SLAI T-Rex 论文（arXiv:2607.20145）完整总结与译文

一、论文整体概述

1. 研究背景

现有万亿参数MoE大模型全参数后训练方案几乎全部基于GPU/TPU集群，针对昇腾910C NPU超算集群（Ascend SuperPOD）的完整工程化优化方案极度稀缺；同时运筹优化（OR）作为工业调度、供应链等核心领域，缺少面向大模型的领域专用后训练流水线，通用模型在数学建模、求解器兼容、结构化等价建模上存在大量缺陷。本文以DeepSeek-V4系列MoE模型为载体，提出SLAI T-Rex一体化框架，分为两大核心模块：

1. 昇腾全栈分布式训练优化栈：解决万亿MoE在NPU集群训练的通信、内存、内核低效瓶颈；
2. 面向运筹优化（OR）的CPT+SFT两阶段领域后训练流水线：构建求解器验证的专用数据集，显著提升模型优化建模能力。

2. 核心两大工作

（1）昇腾SuperPOD万亿MoE训练全栈优化

针对1.6T参数DeepSeek-V4-Pro模型，搭建分层优化体系，覆盖并行策略、通信调度、自研内核优化器AuraKernel、算子融合四大维度：

• 瓶颈定位：训练耗时拆解为41%计算、38%非重叠通信、7%流水线气泡、15%NPU空闲；稀疏