企业官网建设流程全解析

在多模态视频模型选型中，stage2-UMT-Qwen2_5_7B_1m-tome16_mlp是一款主打超长视频理解的开源检查点：它把 UMT 视觉编码器、ToMe token 压缩与 Qwen2.5-7B-Instruct-1M 的百万级上下文结合在 7B 级模型中。本文将它与 LLaVA-OneVision、Qwen2.5-VL 逐维对比，帮你快速做出选型判断。

模型速览：它由哪三块"拼"成？🧩

从 config.json 的architectures字段可以看到，这是一个LlavaQwenForCausalLM结构，即LLaVA 式"视觉编码器 + 投影器 + 语言模型"的三件套，但每块都有独到之处：

权重映射可以直观验证这一结构：28 层 LLM 权重分布在 4 个分片中，视觉塔与投影器集中在 model-00003-of-00004.safetensors，对应 model.safetensors.index.json 中的mm_projector.mlp.*与vision_tower.*条目。

💡 命名拆解：stage2（第二阶段训练）+UMT（视觉塔）+Qwen2_5_7B_1m（1M 上下文语言骨干）+tome16_mlp（16 倍 ToMe 压缩 + MLP 投影）。

两大核心卖点：token 压缩与 1M 上下文

1️⃣ 视频 token 逐级"瘦身"，专治长视频显存爆炸

长视频最大的成本是视觉 token 数量。本模型做了两级压缩：

• 投影阶段：ToMe（Token Merging）以 16:1 的比例合并视觉 token，再经小型 MLP 投影进语言空间；
• 语言阶段：llm_compress_type: "attention"配合llm_compress_layer_list: [8, 16, 24]与llm_image_token_ratio_list: [1.0, 0.5, 0.25, 0.125]，即视觉 token 在第 8 / 16 / 24 层按 0.5、0.25、0.125 的比例逐级衰减——越深层的注意力只需越少的视觉 token。

这意味着几小时的视频输入，进入 LLM 的视觉序列长度可以控制在"可负担"范围，这是它在选型中区别于其他 7B 模型的核心优势。

2️⃣ 1M token 上下文 + 双块注意力

max_position_embeddings达到 1,010,000（约 100 万 token），并启用dual_chunk_attention_config（262144 的 chunk、8192 的 local window），在保持长程依赖的同时降低超长序列的注意力开销。配合min_slow_num_frames: 4、mm_local_num_frames: 4等参数，它同时处理图像与视频（vision_encode_type: "video_image"）。

横向对比：与 LLaVA-OneVision、Qwen2.5-VL 的 5 个维度

📌 一句话总结差异：

• LLaVA-OneVision：胜在"一张视觉塔通吃多分辨率"，高分辨率文档与多图像输入体验好；
• Qwen2.5-VL：胜在综合能力与产品化（OCR、GUI 操作、时序定位），但权重不开源；
• 本模型：用显式的 ToMe 压缩机制把"长视频 + 7B 级参数 + 开源可玩"三件事同时做到，属于差异化定位。

选型指南：3 种场景 3 个答案 ✅

如何获取与检查这份模型？📦

仓库为只读检查点，克隆后即可得到完整权重：

git clone https://gitcode.com/OpenGVLab/stage2-UMT-Qwen2_5_7B_1m-tome16_mlp

拿到后建议先核对这几个文件：

• config.json：架构与压缩策略（tome16_mlp_hd64、llm_compress_layer_list等）
• model.safetensors.index.json：总权重约 15.8GB，分 4 个 safetensors 分片
• generation_config.json：默认采样参数（temperature 0.7、top_p 0.8、top_k 20）
• trainer_state.json：训练了约 28194 步、接近 1 个 epoch 的第二阶段记录
• tokenizer.json、vocab.json、merges.txt：Qwen2.5 系分词器，词表 152064
• added_tokens.json：新增的对话/工具调用特殊 token

常见问题 FAQ ❓

7B 模型跑长视频会不会爆显存？

关键在两级压缩：ToMe 先 16 倍合并，LLM 内再按 0.5 → 0.25 → 0.125 逐级削减视觉 token（见 config.json 中llm_image_token_ratio_list），实际进入注意力的视觉序列远小于原始帧数。

它和 Qwen2.5-VL 冲突吗？

不冲突。本模型借用了 Qwen2.5-7B-Instruct-1M 作为语言骨干（与 Qwen2.5-VL 的 LLM 同源但上下文更长），差异主要在视觉前端与压缩策略，且本模型完全开源、可自行复现。

模型是训练中间产物吗？

从 trainer_state.json 看，训练完整走完约 1 个 epoch（global_step: 28194），属于第二阶段（stage2）完成的检查点，而非中断产物。

总结

如果你的核心痛点是"用 7B 级开源模型理解长视频"，stage2-UMT-Qwen2_5_7B_1m-tome16_mlp是三者中定位最精准的选项：UMT 视觉塔负责"看全"，ToMe 16 倍压缩 + 逐层 token 衰减负责"看省"，Qwen2.5-7B-Instruct-1M 负责"看得长"。选型时按场景对号入座即可：长视频选它，文档选 LLaVA-OneVision，通用助手选 Qwen2.5-VL。